ස්ට්රීම් AI පද්ධතිවල දත්ත සැකසීමේ වේගය, තත්වකාලිකත්වය (latency) හා ප්රතිදානය (throughput) යන අංකයන් මත බොහෝ වෙළඳපොළේ අවධානය යොමු වේ. නමුත් සැබෑ අවදානම එම අංකවල නොව, කාල සෙමැන්ටික්ස් (time semantics) යන තාක්ෂණික කරුණු තුළයි. විශේෂයෙන් වොටර්මාර්ක්, අනුමත පසුකාලීනතාව (allowed lateness) සහ අනුපිළිවෙල නොවන සිදුවීම් (out‑of‑order events) මඟින් පුහුණු කළ විශේෂණය (feature) සහ සේවාවේදී භාවිතා වන ඒම විශේෂණය අතර ගැලපීම අඩුවේ.
පුහුණු කිරීමේදී, “පසු විනාඩි 5 තුළ සිදු වූ ගනුදෙනු” වැනි විශේෂණයක් බච් (batch) ක්රමයෙන්, පූර්ණ, කාලයෙන් සකස් කර ඇති දත්ත සමඟ ගණනය කරයි. ඒ නිසා සියළු සිදුවීම් එම කාල වළාකුලයේ ඇතුළත් වේ. සේවාවේදී එම විශේෂණය Flink ජොබ් එකක් Kafka තොරතුරු පෝරමයෙන් කියවා, වොටර්මාර්ක් එකක් මත පදනම් කරයි. වොටර්මාර්ක් යනු, දත්ත ප්රවාහය කොපමණ “සම්පූර්ණ” වෙලා ඇතිදැයි Flink එකේ අනුමානයකි – එය සම්පූර්ණව නොවන, ඉදිරියට බලාගෙන තීරණය කරන ලද සීමාවකි.
සාමාන්ය ජාල තත්ත්වයන් යටතේ මෙම ගැලපීම සුළුයි, නමුත් ජංගම ග්රාහකයන්ගේ ප්රතිචාර තදබදයක්, පාර්ශවික (partition) පනස්කරණය, හෝ නිෂ්පාදකයාගේ වේගය අඩුවීම වැනි අවස්ථා වල වොටර්මාර්ක් හි පරතරය වැඩි වේ. එවිට සේවා මට්ටමේ විශේෂණ ගණන පුහුණු කරුණු වලට වඩා අඩු වේ. මෙය මොඩලය අඩු වීමක් නොව, වෙනස් වූ විශේෂණයක් එකම නාමයෙන් ලබා දීමයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ආයතන, fintech, e‑commerce හා සමාජ මාධ්ය විශ්ලේෂණ වැනි ක්ෂේත්රවල streaming AI යෙදවීම ඉතා වැදගත්. නමුත් වොටර්මාර්ක් සැකසීමේ වැරදි නිසා, fraud detection හෝ recommender systems වැනි මොඩලයන් වැරදි ප්රතිඵල ලබා දීමට ඉඩ ඇත. මෙය:
- ඩිවෙලපර්ලාට සත්ය‑කාලීන දත්ත ගුණාත්මකභාවය මැනීමට නව මැට්රික්ස් (watermark lag, replay parity) එකතු කරගැනීමට අවශ්යතාවය පෙන්වයි.
- ව්යාපාර සඳහා අධික ආදායම් අහිමි වීම, පාරිභෝගික විශ්වාසය අඩුවීම වැනි ආර්ථික හා ප්රතිචාරික ප්රතිඵල ඇති කරයි.
- සිසුන්ට streaming data engineering, Flink, Kafka වැනි නව තාක්ෂණයන් ගැන ව්යාප්ත අධ්යයන අවස්ථා ලබා දෙයි.
ඒ නිසා, වොටර්මාර්ක් සැකසීමේ තීරණය මොඩලයේ ගුණාත්මකභාවය අධික්ෂේපකයෙකුගේ වගකීමේ අංශයකට පත් කරයි. මෙය infra health (back‑pressure, checkpoint failures) සමඟ නොගැලපේ, එබැවින් නව observability stack එකක් නිර්මාණය කර, මෙම මට්රික්ස් නිරීක්ෂණය කළ යුතුය.
අවසානයේ, streaming AI පද්ධතියක් “සෞඛ්යවත්” ලෙස පෙනුනත්, වොටර්මාර්ක් ගැලපීම නිසා මොඩලයේ ඉලක්කය අසත්ය විය හැක. එමනිසා, වොටර්මාර්ක් හා allowed lateness සැකසීමේ තීරණය මොඩලයේ training assumptions සමඟ සමාන බව තහවුරු කර ගැනීම අත්යවශ්යයි.
