දත්ත පද්ධති වල ‘පරණ බව’ (freshness) ගැටලුව දැන් OpenTelemetry මගින් ප්රමාණවත් ලෙස අධීක්ෂණය කළ හැකි බවක් පෙන්වයි. මේ ගැන කතා කරන ලද්දේ Dev.to හි Anirudh Rajmohan විසින් ඉදිරිපත් කළ ප්රතිපත්ති සහ ඒ සඳහා වූ සැබෑ යෙදුමයි.
කල්පනා කරන්න, රාත්රී 3.00 ට ඔබේ දත්ත පයිප්ලයිනය සියලුම සේවාවන් හරිතව, ප්රතිචාර වේගය අඩු, දෝෂ අනුපාතය ශූන්ය, throughput සාමාන්ය ලෙස ක්රියාත්මක වේ. නමුත්, ඉහල කළමනාකරණ පුවරුවේ දත්ත පැය හයක් පසුපසට පත් වී තිබේ. ඒක සිදු වන්නේ, මූලික දත්ත සැපයුම්කරු නතර වී, downstream සේවාවන් එය හඳුනාගැනීමට නොහැකි වීම නිසාය. මෙය නවීන දත්ත පද්ධති වල “Age of Information (AoI)” ලෙස හැඳින්වෙන, දැකගත නොහැකි අසාර්ථකතා තත්ත්වයකි.
OpenTelemetry යනු telemetry සඳහා ගෝලීය ප්රමිතියක් බවට පත්ව ඇති අතර latency, errors, throughput වැනි මට්ටම් සඳහා සම්මත නාමයන් ලබා දේ. නමුත් දත්ත පරණ බව (freshness) ගැන සම්මත සංකේතයක් මෙතෙක් නොතිබුණි. ඒ නිසා සමාගම්වලින් තමන්ගේම ක්රමවේදයන් නිර්මාණය කරගෙන, Monte Carlo, Metaplane, Sifflet වැනි data‑observability vendors, dbt, Kafka‑lag tools වැනි විවිධ උපකරණ භාවිතා කරයි. ඒ සියල්ලම එකිනෙකට නොගැලපෙන, ගත නොහැකි ප්රමාණයක් බවට පත්වී ඇත.
ශ්රී ලංකාවට ඇති වැදගත්කම
දත්ත පරණ බව මැනීමට නව OpenTelemetry semantic convention එකක් (data.staleness.*) ඉදිරිපත් කිරීමේ ප්රධාන ලාභයන් මෙසේය:
- සමග්රාමික මට්ටමේ මනෝභාවය: සියලුම ව්යාපාර, ආයතන, විශ්වවිද්යාල සිසුන්ට එකම metric එකෙන් data freshness පරීක්ෂා කළ හැකිය.
- අවධානමත් අවදානම් හඳුනා ගැනීම: source එක නතර වුවත් lag metric එක නොවෙනස්ව පවතින අතර age metric එක වැඩිවීමෙන් ඇලර්ට් එකක් එළිදැක්වේ.
- අනවශ්ය දෝෂ අඩු කිරීම: “null” හෝ “empty” තොරතුරු “fresh” ලෙස වාර්තා නොවී, probe.errors ලෙස පෙන්වයි.
- වෙනත් OpenTelemetry metric සමඟ අනුකූලතාව: db.*, messaging.* වැනි metric වලට අමතරව data.staleness.* භාවිතා කරමින් dashboard එකක් සකස් කළ හැකිය.
ශ්රී ලංකාවේ තාක්ෂණික ආරම්භකයන්, data engineers, සහ cloud සේවා භාවිතා කරන සමාගම් සඳහා මේ නව සඟරාව ගෝලීය ප්රමිතියකට අනුකූලව data quality පාලනය කිරීමේ අඩුපාඩුවක් ඉවත් කරයි. ඒ නිසා පාරිභෝගික සේවා වේගවත්, ව්යාපාරික තීරණයන් තොරතුරු මත පදනම්ව, වඩාත් විශ්වාසදායකව ගත හැකිය.
මෙම ප්රතිපත්ති තවමත් OpenTelemetry Development stability යටතේ සාකච්ඡා කරමින් පවතින අතර, අවසන් වශයෙන් සම්මතයක් වීමට තවත් කාලයක් ගත විය හැකිය. නමුත් community‑driven ව්යාපෘතියක් වන බැවින්, කාලීනව සංවර්ධනය කරමින් පවතී.
දත්ත පරණ බව මැනීමේ නව මාර්ගය, OpenTelemetry සමඟ එකතු වීම, ශ්රී ලංකාවේ තාක්ෂණික පරිසරයට නව ප්රමුඛතා එක් කරයි. ඔබේ data pipeline එකේ freshness අඩු වී තිබේද? නව metric එකක් එක් කරලා ඒ ගැන වහාම දැනගන්න.
