ELT පද්ධතියක දත්ත ගබඩාවකට සෑදෙන වාර්තා, සමාන්යයෙන් HyperLogLog, equi‑depth histogram වැනි ගණනාවක් ගොඩනැගී ඇත. ඒවා ගණනය කරගැනීම කාලය බරපතලයි, නමුත් ඒකම ගොනුව වෙනත් query engine (DuckDB, DataFusion, Polars, Postgres) භාවිතා කරන විට අසන්නුම වේ.
ඇත්තටම, එක් එක් engine එකම තමන්ගේම පද්ධති‑අභ්යන්තර සංඛ්යාත්මක තොරතුරු ගබඩා කරයි. එම නිසා, ELT පipeline එකේ ගොඩනැගූ histogram එක, query optimizer එකට අකුරැතිව පෙනෙන්නේ නැත. එම නිසා DataFusion හි 4 billion පේළි scan කිරීම, DuckDB හි හොඳ performance එක වැනි අසමත්තා සිදුවේ.
මෙම ගැටලුවට “සියල්ලට ANALYZE කරන්න” කියන සරල විසඳුමක් තිබෙනවා වගේ පෙනේ, නමුත් එය වසර හතරක් වෙනස් කරන, වර්ගය වෙනස් කරන, කාලය වෙනස් කරන සංකීර්ණ ගණනාවක් නිර්මාණය කරයි. ප්රතිඵලයක් වන්නේ එකම දත්ත සෙට් එකට සමාන සංඛ්යාත්මක තොරතුරු හතර වරක්, වර්ග වාරිකයන් තුළ ගොඩනැගීමයි.
Samkhya විසින් මේ ගැටලුවට නව මාර්ගයක් ගෙන එයි. එය classic sketches (HyperLogLog, Bloom, Count‑Min, 2‑D correlated histogram) ගොඩනැගී, ඒවා Iceberg Puffin sidecar ගොනුවේ versioned, KIND‑tagged blobs ලෙස සුරකින්නෙයි. එම sidecar එක ELT pipeline එකේ එකවර ලියන අතර, DataFusion, DuckDB, Postgres වැනි adapters ඒකම ගොනුවෙන් පූර්ණයෙන්ම කියවයි. එයින් engine‑specific cache ඉවත් කර, සංඛ්යාත්මක දත්තය “shared asset” බවට පත්වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ data‑driven startup, බැංකු, අධ්යාපන ආයතන වැනි අංශයන්ට මෙය විශාල වාසියක්. පළමුව, එකම histogram එක බහු‑engine වල භාවිතා කිරීමෙන් compute cost අඩුවේ, එමෙන්ම cloud cost‑ද අඩු වේ. දෙවැනි, stale statistics නිසා query plan වැරදි වීම අවම වේ; Samkhya‑ේ pessimistic bound මඟින් “පැරණි sketch එක” හෝ “වැරදි data” query performance අඩු නොකරයි.
මෙම තාක්ෂණය Sri Lankan developers ලට open‑source ecosystem එකේ නව collaboration model එකක් දක්වයි. University projects, data‑analytics bootcamps, සහ local SaaS companies, සිය data lake එකේ Iceberg tables භාවිතා කරමින්, එකම statistics sidecar එකෙන් සියලුම analytics engine එකට සමාන දත්ත ගුණාත්මකභාවය ලබා ගත හැක.
අවසන් වශයෙන්, Samkhya විසින් statistics‑වල lifecycle එක ප්රතිසංස්කරණය කර, data‑platform එකේ “statistics as a first‑class citizen” බවට පත් කරයි. එය ශ්රී ලංකාවේ data‑centric ව්යාපාරවලට ගුණාත්මක, පාරිභෝගික‑හිතකාමී, හා පරිසර‑හිතකාමී analytics පරිසරයක් ගොඩනැගීමට මඟ පෙන්වයි.
