අද කාලේ සෑම ව්යාපාරයක්ම SaaS (Software as a Service) විසින් පවත්වාගෙන යන විවිධ පද්ධති – මාර්කට්ටින්, CRM, HR, Finance වැනි – භාවිතා කරනවා. එම පද්ධති වලින් ලොකු පරිමාණ දත්ත Data Lake එකට ගෙන යාමට අවශ්යතාවය නිතරම එනවා. නමුත් එය කරන්නේ කෙසේද, ආරක්ෂාවෙන්, අඩු අවසරයන්ගෙන්, සහ ලේඛන ගත නොකළාම?
මෙම ප්රශ්නයට පිළිතුරක් ලෙස, මම පසුගිය කාලයේ භාවිතා කළ ‘Secure SaaS‑to‑Lake’ ආකෘතිය හඳුන්වා දෙමි. මෙය පළමු පියවරේ සිට අවසන් bulk‑export job එක දක්වා සම්පූර්ණයෙන්ම platform‑agnostic (ඕනෑම SaaS API එකකට ගැළපෙන) වේ. මෙම ආකෘතියේ මූලික අස්ථි 4ක් ඇත:
- Read‑Only API රෝල් – UI අවසර නොලැබෙන, API මත පමණක් පදනම් වූ පිරිසිදු කියවීමේ අවසර.
- Dedicated Service Account – මනුෂ්ය නොවන, එකක්‑එක pipeline සඳහා නිර්මාණය කළ සේවා ගිණුම.
- OAuth 2.0 Client‑Credentials Authentication – කෙටි කාලීන access token එකක් ලබා ගෙන, සෑම API කැඳවීමකම Bearer header එකක් ලෙස යොදා ගැනීම.
- Asynchronous Bulk‑Export Job – දත්ත ගොඩක් එකවර බාගත කිරීම සඳහා asynchronous job pattern එකක් භාවිතා කිරීම.
පියවර 1 – Read‑Only API රෝල් සෑදීමේදී, පළමුව පද්ධතියේ permission matrix එකට පිවිසිමෙන් UI අවසර කිසිවක් නොදෙන්න. API මත පමණක් “Read‑Only” ලෙස සලකුණු කර ඇති අවසරයන් තෝරා ගන්න. මෙය දුර්වලතා අවකාශය (blast radius) අඩු කරයි; කේතය හෝ token එක හොරකම් වුණාම ද, පරීක්ෂකයාට දත්ත කියවීම පමණක් හැකියාවක් ලැබේ.
පියවර 2 – Dedicated Service Account සඳහා, "[email protected]" වැනි නාමයක් භාවිතා කර, UI login හැකියාව අක්රීය කර, phishing අවදානම ඉතා අඩු කරයි. එක් pipeline එකකට එක් ගිණුමක් භාවිතා කිරීමෙන්, audit log එකේ කවුරුන්ද export කරයි කියා පැහැදිලිව පෙන්විය හැක.
පියවර 3 – OAuth Client‑Credentials හි, platform එකේ "Connected App" එකක් සකසා client ID, client secret ලබා ගන්න. එම දෙක භාවිතා කර token endpoint එකට GET request එකක් එවා, සාමාන්යයෙන් 1 පැය කාලයක් පවතින token එකක් ලැබේ. මේ token එක සියලු API calls වල Bearer header එකේ යොදා ගත යුතුය.
පියවර 4 – Asynchronous Bulk‑Export මගින්, දත්ත ගොඩක් එකවර request කර, background job එකක් ලෙස ක්රියාත්මක කරයි. එවිට pipeline එකට retry, error handling, සහ scaling පහසු වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ආයතන, විශ්වවිද්යාල සිසුන්, සහ ස්ථානික startups සඳහා මෙම ආකෘතිය විශාල වාසියක් ගෙන දෙයි. පළමුව, read‑only රෝල් මඟින් දත්ත ආරක්ෂාව නියම කර, රහස්ය තොරතුරු හෝ පාරිභෝගික රෙකෝඩ්ස් අහංකාරව හෝ හරහා ගත නොහැකි වේ. දෙවැනිව, සේවා ගිණුමක් නිර්මාණය කිරීමෙන්, මනුෂ්ය ගිණුම් මාරු වීමේදී ඇතිවන pipeline බිඳ වැටීම් අවසන් වේ. තෙවැනිව, OAuth client‑credentials authentication භාවිතයෙන්, සමාගමට token expiry සහ renewal ක්රියාවලිය ස්වයංක්රීය කළ හැකි බැවින්, IT කාර්ය මණ්ඩලයේ කාර්යක්ෂමතාව වැඩි වේ. අවසාන වශයෙන්, bulk‑export pattern එකේ asynchronous nature එක, ශ්රී ලංකාවේ data‑centric start‑ups වලට වඩාත් scalability සහ cost‑efficiency ලබා දෙයි, එමඟින් දත්ත‑driven decision‑making ක්රියාවලිය තවත් වේගවත් කරයි.
ඉතින්, SaaS දත්ත ආරක්ෂිතව Data Lake එකට එක් කිරීමේ මෙම 4‑පියවර පද්ධතිය, ඔබේ සංවිධානයේ දත්ත ආරක්ෂාව, විශ්වාසනීයතාව, සහ කාර්යක්ෂමතාව වැඩිදියුණු කරයි. එය දැන්ම ඔබේ data strategy එකේ අංගයක් බවට පත් කරගන්න.
