Databricks Lakehouse Platform එක AWS මත භාවිතා කරන ආයතනවල, දත්ත පාලනය සහ ආරක්ෂිත ගබඩා ප්රවේශය යන දෙකම අත්යවශ්ය කරුණු බවක් සෑම සැලසුම් කතාබස් එකකදීම පෙනේ. Unity Catalog මේ දෙකම එකක් කරදරවී, එහි මූලික හදවත වන්නේ Storage Credentials කියන ආරක්ෂක පදනමයි.
Unity Catalog හරහා පසුගිය කාලයේ Databricks හි S3 ප්රවේශය ක්ලස්ටරයේ Instance Profile මත පදනම් වූ අතර, එය සියලු පරිශීලකයන්ට එකම අවසර ලබා දෙන, තනි-තල පාලනයක් නොමැති, අඩු පරීක්ෂණ හැකියාවක් සහිත, සංකීර්ණ multi‑account සැලසුම් කළ යුතු ආකාරයක් විය. Storage Credentials එම පද්ධතියේ අඩුපාඩු නිරාකරණය කර, වස්තු‑මූලික පාලනයක් ලබා දෙයි.
Storage Credential කියන්නේ AWS IAM Role එකක් (ස්ථාවර යතුරු වලට වඩා භාවිතා කිරීමට ඉතාමත් සුදුසු) වන අතර, Databricks එය AWS STS හරහා අනුමාන කර S3 බකට් වලට ආරක්ෂිත ප්රවේශයක් ලබා ගනී. එය Unity Catalog තුළ SQL විධානයක් මඟින් ලියාපදිංචි කරගත හැකිය: CREATE STORAGE CREDENTIAL finance_sc WITH ROLE 'arn:aws:iam::123456789012:role/databricks-finance-access'; මෙය ලියාපදිංචි වූ පසු, පරිශීලකයන් හෝ ක්ලස්ටර සැකසුම් වලින් වෙන්ව, Databricks එකට S3 ප්රවේශය සඳහා ඒකම හැඳුනුම භාවිතා වේ.
Storage Credentials විසින් විසඳන ප්රධාන ගැටළු කිහිපයක් මෙසේය:
- සුක්ෂම පාලනය – කවුද කියවන්න/ලියන්න, කවර බකට් එකකට ප්රවේශ විය හැකිද, කුමන catalog/schema එකට කුමන S3 මාර්ගය සම්බන්ධද යන සියලුම තොරතුරු Unity Catalog සමඟ සම්බන්ධ වේ.
- Instance Profile වලට සම්පූර්ණ විකල්පය – Serverless SQL Warehouse වලට Instance Profile සපයන්න බැරි බැවින් Storage Credential අත්යවශ්ය වේ.
- External Location සකස් කිරීම – Storage Credential නොමැතිව External Location එකක් නිර්මාණය කළ නොහැක.
- Cross‑Account S3 ප්රවේශය – බහු‑ගිණුම් (data, workload, security) ආකාරයේ වාණිජ වාණිජ පරිසරයන්හි ප්රවේශ කළමනාකරණය පහසු කරයි.
- පූර්ණ audit හැකියාව – system.access.audit දත්ත මගින් කවුරුන්, කවදා, කුමන ක්රියාකාරකම් කළේද යන්න සවිස්තරාත්මකව පරීක්ෂා කළ හැකිය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තොරතුරු තාක්ෂණය, ආර්ථික සේවා, රජයේ දත්ත පද්ධති යනාදී ක්ෂේත්රවල Unity Catalog සහ Storage Credentials භාවිතය අතිශය ප්රයෝජනවත් වේ. පළමු, සමාගම්වල දත්ත ගබඩා කළමනාකරණය තරමක් ඉහළ යයි; කණ්ඩායම් අනුව S3 බකට් වලට විශේෂ අවසර ලබා දීමේදී අධිකාරී පාලනයක් ලැබේ. දෙවනුව, Serverless SQL Warehouse භාවිතය ඉහළ වේගයෙන් කරගත හැකි නිසා, විශ්ලේෂණාත්මක සේවා පාරිභෝගිකයන්ට real‑time insight ලබා දීමට හැකියාව ලැබේ. තෙවනුව, audit ලොග් මගින් රජයේ ආරක්ෂක නීති, GDPR වැනි compliance අවශ්යතා ඉටු කළ හැකි බැවින්, ශ්රී ලංකාවේ බහු‑ගිණුම් AWS පරිසරයන්හි දත්ත ආරක්ෂාව තහවුරු වේ. මෙය තාක්ෂණික උපායමාර්ගිකයන්, විශ්වවිද්යාල සිසුන්, සහ දත්ත විශ්ලේෂකයන්ට නව අධ්යාපන හා වෘත්තීය අවස්ථා සලසයි.
කෙටි සාරාංශයක් ලෙස, Storage Credentials Unity Catalog හි අත්යවශ්ය කොටසක් වන අතර, එය S3 ප්රවේශය සඳහා ආරක්ෂක, පාලන, audit‑කිරීම් හැකියාවන් සපයයි. ආයතනවල data lakehouse සැලසුම් වල අනාගතය මෙය වඩාත් ස්ථායි, ආරක්ෂිත, සහ පරිපාලන‑මිතුරක් බවට පත්වේ.
