Databricks Apps නවකයන්ටත් පළපුරුදු දත්ත ඉංජිනේරුන්ටත් ගැලපෙන, කෙටි කාලයක් තුළ දත්ත තත්ත්ව පුවරුවක් (Data Observability Dashboard) සකස් කර නිකුත් කරගත හැකි නව මාර්ගයක් දැන් ලොව පුරා බෙදා හරින ලදී.
ලියකියවිලි වලින් පෙනෙන පරිදි, ලුක් 2907 මහතා GitHub රිපොසිටරියක් (https://github.com/Lanre2907/data-observability-sample) තුළ Streamlit, pandas, plotly යන Python පුස්තකාල භාවිතා කර සරල CSV එකක් මත දත්ත තත්ත්වය නිරීක්ෂණය කරන පුවරුවක් නිර්මාණය කර ඇත. app.py ෆයිලය UI එක, app.yaml ෆයිලය Databricks Apps සඳහා ධාවන විධාන, requirements.txt හි අවශ්ය පූර්වනිර්ධාරිත පේකේජ්, සහ generate_sample_data.py නමින් රැන්ඩම් දත්ත ජනක ස්ක්රිප්ට් එකක් සමඟින් පූර්ණ ව්යාපෘතිය සකස් කර ඇත. මෙම පුවරුවේ KPI ටයිලයක්, මාසික ප්රවණතා රේඛා, සහ නවතම ලකුණු සාරාංශය දක්වන වගුවක් ඇතුළත් වේ.
දත්ත නිරීක්ෂණය (Data Observability) යනු completeness, timeliness, uniqueness, overall health වැනි මූලික මාත්රා මනාව පරීක්ෂා කර, ව්යාපාරික තීරණ ගැනීමේ වැදගත්කම අතිශයින්ම ඉහළ ය. මෙම උදාහරණය නිසා Databricks Apps මත GitHub සම්බන්ධයෙන් ස්වයංක්රිය නිකුත් කිරීමේ ක්රියාවලිය, රිපොසිටරියක් සදහා Git Credential (PAT) එක් කිරීම, app.yaml කියවීම, requirements ස්ථාපනය, හා URL එකක් හරහා සජීවී UI එකට පිවිසීම ආදී සියලු පියවරද පෙන්වා දී ඇත. ප්රථම වරට ලොග් පේළිය බලන විට “source pulled, packages installed, app built, app started” යන වාක්ය වලින් පිරුණු සතුටක් අත්විඳීමට හැකි වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන් – Data Engineering, Cloud Computing පාඨමාලා වලට ප්රායෝගික උදාහරණයක් ලෙස, Git‑based deployment සහ Streamlit UI නිර්මාණය ඉගෙන ගත හැකිය.
- ඩෙවලොපර්ලා – Databricks Apps හි නිල අධික්රමික පරිසරයක් නොමැතිව, GitHub රිපොසිටරියක් මතින් තත්කාලික පරිසරයක් සකස් කර, පරීක්ෂා, අලුත්කිරීම් සිදු කර ගත හැකිය.
- ව්යාපාර – දත්ත ගුණාත්මකතාව මැනීමට KPI පුවරුවක් සකස් කර, වාර්තාකරණය හා ප්රවණතා විශ්ලේෂණය සරලව කරගත හැකි බැවින්, තීරණ ගත කිරීමේ වේගය වැඩිවේ.
ඉදිරියේදී CSV එකට පිහිටුවා ඇති ස්ථානය Delta Table හෝ Databricks SQL Warehouse එකකට මාරු කිරීමේ හැකියාව පවතින අතර, කේතය වෙනස් නොකර DataFrame එකේ ව්යුහය එකසේ තබා ගැනීමෙන් පමණක් ප්රයෝජනවත් වේ. ඔබට මේ රිපොසිටරිය Fork කර, අවශ්ය වෙනස්කම් එක් කර, ඔබේ ව්යාපෘතියට ගැළපෙන පරිදි සකස් කර ගත හැකිය.
මෙම මාර්ගෝපදේශය ඔබේ දත්ත තත්ත්ව නිරීක්ෂණ අවශ්යතා සපුරාලීමට, Databricks Apps සමඟ Git‑based CI/CD ක්රමය අත්හදා බැලීමට හොඳ ආරම්භයක් වනු ඇත. තවත් ප්රශ්න හෝ යෝජනා තිබේ නම්, රිපොසිටරියට ⭐️ තබා, ඔබේ අදහස comment කර දැනුම් දෙන්න.
