Apache Airflow සහ .NET 10 එකට සම්බන්ධ කිරීමේ නව පියවරක් දැන් ලොව පුරා සංවර්ධකයන් අතර ජනප්රිය වෙමින් පවතී. මෙහි අරමුණ Airflow එකේ workflow නිර්මාණය, කාලසටහන් කිරීම සහ නිරීක්ෂණය පවත්වාගෙන යාමට අවශ්ය පරිසරය වෙනස් නොකර, .NET සේවාවක් මඟින් එහි REST API භාවිතා කර DAG එකක් ආරම්භ කිරීමයි.
මෙම සම්බන්ධතාවය සැලසුම් කරන්නේ Airflow එකේ /api/v2 අන්තර්ජාල API එක භාවිතා කර .NET 10 හි HttpClient සහ JWT පරීක්ෂණය සමඟයි. සේවාව පළමුව ටෝකනයක් ලබාගෙන, DAG Run එකක් (උදා: etl_vendas) අවශ්ය පරාමිති (දිනය, correlation id) සමඟ POST කරයි. ප්රතිචාරයෙන් ලැබෙන dag_run_id සුරක්ෂිත කර, එය තත්ත්වය (success, failed, canceled) පරීක්ෂා කරන තුරු පරීක්ෂා කරයි. ටෝකනය කල් ඉකුත් වීමේ අවස්ථාවට 401 ප්රතිචාර ලැබුනොත් නැවත ලබාගැනීම සිදු කරයි. අධික කාල සීමාවක් (timeout) සකස් කර, අවශ්යනම් රද්දීම (cancellation) ද සිදු කළ හැක.
ඉන්පසු මෙම ක්රියාවලිය Minimal API එකක් ලෙස ප්රකශයට පත් කර, වෙනත් පද්ධතිවලට Airflow එකේ විස්තර දැන ගැනීමට අවශ්ය නොවී, සරල HTTP ඇමතුමක් මගින් DAG ආරම්භ කිරීමට හැකි කරයි. .NET 10 නව නාමය (පැරණි .NET Core 3.1 පසුගිය) භාවිතා කර ඇති නිසා Docker images, පැකේජ සහ ලේඛන සොයා ගැනීමේ ගැටළුවක් නැත.
අත්හදා බැලීමට අවශ්ය මුලික අවශ්යතා: .NET 10 SDK, Docker Compose 2.14+, සහ අවම 4 GB RAM. රිපොසිටරියේ Airflow 3.3, PostgreSQL 16 සහ etl_vendas DAG සමඟ Docker compose එකක් ඇත, එනිසා Python හෝ Airflow ස්ථාපනය කිරීමට අවශ්ය නැත. නිෂ්පාදන පරිසරයේ රහස් (password) සුරක්ෂිත කිරීම සඳහා Docker secret, environment variable (Airflow__Password) භාවිතා කර, appsettings.json හෝ ලොග් වලින් බෙදා නොදෙන්න.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන් – .NET සහ Airflow එකට එකවර සම්බන්ධ වීමෙන් Cloud‑native workflow පරිපාලනයේ නව තාක්ෂණික හැකියාවන් ඉගෙන ගත හැක.
- සංවර්ධකයන් – REST API, JWT, Docker Compose වැනි නවීන DevOps උපකරණ සමඟ වැඩ කිරීමේ පුහුණුව ලැබේ.
- ව්යාපාර – දත්ත පාරිභෝගිකතා (ETL) වැඩි දියුණු කිරීම, මෘදුකාංග ලාභය අඩු කිරීම, සහ CI/CD පයිප්ලයින් සමඟ සරල ඒකාබද්ධ කිරීමේ හැකියාව ලැබේ.
ඉදිරියේදී .NET 10 සහ Airflow 3.x එකට සම්බන්ධ කර ගත හැකි ක්රමවේදයන් වැඩිදියුණු වීම, ශ්රී ලංකාවේ තාක්ෂණික පරිසරය අන්තර්ජාලයෙහි නව තත්ත්වයකට ගෙන යාමට උපකාරී වේ.
