දත්ත, API, AI ආදී ක්රියාකාරකම් එකට ගොඩනැගීමට ලොකු පරිමාණයේ පයිප්ලයින් අවශ්ය වේ. එවැනි පයිප්ලයින් කළමනාකරණය සඳහා Apache Airflow නවීන විසඳුමක් ලෙස පෙනෙයි. කේතයෙන් ඔබේ වැඩපිළිවෙළ නිර්වචනය කර, නියමිත වේලාවට ක්රියාත්මක කර, අසාර්ථක වුවහොත් නැවත උත්සාහ කර, ඊළඟට සිදු වූ ප්රතිඵල UI එකකින් පෙන්වයි.
Airflow එකක් සංගීත කණ්ඩායමක නායකයෙක් මෙන් ක්රියා කරයි. ඔබේ සෙල්ලම්කාරයන් (ස්ක්රිප්ට්) කුමන අනුක්රමයකින්, කුමන වේලාවේ ඉදිරියට යාමට අවශ්යදැයි නියම කර, එකක් අසාර්ථක වූත් පූර්ණ සැලැස්ම රඳවා තබයි. එම නිසා මනුෂ්ය මතකය, ගැටලු හඳුනා ගැනීම, නැවත ක්රියාත්මක කිරීම ආදී වැඩ සියල්ල ස්වයංක්රීයව සිදු වේ.
Airflow හි ප්රධාන පදවි කිහිපයක් පහත පරිදි වේ:
- DAG (Directed Acyclic Graph) – ඔබේ වැඩපිළිවෙළේ බොක්සුවල (tasks) අතර සම්බන්ධතා පෙන්වන රූපයක්. බාධා නැති, පසුපසට නොයන සටහන.
- Task – එක් එක් කාර්යය. “ගොනුව බාගත කරන්න”, “දත්ත පිරිසිදු කරන්න” වැනි කාර්යයන්.
- Operator – Task එකක් සකස් කිරීමේ නියමිත කොටස. PythonOperator, BashOperator, SQLExecuteQueryOperator වැනි බහුලව භාවිතා වන බ්ලොක්ස්.
- Scheduler – කාලය නිරීක්ෂණය කර, DAG එක ක්රියාත්මක කිරීමට “බැට්ටන්” එල්ල කරන කොටස.
- Executor & Workers – Scheduler එකේ නියම කළ කාර්යයන් ඇත්තේ කොහේද, කොපමණ පරිමාණයකද කියා තීරණය කර, ඒවා සැබෑවට පත් කරන යන්ත්ර.
- XCom – කාර්යයක් තවත් කාර්යයකට කුඩා තොරතුරු (උදා: පේළි ගණන) යැවීමට භාවිතා කරන “සටහන”.
- Retries – ජාලය හෝ API ගැටලු වැනි අඩුපාඩු ඇති වුවද, කාර්යය ස්වයංක්රීයව නැවත උත්සාහ කරයි.
ඉතින් Airflow භාවිතා කිරීමෙන් ඔබට ලැබෙන ප්රධාන වාසිය වන්නේ, සංකීර්ණ පයිප්ලයින් එකක් ලේසියෙන් නිර්මාණය කර, නිරීක්ෂණය කර, ගැටලු සොයා හඳුනා ගැනීමට UI එකක් ලබා ගැනීමයි. AI, Cloud සේවාවන්, Docker, Kubernetes වැනි නව තාක්ෂණ සමඟ ඒකාබද්ධ කිරීමත් ඉතා පහසුය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ විශ්වවිද්යාල ශිෂ්යයන්ට Airflow කියන්නේ “කේතයෙන් වැඩපිළිවෙළ ලියන, පරීක්ෂා කරන” නව අධ්යාපන මෙවලමකි. මෙය ලැබෙන විෂය මට්ටම වැඩි කර, ව්යාපාරික වශයෙන් දත්ත විශ්ලේෂණ, AI මොඩල් පුහුණුව, ETL වැනි වැඩ සදහා විශාල වාසියක් ගෙනදෙනු ඇත. දේශීය සංවර්ධකයින්ට Cloud‑based Executor, Kubernetes Executor වැනි විකල්ප භාවිතා කර, ඉහල පරිමාණයේ පයිප්ලයින් සකස් කිරීමේ හැකියාව ලැබේ. ඒ නිසා ස්මාල් හා මධ්යම ව්යාපාරයන්ට කාර්යයන් ස්වයංක්රීය කර, වැරදි අවම කර, කාලය හා වියදම ඉතිරි කර ගත හැක.
අවසානයට, Airflow එකේ සරල UI, විවිධ Operators, සහ AI‑සහයෝගිතාවය සමඟ ඔබේ දත්ත සැලැස්ම අනාගතයේත් සාර්ථකව පවත්වා ගත හැකිය.
