Google විසින් නවතම ලිපියකින් TPU (Tensor Processing Unit) මත Ray AI පුස්තකාල භාවිතය පිළිබඳව පියවර දෙකකින් පැහැදිළි කරයි. පළමු ලිපියෙන් GKE + Ray Core මූලික සැලසුම පැහැදිළි කර තිබුණා නම්, මේ දෙවන කොටසේ Ray Serve, Ray Data සහ Ray Train යන පුස්තකාලයන් කෙසේ TPU සමඟ සම්බන්ධ කරගත හැකිදැයි විස්තර කරයි.
Ray Serve යනු AI මොඩලයන්ගේ ඉන්ෆරන්ස් සේවාවන් සඳහා ස්වයංක්රීය පරිමාණය, ලෝඩ් බැලැන්සිං සහ බහු‑මොඩල සංයෝජනය ලබා දෙන සේවාවකි. TPU හි වඩාත් කාර්යක්ෂම ICI (Inter‑Chip Interconnect) ජාලය භාවිතා කරමින් vLLM යන ඉහළ throughput එන්ජින් මගින් LLM (Large Language Model) ඉන්ෆරන්ස් කළ හැක. මොඩලයක් එකම TPU හෝඩ් එකේ අඩුම පරිමාණයට ගැලපෙන්නේ නැත්නම්, topology ක්ෂේත්රය (උදා: "4x4") එකතු කිරීම මගින් සම්පූර්ණ slice එකක් ආරක්ෂා කර, සියලු workers එකම ICI mesh එකේ සිටින ලෙස සැකසිය හැක. මෙය නොකරන්නේ නම්, මොඩලය DEPLOYING තත්වයෙන් ඉදිරියට නොයයි, TPU කාලය අහඹු ලෙස වැය වන තත්ත්වයක් පවතී.
Ray Data තුළ iter_jax_batches() API එක, TPU වල දත්ත ප්රවාහය ඉක්මනින් කර ගැනීමට නිර්මාණය කර ඇත. මෙය JAX arrays ලෙස පූර්ව‑ශේර්ඩ් කර ඇති batch‑වලින් සපයන බැවින්, host‑side NumPy‑to‑JAX copy එකේ ප්රතික්ෂේපයක් නොමැතිව training හෝ batch inference ක්රියාවලිය සිදු කළ හැක. පරිමාණය 1024 වැනි විශාල batch size එකක් දී, අවසන් ragged batch එකද drop, pad, raise යන විකල්පයන්ගෙන් කළමනාකරණය කරයි.
Ray Train පිළිබඳ විස්තර කෙටි වුවද, TPU slice එකක් ආරක්ෂා කර training job එකක් ක්රියාත්මක කිරීමේ පදනම සපයයි. මෙය Ray Core හි slice placement group එකෙන් පසු, Ray Train API සමඟ සම්බන්ධ කර, TPU හි parallelism උපයෝගී කර ගන්නා පරිදි සැලසුම් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- අධ්යයන ආකාරය: විශ්වවිද්යාල සිසුන්ට TPU‑Ray සංයෝගය භාවිතා කර AI පර්යේෂණය කළ හැකි පරිසරයක් ලැබේ.
- සංවර්ධකයන්: ගූගල් කලාපයේ GKE සහ Ray Operator භාවිතයෙන් කාර්යක්ෂම AI සේවා ඉක්මනින් පිහිටුවිය හැක, එය වියදම අඩු කරයි.
- ව්යාපාරික වාසි: වඩාත් වේගවත් inference සහ training මගින් AI‑driven නිෂ්පාදන, සේවා ව්යාපාරික ගුණාත්මකභාවය ඉහළ යයි, දේශීය තාක්ෂණ ආරම්භකයන්ට නව අවස්ථා සලසයි.
සාරාංශයෙන්, Ray AI පුස්තකාලයන් TPU සමඟ සම්බන්ධ කිරීමේ නව මාර්ගය, ශ්රී ලංකා තාක්ෂණ පරිසරයට ඉතා වැදගත් පියවරක් වේ. පරිමාණය, කාර්යක්ෂමතාව සහ වියදම් අඩු කිරීමේ මේ අංගයන්, AI‑සම්බන්ධ ව්යාපාරික අවස්ථා සොයන ඔබට නව දොරටුවක් විවෘත කරයි.
