AI ක්ෂේත්රයේ නවතම ප්රවණතාවක් වන Mixture of Experts (MoE) තාක්ෂණය, මොඩලයන්ව ත්රිලියන පරාමිතීන් දක්වා විශාල කරමින්, ගණනාවක් පිරිවැය අඩු කරයි. Mixtral, DeepSeek‑V3, GPT‑4o වැනි නව මොඩලයන් මේ ආකෘතිය භාවිතා කරයි.
MoE යනු මොඩලයක් කුඩා, විශේෂිත උප‑ජාල (experts) කිහිපයකට බෙදා, ඒවාට ඉන්පුට් අනුව ගේට්වර් (router) එකක් තේරීම් කරන ආකාරයකි. සම්පූර්ණ ජාලයක් නොදැවෙනවට, තෝරාගත් කුඩා ගණනක් පමණක් ක්රියාත්මක වේ. මේ නිසා පරාමිතීන් ගණන තරමට වඩා, ක්රියාත්මක වන පරාමිතීන් සංඛ්යාතය පමණක් ගණනය වේ.
MoE ක්රියා පටිපාටිය පහත පියවර වලින් යුක්ත වේ:
- ඉන්පුට් ටෝකනය transformer පටලයකට ඇතුළත් වේ.
- ගේට්වර් ජාලය සෑම expert කුමකටද යැයි ලකුණු ගණනය කරයි.
- ඉහළ ලකුණු ඇති top‑k (සාමාන්යයෙන් 1 හෝ 2) expert තෝරා ගනී.
- තෝරාගත් expert ගණන් ටෝකනය පිරිසිදු කර, ප්රතිඵල එකතු කරයි.
පුහුණු කිරීමේදී ගේට්වර් තවත් හොඳ තීරණ ගැනීමට ඉගෙන ගනී; වැරදි තෝරාගත් expert එකක් නම්, එය අනාගත තේරීම් සදහා නිවැරදි කරයි.
MoE හි ප්රධාන ලාභ:
- අති විශාල පරාමිතීන් සමඟත්, ඉන්ෆරන්ස් ගණනාව අඩුයි.
- විවිධ ආදාන වර්ග සඳහා විශේෂිත ප්රතිචාර ලබා දීමට හැකියාව.
- සැලසුම් පරිමාණය (scalability) ඉතා හොඳයි.
එත්, අභියෝග කිහිපයක් පවතී. Expert අතර පූර්ණ බර බෙදා ගැනීම (load balancing) සංකීර්ණය, සහ පද්ධති සැකසීමේ වියදම වැඩි වීම යන දෙකයි. මේ නිසා සාර්ථකව යෙදවීමට පරිපාලන පසුබැසීමක් අවශ්ය වේ.
Google හි Switch Transformer, Mistral හි Mixtral, DeepSeek‑V3 වැනි ප්රධාන නිෂ්පාදන මේ ආකෘතියේ යෙදවීම් වේ. ඒවා ඉන්ෆරන්ස් කාලය, latency, හා fine‑tuning ක්රියාවලියට නව මට්ටම් එක් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන් AI පාඨමාලා තුළ MoE සංකල්පය ඉගෙන ගැනීමෙන්, ගෝලීය තත්ත්වයේ අත්දැකීම් ලබා ගත හැක.
- දේශීය සංවර්ධකයන්ට පරිභෝජන‑අඩු AI සේවා නිර්මාණය කර, cloud ගාස්තු අඩු කර ගැනීමට අවස්ථාව.
- ව්යාපාරිකයන්ට තරඟකාරී AI විසඳුම් (custom experts) හරහා සේවා ගුණාත්මකභාවය වැඩි කර, පාරිභෝගික අත්දැකීම් උසස් කරගත හැක.
MoE තාක්ෂණය, AI පරිසරය තුළ කාර්යක්ෂමතාවය හා පරිමාණය අලුත් මට්ටමකට ගෙන එයි. ශ්රී ලංකාවේ තාක්ෂණික පදනම ශක්තිමත් කර, දැනුම් පවත්වා ගත හැකි අනාගතයක් සඳහා මෙය මූලික පියවරක් වේ.
