AI ක්ෂේත්රයේ නවතම ප්රගතියක් ලෙස Kimi K3 මොඩලය 896 විශේෂඥ (expert) සමඟ 16ක් පමණක් එක් එක් ටෝකනයකට ක්රියාත්මක කරයි. 2.8 ට්රිලියන් පරාමිතීන් ඇති මෙම මොඩලය, කුඩා ගණනක GPU සම්පත් භාවිතයෙන් ඉතා වැඩි ගණනේ දත්ත සකස් කිරීමට හැකි වන අතර, මෙය විශේෂයෙන් බෙදාහැරුණු (distributed) ඉන්ෆරන්ස් පද්ධතියකට අලුත් සභාවක් ගොඩනැගේ.
සාමාන්ය ඩෙන්ස් මොඩලයක සෑම පරාමිතියක්ම සෑම ටෝකනයක්ම භාවිතා කරන අතර, ගණනයේ රටාව සමාන්ය වේ. MoE (Mixture-of-Experts) මොඩලයකට එන විට, ටෝකනයන් වෙනත් විශේෂඥ කණ්ඩායම් වෙත යොමු වන නිසා GPU කාර්යභාරය එකසේ නොවේ. කුමක්ද මේ ගැටලුව?
පළමුව, 896 විශේෂඥයන් සියල්ල GPU මත රඳවා තබා ගත යුතුය, එමඟින් මතක අවශ්යතාව ඉහළ යයි. නමුත් එක් එක් ටෝකනයකට අවශ්ය විශේෂඥයන් 16ක් පමණයි, ඒ නිසා සක්රිය කිරීමේ රටාව අඩු (sparse) වේ. මෙම රවුටරය (gating network) තීරණය කරයි කුමන විශේෂඥයන් යොදා ගැනීමට.
බෙදාහැරුණු ඉන්ෆරන්ස් පරිසරයක K3 යෙදවීමට පෙර, පහත පරික්ෂා කරගත යුතුය:
- විශේෂඥ ස්ථාපනය සහ අසාර්ථකතා ප්රතිකාර: 896 විශේෂඥයන් 8 GPU කට වෙන් කර, එක් GPU එකක විශේෂඥ #347 අසාර්ථක වූ විට, එය වෙනත් GPU එකකට යළි නියෝජනය කළ යුතුය.
- ලෝඩ් බාලන්ස්: ටෝකන 80%ක් 20% විශේෂඥයන්ට යොමු වුවහොත්, ඒ GPU කාර්යභාරය අධික වේ. මෙය මධ්යස්ථ පරාසයක් (imbalance ratio) 2.0 ඉක්මවා නොයැවිය යුතුය, උණුසුම් විශේෂඥයන් බහු GPU වෙත ප්රතිලෝකනය කිරීමෙන්.
- අසම්පූර්ණ අසාර්ථකතා පරීක්ෂණ: GPU එකක් මන්දගාමී වුවහොත්, ඩෙන්ස් මොඩලයක් වඩාත්ම ප්රතිඵල අඩු වේ, නමුත් MoE මොඩලයේ එම GPU සම්බන්ධ ටෝකන පමණක් ප්රතිපල අඩුවේ.
- විශේෂඥ-මට්ටමේ මැනුම්: සක්රියතා ගණන, ප්රතිචාර කාලය, මතක භාවිතය, අසාර්ථකතා ගණන වැනි දත්ත සෑම විශේෂඥයකින්ම ගබඩා කළ යුතුය; එසේ නොවේ නම් ගැටළුවක් හඳුනාගත නොහැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයන්, විශ්වවිද්යාල සිසුන් සහ තාක්ෂණික ව්යාපාරිකයින්ට Kimi K3 මොඩලය විශාල අවස්ථාවක්. 2.8 ට්රිලියන් පරාමිතීන් සමඟ, පරිගණක සම්පත් අඩුවෙන්ම විශාල භාෂා මොඩලයක් පවත්වා ගත හැකි නිසා, දේශීය AI සේවා (chatbot, content generation) වඩාත්ම කාර්යක්ෂම වේ. බෙදාහැරුණු ඉන්ෆරන්ස් සැලසුම් සාර්ථකව ක්රියාත්මක කළහොත්, ශ්රී ලංකා තොරතුරු තාක්ෂණ (ICT) ආයතනවල සේවා වේගය වැඩිවීමට, පරිභෝගික අත්දැකීම් වඩාත්ම නිරවද්ය වීමට, සහ දේශීය AI ආරම්භක ව්යාපාරවලට ලොව පළපුරුදු තාක්ෂණයක් අත්කර ගැනීමට අවස්ථාව ලැබේ.
ඉදිරියට, GPU මතකය, විශේෂඥ ප්රතිලෝකනය, සහ අසාර්ථකතා ප්රතිචාර සැලසුම් ගැන දැනුවත් වීම, ශ්රී ලංකාවේ AI පද්ධති විශ්වාසනීයත්වය සහ තත්ත්වය ඉහළ නැංවීමට මූලිකය.
අවසානයේ, Kimi K3 මොඩලය බෙදාහැරුණු පරිසරයක ක්රියාත්මක කිරීම සඳහා නව සංකල්ප, මැනුම්, හා නිරීක්ෂණ ක්රම අවශ්යයි. ඒ සාර්ථකව කරගත හැකි නම්, ශ්රී ලංකාවේ AI ක්ෂේත්රය ජාත්යන්තර තරඟකාරීත්වයට සමීපවී, තාක්ෂණික නවෝත්පාදනයේ නව තලයක් ගොඩනැගේ.
