Kimi K3 මොඩලය 2.8 ට්රිලියන් පරාමිතීන් සමඟ ලෝකයේ අවධානය දිනා ගත්තේ නමුත්, ඉගෙනුම්කරුවන්ට ඇත්තෙන්ම වැදගත් වන්නේ එහි attention mechanismය. K3 හි KDA‑Kimi Delta Attention කියන නව ලිනියර් ඇට්ටෙන්ෂන් ක්රමය, පාරම්පරික softmax ඇට්ටෙන්ෂන්ට වෙනස් වීමක් ලෙස හඳුන්වා දෙනවා.
සාමාන්ය transformer එකක, එක් ටෝකනයක් සියලු වෙනත් ටෝකනවලට බලන අතර, N ටෝකනවලට N×N ඇට්ටෙන්ෂන් මැට්රික්ස් එකක් ගණනය කළ යුතුය. 1 මිලියන ටෝකන පසුබැසි කවුළුවක් (K3 හි සහාය) තිබේ නම්, එම මැට්රික්ස් එක අති විශාලව, ගණනය කිරීම අසීරු වේ. එනිසා බොහෝ මොඩලයන් සෙලයිඩින් වින්ඩෝ, ස්පාර්ස් පැටර්න් වැනි තාක්ෂණ භාවිතා කරයි.
ලිනියර් ඇට්ටෙන්ෂන් මෙම ගැටලුවට විසඳුමක් දෙයි. සම්පූර්ණ N×N මැට්රික්ස් එකක් ගණනය නොකොට, ටෝකනයක් එක්ක එක්ක ප්රොසෙස් කරන විට running state එකක් නවීකරණය කරයි. එම නිසා එක් ටෝකනයකට වැය වන ගණනාව සීඝ්රව ස්ථිර වේ, අනුක්රමිකව දිගු පසුබැසියකටත් මෙය සාර්ථකයි. ලිපියේ උදාහරණ කේතය 20 පේලි Python භාවිතා කරලා ලිනියර් ඇට්ටෙන්ෂන් මූලික අදහස පෙන්වයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ විශ්වවිද්යාල සිසුන්, තාක්ෂණික වෘත්තීකයින්, ආයතනික AI සංවර්ධකයන්ට මේ නව ක්රමය වඩාත් ප්රයෝජනවත් වේ.
- දීර්ඝ පසුබැසි මොඩලයන් – ලිනියර් ඇට්ටෙන්ෂන් නිසා 1M ටෝකන පසුබැසි සමඟ AI මොඩලයන් නිර්මාණය කිරීම දැන් ගණනයේ අධික පිරිවැය නොවෙයි.
- ඉගෙනුම් පථය සරල කිරීම – KDA මත පදනම් වූ ඩෙල්ටා යන්ත්රණය, ලිනියර් ඇට්ටෙන්ෂන්ගේ සීමා අඩු කරයි. එම නිසා නවකයන්ට ප්රායෝගික උදාහරණ සමඟ ඉගෙන ගැනීම පහසුය.
- දේශීය AI නිෂ්පාදන – සීමා නොමැති පසුබැසි සමඟ ස්ථානයේම AI සේවාවන් (chatbot, summarization) නිර්මාණය කරගත හැක, එය තාක්ෂණික ආර්ථිකයට නව අවස්ථා සලසයි.
ඉදිරියේදී, KDA‑Kimi Delta Attention පරික්ෂා කරමින්, ශ්රී ලංකාවේ AI පර්යේෂකයන්ට පරිමාණවත්, වේගවත්, කුඩා පරිභෝජන මොඩලයන් නිර්මාණය කිරීමේ හැකියාව ලැබේ.
අවසානයේ, K3 මොඩලයේ විශාල පරාමිතීන් ගැන කතා කිරීමේ වඩාත් වැදගත් කරුණ, එහි නවතම ඇට්ටෙන්ෂන් සැලසුමයි. ලිනියර් ඇට්ටෙන්ෂන් හා KDA යන දෙකම, AI තාක්ෂණයේ ඉදිරියට ගමනේ මූලික පියවරක් බව පෙනේ.
