AI ක්ෂේත්රයේ නවතම ප්රගතියක් ලෙස Kimi Delta Attention (KDA) නමැති ලිනියර් අට්ටෙන්ශන් ආකෘතිය හඳුන්වා දී ඇත. මෙම ආකෘතිය DeltaNet පවුලේ නව සංස්කරණයකි, Qwen සහ Kimi මොඩල් පරම්පරා දෙකම භාවිතා කරයි. සාමාන්ය softmax‑අට්ටෙන්ශන් වල ඇති quadratic ගණනයේ බර පාලනය කිරීමේ අභියෝගය ඉවත් කර, කාලය හා මතක පරිභෝජනය අඩු කරයි.
සාම්ප්රදායික softmax අට්ටෙන්ශන් එකේ, සෑම query‑කමටම ඉතිරි සියලු key‑වල සමීපතාව ගණනය කර, softmax නියමිත ප්රතිශතයක් ලබා ගනී. KDA මේ පියවර ඉවත් කර, state matrix S නමැති V×K මාට්රිකාවක් පවත්වා ගනී. මෙය S_t = S_{t-1} + |v_t\rangle\langle k_t| ලෙස යාවත්කාලීන වේ, ඉතිරි ඉතිහාසයේ value‑key බාහිර ගුණක එකතු කරයි. පසුගිය query එකට o_t = S_t |q_t\rangle ලෙස ප්රතිඵලය ලබා ගත හැකි නිසා, ගණන සරල රේඛීය O(T) පරිමාණයට පත්වේ.
මෙම සැලසුම DeltaNet → Gated DeltaNet → KDA යන පියවර මඟින් සංකීර්ණත්වය අඩු කර, Triton‑අධාරිත රික්රියාවලියක් හරහා ඉතා වේගවත් ඉන්ෆරන්ස් ලබා දේ. ප්රතිඵල වශයෙන්, දිගු අනුක්රමික පෙළවල් (උදාහරණයක් ලෙස 4k ටෝකන) සඳහා මතක අවශ්යතාවය අඩු කර, GPU/CPU පරිසරයන්හි කාර්යක්ෂමතාව වැඩි කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- විද්යාල හා විශ්වවිද්යාල සිසුන් – නවතම අට්ටෙන්ශන් සංකල්පය සරල රේඛීය ගණනයක් ලෙස ඉගෙන ගත හැකි බැවින්, පර්යේෂණ හා පන්ති කටයුතු තුළ AI පාඨමාලා පවත්වා ගැනීමට පහසුකම ලැබේ.
- දේශීය සංවර්ධකයින් – කුඩා සම්පත් පරිසරයන්හි (Raspberry Pi, Edge GPU) ද KDA මගින් විශාල මොඩලයක් ධාවනය කළ හැක, මෙය ස්ථානීය AI ඇප්ලිකේෂන් සඳහා මහත් වටිනාකමක්.
- ව්යාපාරික ආයතන – කාර්ය සාධනය ඉහළ යාම නිසා, රියල්‑ටයිම් පාරිභෝගික සේවා, සම්භාෂණ AI, සහ තොරතුරු විශ්ලේෂණය වැනි ක්ෂේත්රවල පිරිවැය අඩුවේ.
සාරාංශයෙන්, KDA නව ලිනියර් අට්ටෙන්ශන් පදනමක් වන අතර, ගණනේ පරිමාණය අඩු කර, AI මොඩලවල ප්රයෝජනකාරීත්වය ශ්රී ලංකාවේ තාක්ෂණික පරිසරයට නව අවකාශයක් ගෙන එයි. මේ නිසා, අපේ දරුවන්ට අනාගත AI නායකත්වයට සුදුසු පදනමක් සැපයීමට හැකියාව ලැබේ.
