කෘතිම බුද්ධිය (AI) ක්ෂේත්රයේ නවතම ප්රගතියක් Kimi Linear නමින් හඳුන්වන ලද ලිනියර් අවධානයේ (linear attention) ආකෘතියයි. මේ ආකෘතිය පූර්ණ අට්ටන්ශන් (full attention) මොඩලයන්ට වඩා ඉහළ කාර්යක්ෂමතාවයක් ලබා දී, කෙටි හා දිගු ප්රසංග දෙකම සාර්ථකව හසුරවයි.
Kimi Linear හි මූලික තාක්ෂණය Kimi Delta Attention (KDA) නම් නව ලිනියර් අවධානයේ මොඩියුලයයි. මෙය Gated DeltaNet නාමක පද්ධතියේ ගේටින් (gating) ක්රියාවලිය finer‑grained ලෙස පුළුල් කර, සීමිත RNN මතකය වඩා ප්රභාවශාලීව භාවිතා කරයි. ඒ අමතරව, කුඩා කොටස් (chunks) මත පදනම්ව ක්රියා කරන විශේෂිත Diagonal‑Plus‑Low‑Rank (DPLR) මාරු පිරිවිතරය භාවිතයෙන් ගණනය කාර්යක්ෂමතාවය වැඩි කරයි.
ඉන්පසු, Kimi Linear 3 බිලියන සක්රිය පරාමිතීන් (activated parameters) සහ 48 බිලියන සම්පූර්ණ පරාමිතීන් (total parameters) සමඟ ප්රාථමික පුහුණු කර ඇත. ඒම මොඩලය KDA සහ Multi‑Head Latent Attention (MLA) එකට හරහා ස්ථර‑පදනම් මිශ්රණයක් (layerwise hybrid) ලෙස සකසා ඇත. එකම පුහුණු ක්රමවේදය භාවිතා කරමින්, Kimi Linear සම්පූර්ණ MLA මොඩලයට වඩා වැඩි නිරවද්යතාවයක් ලබා දී, KV cache භාවිතය 75% දක්වා අඩු කර, 1M ප්රසංගයක් සඳහා 6 ගුණයක් දක්වා ඩිකෝඩ් වේගය වැඩි කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයින්, විද්යාලීය සිසුන්, ව්යාපාරිකයින්ට මේ නවතම තාක්ෂණය විශාල අවස්ථාවක් ලබා දෙයි:
- ඉගෙනුම් වේගය: ලිනියර් අවධානයේ කාර්යක්ෂමතාවය නිසා, දත්ත සකස් කිරීමේ වේලාව අඩු වේ. මෙය විශ්වවිද්යාල හා පශ්චාත් උපාධි පර්යේෂණ සඳහා ප්රයෝජනවත්.
- වියදම් අඩුවීම: KV cache පරිභෝගය අඩු වීම නිසා, GPU මත පදනම් වූ පරිගණක සම්පත් අවශ්යතා අඩු වේ. ශ්රී ලංකාවේ සීමිත සම්පත් ඇති ආයතන සඳහා මේක ලාභදායී.
- දෙවන පාර්ශවික (RL) යෙදුම්: Kimi Linear RL පරිසරයන්හිද ඉහළ කාර්යක්ෂමතාව පෙන්වා ඇත. ස්මාර්ට් රොබෝ, ගේම් AI, හෝ වෙළඳපල අනුමානකරණය වැනි ක්ෂේත්රවල නව නිර්මාණ සඳහා මෙය පදනමක් වේ.
- විවෘත මූලාශ්ර (open‑source) සහාය: KDA kernel සහ vLLM ක්රියාත්මක කිරීමේ කේතය GitHub මත ලබා ගත හැකි බැවින්, ශ්රී ලංකාවේ තාක්ෂණික ප්රජාවට නිදහස්ව පරික්ෂා කර, අභිරුචිකරණය (customize) කිරීමට හැකියාව ඇත.
එසේම, Kimi Linear නවතම AI මොඩලයන්ට “drop‑in replacement” ලෙස භාවිතා කළ හැකි බැවින්, දැනට පවතින පද්ධතිවලට පහසුවෙන් ඒකාබද්ධ කරගත හැකිය. මෙය ශ්රී ලංකාවේ AI ආරම්භකයින්ට වඩා ඉක්මනින් නව නිපැයුම් සකස් කර, ගෝලීය තරඟකාරීත්වයට පත්වීමට උපකාරී වේ.
අපේ වෙබ් අඩවියේ Kimi Linear සම්බන්ධ සම්පූර්ණ තොරතුරු, කේත සම්පත්, හා පූර්ව‑පුහුණු මොඩලයන් බාගත කිරීමට ලැබේ. තාක්ෂණය ඉදිරියට ගෙන යාමට මේ නව පියවර අත්යවශ්යයි.
