කොරියානු AI ස්ටාර්ට්‑අප් VIDRAFT, Hugging Face වෙතින් Aether-7B-5Attn නමැති පූර්ණ විවෘත-සොර්ස් මූලික මාදිලියක් නිකුත් කර ඇත. 6.59 බිලියන් පරාමිතීන්ගෙන් සමන්විත මෙම MoE (Mixture‑of‑Experts) ආකෘතිය, එක් ටෝකනයකට සක්රිය වන පරාමිතීන් 2.98 බිලියන්ක් පමණක් වන අතර, ගණනය කාර්යක්ෂමතාවය ඉතා ඉහලයි.
මෙම මාදිලියේ විශේෂත්වය වන්නේ, 49‑පට්ටම් ජාලය තුළ පස් වර්ගයේ විවිධ attention ක්රම (Full, Differential, Sliding‑Window, NSA‑Series Sparse, Hybrid) එක් Latin‑square ව්යුහයකින් බෙදා හරිනුය. ඒ අනුව එක් පේළියක හෝ තීරුවක එකම attention වර්ගයක් නැතිව, සියලුම ස්ථරයන්හි සමාන ප්රතිපාදන ශක්තියක් රැඳෙයි.
දත්ත පදනම 144.2 බිලියන් ටෝකන වලින් සමන්විත අතර, ගණිත (37.8%), කොරියානු (21.6%) සහ ඉංග්රීසි (21.6%) භාෂා අනුපාතයන් සමඟ බහුභාෂා පදනමක් ගොඩනැගීමට VIDRAFT උත්සාහ කරයි. එමඟින් කොරියානු භාෂාව හා ගණිත තර්කයෙහි උසස් කාර්ය සාධනයක් අපේක්ෂා කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සිසුන්, සංවර්ධකයන් සහ ව්යාපාරිකයින් සඳහා මෙම විවෘත‑සොර්ස් මාදිලිය විශාල අවස්ථාවක් සපයයි:
- සිසුන් – ගණිත හා AI පර්යේෂණ සඳහා උසස් මූලික ආකෘතියක් ලබාගනිමින්, ප්රායෝගික කාර්යයන්ට ඉක්මනින් පරීක්ෂා කළ හැකිය.
- සංවර්ධකයන් – පූර්ණ කේත, දත්ත සූත්ර, හයිපර්පැරමිටර් සහ මධ්යස්ථ checkpoint ගොනු සමඟ, තමන්ගේ යෙදුම් සඳහා මාදිලිය අඩු පිරිවැයෙන් අභ්යන්තර කරගත හැක.
- ව්යාපාරිකයින් – Apache 2.0 බලපත්රය යටතේ, නිෂ්පාදන‑මට්ටමේ AI සේවාවන් සෑදීමේදී නීතිමය ආරක්ෂාව සහ පාරදර්ශීතාව රැකගත හැකිය.
එමෙන්ම, මෙම ආකෘතියේ ලයිසන්ස් සහිත සියළුම තොරතුරු (training logs, evaluation code, live demo) සදහා ප්රවේශය ලැබීම, ශ්රී ලංකාවේ AI පර්යේෂණ කලාපයට නව ප්රවේශයක් සපයයි.
ඉදිරි කාලයේ, ආකෘතියේ ඉලක්කම්‑පරීක්ෂණ (benchmark) ප්රතිඵලයන් ස්වයංක්රීයව පරීක්ෂා කර, ප්රාදේශීය AI ප්රතිසංස්කරණයන්ට අනුකූලව යාවත්කාලීන කිරීමට හැකියාව ඇත.
VIDRAFT විසින් ඉදිරිපත් කරන Aether-7B-5Attn මූලික මාදිලිය, විවෘත‑සොර්ස් AI තාක්ෂණයේ නව මට්ටමක් ලෙස, ශ්රී ලංකාවේ තාක්ෂණික ප්රගතියට ඉඩ සලසයි.
