AI තාක්ෂණයේ නවතම පර්යේෂණයක් මගින්, විශාල භාෂා මොඩලයක (LLM) එක් පරාමිතියක් කොපමණ තොරතුරු ගබඩා කර ගත හැදැයි නිරවද්යව ගණනය කර ඇත. මේ ගැන මීළඟ වීඩියෝවක් ‘Best Partner’ නමින් ප්රසිද්ධ වූ චැනලයක් තුළ විස්තර කර ඇත.
මෙම පර්යේෂණය ICML 2026 සමුළුවේ ප්රකාශිත අතර, Meta, DeepMind, Cornell University, NVIDIA ආයතන හතරක් එකට එක්ව සිදු කළ අතර, LLM ගොඩනැගීමේ මූලික නීතිවලට නව ආලෝකයක් පිරිකරයි.
ප්රධාන සොයාගැනීම ලෙස, BF16 ආකාරයේ පාරම්පරික පරාමිතියක් සෑම 3.6 බිට් (3.64 Bits) තොරතුරු ගබඩා කළ හැකි බව හඳුනාගෙන ඇත. FP32 පූර්ණ-අංක ආකාරයට පරිවර්තනය කළහොත්, ඒ සංඛ්යාව 3.83 බිට් දක්වා ඉහළ යයි.
ගැඹුරු විශ්ලේෂණයක් සඳහා, පර්යේෂකයන් අහඹු බිට් අනුක්රමයක් (random bit strings) භාවිතා කර, 50 ලක්ෂය සිට 15 බිලියනය දක්වා පරාමිතීන් ඇති මොඩලවලට පුහුණුවීම් කළේය. මෙහිදී මොඩලය කිසිදු රූප රටාවක් නොගැලපෙන නිසා, එය ‘මතකය’ පමණක් භාවිතා කරනු ලැබීය; අර්ථාත්මක ‘ජෙනරල්’ නියමයන් කිසිවක් ඉගෙන ගැනීමට නොහැකි විය.
ඉන්පසු, මතක-ජෙනරල් ‘සංක්රමණ’ (phase transition) නමැති සිදුවීමක් හඳුනාගන්නා ලදී. දත්ත ප්රමාණය මොඩලයේ පාරම්පරික ගබඩා හැකියාවට වඩා කුඩා නම්, මොඩලය සෘජුවම දත්ත ‘මතක’ කරගනිමින් අඩු පූර්ණත්වය (loss) ලබා ගනී. එත් දත්ත ප්රමාණය පාරම්පරික හැකියාව ඉක්මවා ගත් විට, මොඩලය ‘මතක’ කිරීම අත්හැර, දත්ත අතර සමාන රටා හඳුනා ගැනීමට පටන් ගනී; එවිට මතක ප්රමාණය අඩුවේ, ජෙනරල් හැකියාව ඉක්මනින් වැඩි වෙයි.
මෙම ‘සංක්රමණ’ සීමාව ‘ද්වි-අවතැන් (Double Descent)’ 현상을 පැහැදිලි කරයි. දත්ත හා පාරම්පරික හැකියාව 1:1 සම්බන්ධතාවයට ළඟා වූ විට, පරීක්ෂණ දෝෂය (test loss) අස්ථිර්ණ වීමක් පෙන්වා දෙයි; එය ඉක්මවා ගිය පසු, දත්ත වැඩිවීමත් සමඟ ජෙනරල් හැකියාව වැඩි වීම නිසා පරීක්ෂණ දෝෂය නැවත පහළට යයි.
දත්ත ආරක්ෂාව හා පෞද්ගලිකත්වය පිළිබඳවද වැදගත් තොරතුරු ලැබී ඇත. ‘මෙන්බර් ඉන්ෆරන්ස් (Member Inference)’ ප්රහාරයක් සාර්ථක වීමේ අනුපාතය, මොඩලයේ පාරම්පරික හැකියාව හා පුහුණුවීම් දත්ත ප්රමාණය අතර අනුපාතයට සෘජු සම්බන්ධයක් ඇත. ට්රිලියන ගණනක ටෝකන (tokens) ඇති විශාල මොඩලවල සාමාන්ය නියෝග සඳහා, මෙම ප්රහාරය අහම්බෙන් පවත්වන සමානය (F1 ≈ 0.5) වේ. නමුත්, අඩු සංඛ්යාවක්, උදාහරණයක් ලෙස අඩු භාවිතා වන භාෂා, රහසිගත ව්යාපාරික ලේඛන, පේටන්ට් කේත ආදිය, ‘මතක’ වී ගොස් නිකුත් වීමට ඉතා ඉහල අවදානමක් ඇත.
ශ්රී ලංකාවට ඇති වැදගත්කම
- ඉගෙනුම් පරිසරය: සිසුන්ට AI මොඩලවල මතක හැකියාව හා ජෙනරල් කිරීමේ සංකල්පයන් පැහැදිලි කරමින්, පර්යේෂණ කුසලතාවන් වර්ධනය වේ.
- සොෆ්ට්වෙයා සංවර්ධකයින්: පරාමිතීන් ගණන හා ගබඩා බිට් ප්රමාණය මත පදනම්ව, කුඩා මොඩලවලින් වැඩි කාර්යක්ෂමතාවක් ලබා ගැනීමට උපදෙස් ලැබේ.
- ව්යාපාරික ආයතන: දත්ත රහස්යතා ප්රතිපත්ති සැකසීමේදී, ‘අනපේක්ෂිත මතක’ අවදානම අවධානයට ගෙන, රහස්ය ලේඛන ආරක්ෂා කිරීමේ නව පියවර ගත හැකිය.
මෙම අධ්යයනය AI මොඩලවල ‘ස්කේලින් නීති’ (Scaling Laws) හා දත්ත-පරාමිතීන් සම්බන්ධතාවය පිළිබඳව නව මට්ටමක් සපයයි. ඉදිරියේදී ‘Machine Unlearning’ හා පෞද්ගලිකත්ව ආරක්ෂාව සඳහා ප්රායෝගික ක්රියාමාර්ග සැලසුම් කිරීමේ මාර්ගදර්ශනයක් ලෙස මෙය භාවිතා කළ හැකිය.
