AI විශ්වාසනීයතාවය පරීක්ෂා කරන අලුත් පර්යේෂණයක් ලොව පුරා කතා බහට පත් වෙලා. සංඛ්යාලේඛන මට්ටමින් කුඩා LLM (Language Model) එකක් භාවිතා කරමින් SWE‑bench නමින් හැඳින්වෙන සොෆ්ට්වෙයා ඉංජිනේරු පරීක්ෂණ පයිප්ලයින් එකට පූර්ණ කාර්යභාරයක් දීලා, ඒකේ අඩුපාඩු සහ හැකියාවන් හඳුනාගත්තා.
මෙම පරීක්ෂණයේ පයිප්ලයින් ව්යුහය reasoning → critique → patch → comparison ලෙස සකස් කරලා. මෙහි අරමුණ සම්පූර්ණ නිවැරදි ප්රතිඵල ලබා ගැනීම නොව, මොඩලය එම වාරික ක්රියාවලිය තුළ තොරතුරු ගෙන එන්න හැකිද, කුමන අවස්ථාවේ වැරදි හටගනීද යන දේ පිළිබඳ සංඥා ලබා ගැනීමයි.
ප්රයෝගයේදී කුඩා මොඩලය SQLFluff quiet‑mode ගැටලුව ගැන තර්කශීලී විශ්ලේෂණයක් කළා. එහි තර්කය තේරුම්ගත හැකි ලෙස ඉදිරිපත් කරන ලද්දේ, විවේචන (critique) මොඩියුලයද සාර්ථකව ක්රියා කළා. කෙටි ප්රෝම්ප්ට් (prompt) භාවිතා කරමින් මොඩලය ඉල්ලූ ආකෘතියට අනුව පිළිතුරු ලබා දුන්නා.
එහෙත්, කුඩා LLM එකට දිගු පසුබැසීම (long‑context) සහ බහු‑පියවර reasoning වැනි වැඩි බර වැඩ සිදු කරන විට සීමා පෙනී ගියා. ටෝකන් බජට් (token budget) අඩු වීම නිසා ප්රෝම්ප්ට් කෙටි කළොත් ස්ථාවරතාව වැඩි වුණත් අර්ථවත් තොරතුරු අඩු වුණා. ප්රෝම්ප්ට් දිගු කළොත්, වචන රැස්වීම (drift) සහ උපදෙස් සීමා අහිමි වීම වර්ධනය වුණා.
වැඩි වැදගත් අඩුපාඩු ලෙස, patch generation (වෙනස්කම් සකස් කිරීම) අනිසි ලෙස සිදු වුණා; එකඟ diff හෝ ගොඩනැගුම් ලේඛන (structured patch) නිමැවුම අඩු වුණා. විවේචන (critique) ස්ථාවරතාවය ප්රෝම්ප්ට් දිගු කරන විට අඩු වුණා, ඒත් සමඟ ප්රෝම්ප්ට් එක නැවත නැවත ප්රතිචාර දක්වමින් පූර්ණ පිළිතුර අහිමි වුණා.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම පර්යේෂණය ශ්රී ලංකාවේ AI පර්යේෂකයන්, විශ්වවිද්යාල සිසුන්, සහ තාක්ෂණික ව්යාපාරිකයන්ට විශාල ප්රයෝජන දෙයි.
- සිසුන් – මොඩලයේ සීමා හඳුනාගැනීමෙන්, AI විශ්වාසනීයතාවය පිළිබඳ නව පදනම් ගොඩනැගිය හැකිය. කුඩා මොඩලයන් සමඟ පයිප්ලයින් ගොඩනැගීමේ අත්හදා බැලීම, පර්යේෂණ කුසලතා වර්ධනයට මඟ පෙන්වයි.
- ඩිවෙලපර්ස් – SWE‑bench වැනි පරික්ෂණ පද්ධති, ලොකු මොඩලයක් නොමැතිවත්, කුඩා මොඩලයක් මත පදනම්ව වැඩිදුර පරික්ෂණයක් සිදු කළ හැකිය. මෙය AI සේවා සංවර්ධනයේ පිරිවැය අඩු කරයි.
- ව්යාපාර – AI‑ආශ්රිත නිෂ්පාදන හෝ සේවා දියුණු කරන සමාගම්, මොඩලයේ සීමා මත පදනම්ව වාසිදායක සැලසුම් කරගත හැක. ඒ නිසා, කුඩා මොඩලය භාවිතා කරමින් පරීක්ෂා කිරීම, ව්යාපාරික අවදානම අඩු කරයි.
අවසන් වශයෙන්, පයිප්ලයින් ව්යුහය ශක්තිමත් බව තහවුරු වුණා, නමුත් මොඩලයේ හැකියාවන් සීමා කර ඇති බවත් පෙන්වා දුන්නා. ඉදිරියේදී ලොකු මොඩලයන්ට බඳුන්වූ පද්ධති ගොඩනැගීමට පෙර, කුඩා මොඩලයන් සමඟ පරීක්ෂා කිරීම වැදගත් පියවරක් වේ.
මෙම පර්යේෂණය AI විශ්වාසනීයතාවය පිළිබඳ නව අවබෝධයක් ලබා දී, ශ්රී ලංකාවේ තාක්ෂණික ප්රවණතා ඉදිරියට ගෙන යාමට මඟ පෙන්වයි.
