AI‑කේත ලියන මොඩලවල "skill" කියන උපකාරක නියෝග ගොනුවල ප්රචලිතය ඉතා වේගයෙන් වැඩිවෙයි. Claude Code, Cursor, Copilot වැනි මෙවලම් සඳහා ලියන නියෝග ගොනු කේතය පැහැදිලි, දෝෂ රහිත, ටෝකන කපාටය අඩු ලෙස ලියන්න උදව් කරනවා. නමුත් මේ නියෝගවල වාසිය සැබැවින්ම මිනිසුන්ට පෙන්වන්න ගණිතමය ප්රමාණයක් අඩුයි.
පරීක්ෂණ සැලැස්ම
ලේඛකයා "කොනවද නියෝගයක් වඩාත් ප්රයෝජනවත්" කියන ප්රශ්නයට පිළිතුරු දීමට නව benchmark එකක් සකස් කළා. ඒ සඳහා තීරණාත්මක නියමයක්: එක් නියෝගයක් "කොන්ඩොට්" (no‑instruction) සහ "පළාසෝ" (placebo) යන දෙකම අඩංගු පරීක්ෂණ වලින් ඉහළ යාමට පමණක් පිළිගනු ලැබේ. පළාසෝ යනු එම දිගකින් සමන්විත, නමුත් කාර්ය සාධනයට කිසිඳු ක්රියාවක් නොලැබෙන, සරල වචන වලින් පිරුණු නියෝගයක් (උදා: "කේතය පැහැදිලි, කුඩා, වෘත්තීයමය ලෙස ලියන්න"). සෑම පරීක්ෂණයක්ම 5–8 වාරයක් කර, ප්රතිඵල GitHub රෙපොසිටරියේ ලොග් කර තබා ඇත. මුළු 516 ධාවන 4‑8‑8 Claude‑Opus මොඩලය මත සිදු විය.
ප්රධාන සොයාගැනීම්
- Placebo නියෝගය කේතය දිගු කරයි – 12 කාර්යයන්ගෙන් 8 කට කේත පේළි ගණන මධ්යමව +19% වැඩි වුණි. මොඩලය "පැහැදිලි" කියා ඇසූ විට, ඒක අතිරේක ටෝකන පිරවීමට උත්සාහ කරයි.
- අධික-ඉංජිනේරු නියෝග (underkill) – පමණ 20 පේළි කේතයක්, මූලික baseline සමඟ සමාන 60/60 සාර්ථකතා අනුපාතයක් රැගෙන, LOC‑ය 23.8% කින් අඩු කළා. Placebo සමඟ සසඳන විට, underkill නියෝගය වැඩි ප්රයෝජනවත් බව පැහැදිලි වුණි.
- Karpathy Guidelines (196k තාරකාව) – ලොකු ප්රසිද්ධ නියෝග කට්ටලයක්, no‑instruction සමඟ LOC‑ය -4.8% පමණ අඩු වුණා. නමුත් placebo සමඟ සසඳන විට -23% අඩු වීමක් දැක්වීය, එනම් එහි යන්ත්රණය ක්රියාත්මක වුණා. එහෙත් underkill නියෝගය එයට වඩා 20% කින් කෙටි කේතයක් ලියයි.
- අනෙකුත් නියෝග 2 ක් අසාර්ථක වුණි – ලේඛකයාගේ "tests‑that‑bite" නියෝගය, මූලික Opus මොඩලය දැනටමත් 3/4 කාර්යයන්හි 100% මියුටේෂන්‑පරීක්ෂණ නිරාකරණය කර තිබීම නිසා ඉදිරියට යාමට අවස්ථාවක් නොලැබුණා.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තරුණ සංවර්ධකයන්, විශ්වවිද්යාල සිසුන්, තාක්ෂණික ව්යාපාරිකයන් සඳහා මේ පරීක්ෂණය තුළින් ලැබෙන ප්රයෝජන කිහිපයක් ඇත:
- නියෝගයක් ඇතුළත් කිරීමෙන් පසු කේතය කුඩා වේද, එය පරිසර පිරිවැය අඩු කරයි – cloud compute වියදම අඩුවීමේ සෘජු ප්රතිඵලයක්.
- Placebo නියෝගයේ “පැහැදිලි” වචන අතිරේක ටෝකන පිරවීමට හේතු වන බැවින්, නිවැරදි නියෝග ලියන හැකියාව ශික්ෂණ කාර්යසටහන්වලට අත්යවශ්ය වේ.
- Karpathy Guidelines වැනි ජනප්රිය නියෝග කට්ටලයන්ට වඩා, කාර්ය‑විශේෂිත නියෝග (underkill) කේතයේ ප්රතිශත අඩු කිරීමේදී වඩාත් ප්රායෝගික වේ. මෙය ස්ථානීය සංවර්ධකයන්ට තමන්ගේ වැඩපිළිවෙළට ගැලපෙන කෙටි නියෝග සකස් කරගැනීමට මඟ පෙන්වයි.
එබැවින්, AI‑කේත ලියන නියෝග පරීක්ෂා කිරීමේදී “පළාසෝ” අංශය අනිවාර්යයෙන්ම ඇතුළත් කර, නියෝගයේ සැබෑ කාර්යක්ෂමතාව මැනගත යුතුය. මේ මඟින් ශ්රී ලංකාවේ තාක්ෂණික ආකාරය තවත් ශක්තිමත් කර ගැනීමට හැකි වේ.
අවසන් වශයෙන්, නියෝගයක් “ආකර්ශනීය” වීමත්, “ප්රයෝජනවත්” වීමත් අතර වෙනස පැහැදිලි කිරීමේ වැදගත්කම තේරුම් ගත යුතුයි. මේ පරීක්ෂණය එම වෙනස පෙන්වා දී ඇත.
