විශාල තාක්ෂණ ව්යාපෘති 45%ක් වඩා බජට් අධිකව යන බව McKinsey, Oxford වාර්තා කර තිබේ. එම ගැටලුවට විසඳුමක් ලෙස, AI‑මූලික වියදම් අනුමාන මෙවලම් බොහොමයක් "ඔබගේ සපයන ලද විස්තරය කියවලා, කොපමණ වියදම් වේද කියලා කියයි" කියලා ප්රචාරණය කරයි.
මෙම පරීක්ෂණ කණ්ඩායම, එවැනි මෙවලමක් නිර්මාණය කිරීමට පෙර, පළමු පියවර ලෙස කඩිනම් බෙන්ච්මාර්ක් එකක් සකස් කළා. පරීක්ෂණයේ මූලික අරමුණ වුණේ, පබ්ලික් දත්ත භාවිතයෙන්, AI‑මොඩලයක් මිනිස් විශේෂඥයෙකුට වඩා හොඳ අනුමාන ලබා දිය හැකිද කියා පරීක්ෂා කිරීම. ඒ සඳහා, 9 දත්ත කට්ටල, දෙකක් ටැබ්ලර් (PROMISE, COCOMO81 ආදිය) සහ දෙකක් ස්වාභාවික භාෂා (JOSSE, SiP) භාවිතා කරන ලදි.
බෙන්ච්මාර්ක් හි සාර්ථකත්වය නිර්ණය කිරීම සඳහා, PRED(25) ≥ 55% සහ MdAPE ≤ 22% යන මාර්ගෝපදේශයන් සකස් කර, ඒවා Git හි pre‑registration ලෙස සුරකිමින්, සියලු පරීක්ෂණයන් අගය කරන ලදි. නමුත්, කුමන මොඩලයක් (Gaussian Process, Gradient Boosting, Random Forest, k‑NN, TF‑IDF) භාවිතා කරත්, ඒවා 55% PRED(25) සීමාවට පත් නොවීය.
අදාල දත්ත කට්ටල වල රහස්ය ලක්ෂණ (උදා: SEERA හි Requirements stability, Team continuity) මොඩලයට පෙර දැන ගැනීමට නොහැකි බව තහවුරු කර, ඒවා ඉවත් කරමින්, 51 න් 76 ලක්ෂණ පමණක් තෝරා ගෙන, අධික ලීක්යතාවක් පවා පරීක්ෂා කරන ලදි. තවත් වැදගත් පියවරක් වශයෙන්, CQR (Conformalized Quantile Regression) භාවිතා කර, පූර්ණ සංඛ්යාන පරාසයක් (confidence interval) ලබා දීමට උත්සාහ කරන ලදි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික සමාගම්, විශ්ව විද්යාල සිසුන්, සහ ස්වයංක්රීය සොෆ්ට්වෙයාර් සංවර්ධකයින්ට මෙම පරීක්ෂණය ගැඹුරු පණිවිඩයක් දෙයි. පළමු, පබ්ලික් දත්ත මත AI අනුමාන මොඩලයන්ගේ සීමා දැක්වීම, අපේ ව්යාපෘති කළමනාකරණය සඳහා වියදම් අනුමාන වල අධික විශ්වාසය පිරිසිදු කරයි. දෙවැනි, මෙම නව බෙන්ච්මාර්ක්, ශ්රී ලංකාවේ ආරම්භක AI සේවා සපයන්නන්ට, තමන්ගේ මොඩලයන් නිවැරදිව පරීක්ෂා කර, පාරිභෝගිකයන්ට සැබෑ ප්රතිඵල ඉදිරිපත් කිරීමේ මාර්ගෝපදේශයක් සපයයි. තෙවැනි, විශ්ව විද්යාල සිසුන්ට, මෙවැනි පරීක්ෂණ ක්රමවේදය අධ්යයනය කිරීම, දත්ත විද්යාව, මැෂින් ලර්නින්, සහ සොෆ්ට්වෙයාර් ඉංජිනේරු කලාපයේ නව පරීක්ෂණ හැකියාවන් ලබා දේ.
අවසානයේ, AI‑මූලික වියදම් අනුමාන මෙවලම් බොහෝ වෙලාවට සංකීර්ණ දත්ත හා පසුබැසීමේ ගැටළු මත පදනම් වූ බව මෙය පෙන්වා දී ඇත. ඒ නිසා, ව්යාපෘති කළමනාකරණය සඳහා AI භාවිතා කිරීමේදී, පාරිභෝගිකයන්ට සැබෑ පරීක්ෂණ ලේඛන සහ පාර-පරීක්ෂණ මාර්ගෝපදේශයන් අවශ්ය බව අවධාරණය කරයි.
