ඔබගේ AI ඒජන්ට් නිෂ්පාදනයට යවා, පළමු සතියේ කිසිදු ගැටළුවක් නොමැතිව ක්රියා කරනවා. එතෙක්ම හදිසි ලෙස LLM පිරිවැය 40%කින් ඉහළ යාමක් ඔබට ලැබෙයි. ලොග් බලන්න තවත් කාලයක් ගතවූ පසු පමණක්, වියදම වැඩිවී තිබෙන බව ඔබ දැනගනියි. ඒජන්ට් පැන නැතිව, ටෝකන් භාවිතය ඉහල යාම නිසා පිරිවැය ඉහල ගිය බවයි මුලික හේතුව.
LLM ඒජන්ට් එකකට ස්වභාවික ටෝකන් භාවිත රටාවක් තිබේ. එකම ඇතුළත් කරුණු සඳහා සාමාන්යයෙන් එකම සංඛ්යාවක් ටෝකන් පාවිච්චි වේ. මේ රටාවට “baseline” කියලා කියනවා. එය ඉහලට පැන නැතිව, අහඹු ලෙස වෙනස් වීමක් සිදු වූ විට, එය retry loop, prompt දිගු වීම, tool call loop, හෝ වඩා මිල අධික මාදිලියකට මාරු වීම වැනි ගැටළුවක් බව පෙන්වයි.
Baseline එක නිවැරදිව සකස් කිරීම සඳහා ප්රතිශත (percentile) භාවිතය සුදුසුයි. Median (p50) – අඩුම 50% රන් එක, p95 – 95% කට පහල වන උපරිම, p99 – ඉතා අඩු අවස්ථා. මෙයින් ගැටළුවක් ඇතිවූ විට, p95 හෝ p99 ඉක්මවා යන තත්ත්වය හඳුනා ගත හැක. ඒත් සෑම වාරයකම p95 ඉක්මවනවා නම්, ඒවා නියමයෙන් “busy day” වශයෙන් සැලකිය යුතුය. එබැවින්, පිරිවැය වැඩිවීම ත්රිවිධ රූපයක් (තත්ත්වය, දිගුව, සංඛ්යාව) මත පදනම්ව ඇලර්ට් කිරීමට අවශ්යයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තරුණ සංවර්ධකයින්, startups හා ව්යාපාරිකයන්ට AI ඒජන්ට් භාවිතය ඉතා ප්රයෝජනවත්. Baseline පද්ධතියක් නැතිව, අධික පිරිවැය නිසා ව්යාපාරික වියදම අහඹු ලෙස ඉහළ යාමක් සිදුවිය හැක. ටෝකන් ගණන නිරීක්ෂණය කිරීමෙන්, අයවැය කළමනාකරණය, API retry loop හෝ tool recursion වැනි ගැටළු ඉක්මනින් හඳුනා ගත හැක. මෙය ශ්රී ලංකාවේ තාක්ෂණික අධ්යාපනයේ නව පරිකථනයක් වන අතර, දේශීය සංවර්ධකයින්ට පිරිවැය-ඵලදායි AI විසඳුම් නිර්මාණය කිරීමට මාර්ගයක් සපයයි.
අවසන් වශයෙන්, ඔබගේ AI ඒජන්ට් පිරිවැය නිතර නිරීක්ෂණය කර, පිරිවැය ඉහළ යාමට පෙරම නිවැරදි පියවර ගන්න. ඒ සඳහා token baseline එකක් සකස් කර, p95/p99 ඉක්මවන අවස්ථා හඳුනා ගන්න. මෙය ඔබේ ව්යාපාරයට අධික වියදම් වැළැක්වීමේ ප්රථම පියවර වේ.
