AI-පදනම්වූ යෙදුම්වල පරිශීලකයින් “අපේක්ෂිත වේගය” ගැන පැමිණිල්ලක් කරනවා නම්, ඒක සරලව LLM latency එකක් ලෙස සලකන්නේ බොහෝ වෙලාවට වැරදි තොරතුරක්. මෙය මොන තරම් වැදගත්ද කියලා බොහෝ සංවර්ධකයින් හදලා බලලා තියෙනවා.
පෙර කාලෙක, ලේඛකයා එක් ලාට්න්සී අගයක් පමණක් ගණනය කරලා තිබුණා: response_finished_at - request_started_at. මේ අගය මත පදනම්ව සාමාන්ය, p95 වගුවක් හදලා, මොඩලයක් මන්දගාමී වෙලාද කියලා බලනවා. නමුත් පරිශීලකයින් “AI විශේෂාංගය මන්දගාමී” කියන විට, ඒ එකම අගය ගැටලුව හඳුනා ගැනීමට උපකාරී නොවුණා.
වැඩේ ඇත්තේ, ඉල්ලීම එකක් කතාබහකින් පසු කෝට්රේට යන කාලය, පළමු ටෝකන් එක ලැබෙන්න ගතවන කාලය, සම්පූර්ණ ජනනය කාලය, ඉන්පසු tool ක්රියාකාරිත්වය, සහ පරිශීලකයාට දිස්වන අවසාන ප්රතිඵලය අතරේ ඇති සියලු පියවරයින්. ඒවා එකක්ම “LLM latency” කියලා ලේබල කරලා දැක්වීම, වැරදි තොරතුරු ගොඩක් ලැබෙන්න හේතුවක්.
ඉන්පසු ලේඛකයා ප්රතිචාර වේගය පහත පරිදි විභජනය කළා:
- queue_ms: ඉල්ලීම පටන් ගැනීමට පෙර රැඳී සිටි කාලය.
- ttft_ms: ඉල්ලීම ආරම්භ කර පළමු ප්රයෝජනවත් ටෝකන් ලැබෙන්න ගතවන කාලය.
- generation_ms: පළමු ටෝකන් සිට අවසන් ටෝකන් දක්වා ජනනය කාලය.
- tool_ms: බාහිර tool ක්රියාකාරිත්වය සඳහා ගතවන කාලය.
- end_to_end_ms: පරිශීලක ක්රියාවෙන් ආරම්භ කර අවසන් ප්රතිඵලය දක්වා මුළු කාලය.
මෙම මිනුම් තත්ත්වය අනුව, කුමන පියවරේ bottleneck එකක් තියෙනවා කියලා හඳුනා ගන්න පුළුවන්. උදාහරණයක් ලෙස, queue_ms වැඩි නම්, යෙදුමේ සම්පත් හෝ concurrency සීමා පරීක්ෂා කළ යුතුය. ttft_ms වැඩි නම්, streaming අත්දැකීම අඩු වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
සිංහල භාෂා AI, chatbot, සහ automation වැනි යෙදුම් ඉදිරිපත් කරන ශ්රී ලංකාවේ සංවර්ධකයින්ට මෙම නව මිනුම් ක්රමය විශාල ප්රයෝජනයක්. විශ්වවිද්යාල සිසුන්ට AI පර්යේෂණයේ performance metrics ගැන හොඳ අවබෝධයක් ලැබේ. ස්ථානික් තාක්ෂණ ආයතන, startup ව්යාපාර, සහ IT සේවා සපයන්නන්ට ඉල්ලීම් කාලය නිරීක්ෂණය කර, සේවා තත්ත්වය ඉහළ ගත හැකිය. එසේම, OpenAI Node.js SDK භාවිතා කරමින් latency-tracker.mjs වැනි කුඩා උදාහරණයක් නිර්මාණය කර, local environment එකේම මිනුම් කරගත හැකි නිසා, වියදම අඩු කරගැනීමටත්, ඉක්මන් iteration කිරීමටත් ඉඩ සලසයි.
අවසානයේ, “LLM latency” එකක් පමණක් නොව, සම්පූර්ණ end‑to‑end කාලය මැනීමෙන්, පරිශීලක අත්දැකීම වැඩි දියුණු කර ගත හැකිය. මෙය AI‑සම්බන්ධ නිෂ්පාදන නිර්මාණය කරන සෑම ශ්රී ලාංකික සංවර්ධකයෙකුටම අත්යවශ්ය උපකරණයක් වේ.
