AI API භාවිතා කරමින් යෙදුම් නිර්මාණය කරන ඕනෑම සංවර්ධකයකුට ප්රතිචාර වේගය (latency) අසල නොහැකි කරුණක් නොවේ – එය සේවාවේ ගුණාත්මකභාවය තීරණය කරන වැදගත් ලක්ෂණයකි. පළමු ටෝකනය ලැබීමට ගතවන කාලය දිගු නම්, පරිශීලකයාගේ අත්දැකීම ‘ජීවිතවත්’ වෙනුවට ‘වංගුව’ වැනි බවට පත්වේ.
දැනට පවතින බොහෝ මාර්ගයෙහි, සපයන්නාගේ වෙබ් පිටු හෝ එක් එක් අමතර පරීක්ෂණයක් මත පදනම් වූ ගණනාවක් පමණක් ලැබේ. ඒවා බොහොමයක් එක් රටේ (සාමාන්යයෙන් ඇමරිකා) එකම සර්වර් එකකින් ලබා ගත් සංඛ්යාවන් වේ, හෝ පැරණි benchmark එකක් පමණක්. ප්රාදේශීය මට්ටමේ ස්වතන්ත්ර, නවීන දත්ත කිසිදා නොපෙනී තිබුණි.
මේ අවශ්යතාවය ඉටු කිරීම සඳහා “LLM Latency Tracker” නමින් නව උපකරණයක් නිර්මාණය කරන ලදි. Python භාෂාවේ සරල ප්රොබ් එකක් (standard library පමණක්) භාවිතා කර, සපයන්නාගේ API endpoint වෙත සෘජු සම්බන්ධතාවයක් ගොඩනඟා DNS, TCP, TLS, TTFB (time‑to‑first‑byte) යන සියලු පියවර මැනේ. එමගින් “edge latency” ලෙස හඳුන්වන ජාල පථයේ වේගය ලබා ගත හැක.
එසේම, ලබා ගත හැකි තැනැත්තා නම් “time‑to‑first‑token” (TTFT) නමින් හඳුන්වන, පරිශීලකයා “send” බොත්තම ඔබාම මොඩලය ප්රතිචාරය පළ කිරීමට ගතවන කාලය මැනේ. Edge latency සහ TTFT එකිනෙක වෙනස් අරමුණු සපයන අතර, දෙකම වෙනම තබා ගැනීම වැදගත්ය.
පරීක්ෂණය සිදු කරනු ලබන්නේ යුරෝපය (ජර්මනිය), ඇමරිකා මධ්යම, ආසියාව (ටෝකියෝ) සහ දකුණු ඇමරිකාව (සෝ පාවලෝ) යන නව ප්රදේශවලින්. දත්ත SQLite time‑series දත්ත ගබඩාවට සුරක්ෂිත කර, Cloudflare Pages මත ස්ථාවර වෙබ් අඩවියක් ලෙස ප්රදර්ශනය වේ. මෙය 45කට අධික AI සපයන්නන් (OpenAI, Anthropic, Google, Mistral, Groq, Together, Fireworks, Cerebras, OpenRouter, Perplexity, xAI, DeepSeek, GLM/Zhipu, Kimi/Moonshot, Qwen, MiniMax ආදී) ආවරණය කරයි, ඉන් සියල්ලම නොමිලේ, CC‑BY‑4.0 යටතේ ලබා ගත හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සංවර්ධකයන්, ආරම්භක සමාගම් සහ විශ්වවිද්යාල සිසුන්ට මේ උපකරණය විශාල වාසියක් ගෙන දෙයි. ආසියාවේ (ටෝකියෝ) පරීක්ෂණ දත්ත, අපගේ දේශීය ජාල පථයට සමීප නිසා, කුමන AI සපයන්නා වේගවත්ද යන්න තීරණය කිරීමට මූලික මාර්ගයක් වේ. එමෙන්ම, TTFT මැනීම මඟින් මොඩලය කෙලෙස ප්රතිචාර දක්වන්නේද යන්න හඳුනා ගනිමින්, පරිශීලක අත්දැකීම උත්තරදायी ලෙස සැලැස්විය හැක.
- ස්ථානීය යෙදුම් සඳහා වේගවත් API තේරීමෙන් පාරිභෝගික තෘප්තිය වැඩි වේ.
- සිසුන්ට AI ප්රතිචාර වේගය පිළිබඳ පර්යේෂණ සහ පළපුරුද්ද ලබා ගත හැක.
- ව්යාපාරිකයන්ට SLA (Service Level Agreement) සැලසුම් කරමින් වියදම හා කාලය හොඳින් කළමනාකරණය කළ හැක.
එමෙන්ම, “model deprecation & migration calendar” නමින් අමුණා ඇති කාලසටහන, සපයන්නාගේ මොඩල ඉවත් කිරීමේ යාවත්කාලීන තොරතුරු සපයයි. මෙය යෙදුම් අස්ථානගත වීමෙන් වළක්වා, නවතම AI තාක්ෂණය සමඟ පවත්වා ගැනීමට උපකාරී වේ.
LLM Latency Tracker සම්පූර්ණයෙන්ම නිදහස්, විවෘත මූලාශ්ර ව්යාපෘතියක් වන අතර, එය ඔබේ AI‑මූලික යෙදුම්වල වේගය සහ විශ්වාසනීයතාවය වැඩි දියුණු කර ගැනීමට දැන්ම භාවිතා කළ හැක.
