AI යෙදුම් වලට පාරිභෝගිකයන් පළමු ටෝකනය ලබා ගැනීමට ගතවන කාලය – “first token latency” – සෘජු අත්දැකීමේ මූලික මට්ටමයි. මේ සම්බන්ධයෙන් නවතම පරීක්ෂණයක් OpenRouter, LLM Gateway සහ Vercel AI Gateway අතර කරා ගෙන, කුමන ගේට්වේ වේගවත්ද කියා සනාථ කරයි.
අපේ පරීක්ෂණය ai-gateways-benchmark නම් විවෘත-මූලාශ්ර ස්ක්රිප්ට් එක භාවිතා කරමින්, එකම පරිසරය, එකම මොඩලය (Claude‑Haiku‑4.5) සහ එකම ප්රෝම්ප්ට් එකේ 75 තණ්හා (cold) සහ 75 උණුසුම් (warm) ධාවන කරා. සම්පූර්ණ 150 ධාවන (පිටු 450 HTTP ඉල්ලීම්) අතර 0 දෝෂයක් ලැබුණු අතර, LLM Gateway තණ්හා අවස්ථාවේ 906 ms, උණුසුම් අවස්ථාවේ 814 ms වේලාවෙන් පළමු ටෝකනය ලබා දුන්නේ. OpenRouter එකේ ඒකක තණ්හා 1392 ms, උණුසුම් 1232 ms වේ. එනම් LLM Gateway පළමු ටෝකනය ලබා ගැනීමේදී 35 % ක වඩා වේගවත් බව පෙන්වයි.
දත්ත විශ්ලේෂණයෙන් පෙනේ, OpenRouter හි TLS හස්තලේඛන 13 ms ක් පමණ වේගවත් වුවත්, ඉල්ලීම යවා පසු ඇති ප්රතිචාර (TTFT) කාලය 1.3 s පමණ ඉහළ යයි. LLM Gateway හි TLS කාලය 40 ms වුවත්, ඉල්ලීම යවා පසු 0.8 s ක පළමු ටෝකනය ලබා දීමේ වේගය අතිශයින්ම ඉහළයි. එමෙන්ම, LLM Gateway හි උණුසුම් TTFB (200 ms) පමණක් වෙනස් වේ, එය නිෂ්පාදන පරිසරයක සමාන්ය සම්බන්ධතා තත්ත්වයක් බව තහවුරු කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයින්, ආරම්භක ව්යාපාරිකයින් සහ විශ්වවිද්යාල සිසුන්ට මෙම පරීක්ෂණයේ ප්රතිඵල වැදගත් වේ. ප්රධාන කරුණු:
- විකසිත ප්රතිචාර වේගය: LLM Gateway භාවිතා කරන්නේ නම්, පරිශීලකයන්ට පණිවිඩයක් ලැබීමට ගතවන කාලය 300 ms ත් අඩුවේ. එය වෙබ් අඩවි, චැට් බොට් සහ AI‑සහයෝගීතා යෙදුම් වල පරිශීලක අත්දැකීම වැඩි කරයි.
- ආර්ථික සුරක්ෂිතතාව: වේගවත් ගේට්වේ තෝරා ගැනීමෙන් සේවා පරිමාණය අඩු කර, cloud API ගාස්තු ඉතිරි කරයි. ශ්රී ලංකාවේ තාක්ෂණ ආයතන සඳහා මෙය ලාභදායී වේ.
- දේශීය නවෝත්පාදනය: OpenRouter වැනි සේවා විදේශීය පද්ධති වලට සම්බන්ධ වන විට latency වැඩි වන බැවින්, LLM Gateway වැනි දේශීය-අවශ්ය gateway එකක් තෝරා ගත හැකිය.
ඉදිරියේදී AI gateway තෝරා ගැනීමේදී, පරිසරය, TLS handshake කාලය, හා පළමු ටෝකනය ලබා ගැනීමේ සම්පූර්ණ කාලය (TTFT) යන සියලුම මට්ටම් සලකා බලන්න. නිවැරදි තේරීම ඔබේ AI යෙදුමේ සාර්ථකත්වය තීරණය කරයි.
අපගේ පරීක්ෂණය පෙන්වන්නේ, LLM Gateway වඩාත් ස්ථායි, වේගවත් සහ විශ්වාසදායක සේවාවක් බවයි. ඔබේ AI ප්රොජෙක්ට් සඳහා ගේට්වේ තේරීමේදී, මෙය අත්යවශ්ය සලකුණක් විය යුතුය.
