මාර්තු මාසයේ එක් සතිඅන්තයේ $87 ක පමණ ගාස්තුවක් විය. එය OpenClaw ඒජන්ට් එකේ අඩුපාඩුවක් නිසා නොව, සියලුම tool call එකක්ම ගෙවීම්‑මූලික (paid primary) මොඩලය වෙත යැවූ නිසාය. කාලගුණ තොරතුරු පරීක්ෂා කරන සාමාන්ය cron job එකක් පවා ඉහළ මිල ගැන්වූ AI සේවාවකට යොමු වීමෙන් මෙම අධික ගාස්තුව ලැබුණි.
ඉන්පසු OmniRoute විසින් 1 බිලියනය token $0 ගාස්තුවෙන් routing කළ හැකි බව දැක්කාම, මා මාස කිහිපයක් තිස්සේ routing ක්රමය වැරදි බව හඳුනාගත්තෙමි. මූලික වැරැද්ද “මොඩලය ක්රියාත්මකද?” යන පරීක්ෂාවක පදනම්ව routing කිරීම, “මෙම ඇමතුමට ඇත්තේ කුමන කාර්යයද?” යන අරමුණ මත නොවීමයි.
Routing vs Fallback – OpenClaw හි fallback chain එක එක්‑එක් ඇමතුමට sequential retry list එකක් පමණයි. ඒක “Primary → fail → next → succeed” ලෙස ක්රියා කරයි, එය routing නොව retry ලැයිස්තුවකි. Routing යනු ඇමතුමට සුදුසු මොඩලය පෙරනිමියෙන් තෝරා ගැනීමයි.
මෙම වෙනස ත්රිත්වයක් තුළ පෙනේ:
- Latency – 9B local මොඩලයක් සමඟ 6‑step reasoning එකට 14 සෙකන්ඩ් ගත වේ, cloud paid model එකට 1.8 සෙකන්ඩ් පමණයි. කුඩා ඇමතුමක් “small” ලෙස routing කිරීමෙන් wall‑time තුන් ගුණයක් වැඩි වේ.
- Cost – heartbeat health check එකක් paid primary model එකට යැවීමෙන් එක් call එකට $0.002 ගනී. දිනකට 200 වරක් කරන විට මාසිකව $14.40 වේ, එය අවශ්ය නොවන වියදමකි.
- Reliability – OpenRouter free model වල soft rate limit එකක් ඇති අතර 429 error නොලැබෙයි, output truncate වේ. මැයි මාසයේ මේ නිසා මට cron job 3ක් අසාර්ථක වුණි.
මෙම ගැටලු විසඳීමට මම pre‑call router එකක් ලියන ලදී. ඇමතුමට පෙර එක‑වචන classification එකක් කර, ඒ අනුව මොඩලය තෝරයි. උදාහරණයක් ලෙස heartbeat සඳහා local Ollama qwen3.5 9B, summary සඳහා local qwen3.6 27B, classify සහ toolPlan සඳහා OpenRouter free model, reasoning සහ codeWrite සඳහා paid primary model (MiniMax‑M3) යොදා ගන්නා ආකාරය.
routing function එක context‑වල token ගණන පරීක්ෂා කර, 50k‑ට වැඩි නම් cloud මොඩලයට මාරු කරයි. fallback chain එක අවසාන safety net එකක් පමණයි; primary model එක down වුවත් fallback ක්රියා කරයි, නමුත් වැරදි routing මඟින් ගාස්තුව දැනටමත් එකතු වීම නිසා fallback එකට අවස්ථාව නොලැබේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
- ශ්රී ලංකාවේ AI developers ලා තමන්ගේ applications වල cost‑optimization ක්රම හඳුනා ගත හැකිය; unnecessary cloud charges අඩු කර ගෙවීම් ඉතිරි කරයි.
- students ලා routing decision tree concept එකෙන් algorithmic thinking වර්ධනය කර, real‑world AI infrastructure design පිළිබඳ ප්රායෝගික දැනුම ලබා ගනියි.
- local startups ගෙන් local LLM (Ollama) සහ free cloud services භාවිතා කර, latency හා reliability වැඩි කර, සේවා නාමාවලිය තරඟකාරී කර ගත හැකිය.
මෙම සරල decision tree එකක් නිසා මාගේ bill එක $87 සිට එක අංකය (single digits) දක්වා අඩු විය. තවත් ත්රිත්ව cron failures නවතා, system reliability වැඩි විය. ඔබත් ඔබේ AI pipelines වල routing strategy එක නැවත සලකා බලන්න.
