මම ChefExtract නම් මගේ පුද්ගලික ඇප් එක මිතුරන්ට පෙන්වූ අතර, AI සම්බන්ධිත ක්රියාකාරකම් කිහිපයක් 404 දෝෂයක් දෙනවා කියලා අහම්බෙන් දැක්කා. ඒක නිසා මට තරමක් ලජ්ජා වුණා, ඒත් ගෙදර පැමිණි පසු හේතුව හොයා බැලුවාම, ඒ ක්රියාකාරකම් සඳහා භාවිතා කරපු මොඩලය පළාත් අතුරුදන් කරලා තිබුණා කියලා අවබෝධ වුණා.
මෙවැනි තත්ත්වය මොකද කියලා හොඳටම පෙනෙන්නේ, එකම API එකකට පූර්ණයෙන්ම යොමු වීමෙන් “single point of failure” එකක් නිර්මාණය වීම. ප්රාථමික සපයන්නා අසාර්ථක වූ විට හෝ මොඩලයක් අහෝසි වූ විට, ඔබේ ඇප් එකත් එකවර වැරදි පණිවිඩයක් පෙන්වයි.
ඒ නිසා බොහෝ සංවර්ධකයින් දැන් AI gateway කියන මැදස්ථා පද්ධතියක් භාවිතා කරනවා. AI gateway කියන්නේ ඔබේ ඇප් එක සහ LLM (Large Language Model) සපයන්නන් අතර තැන්පත් කරන මෘදුකාංග තට්ටුවක්. ඔබේ කේතය OpenAI, Anthropic වගේ සපයන්නන්ට සෘජුවම ඇමතුම් කරනවා වෙනුවට, gateway එකට ඇමතුම් කරයි; gateway එක ඒ ඉල්ලීම් අදාළ සපයන්නා වෙත ඉදිරිපත් කරයි.
AI gateway එකක් භාවිතා කිරීමෙන් ඔබට ලැබෙන ප්රධාන වාසි හතරක් මෙන්න:
- එක් API එකෙන් බහු සපයන්නන් – එකම කේතයක් ලියලා, GPT, Claude, Gemini හෝ ස්ථානීය මොඩලයක් අතර මාරු විය හැක.
- ස්වයංක්රීය failover – ප්රාථමික සපයන්නා අසාර්ථක වූ විට, gateway එක අනුපූර්ව මොඩලයක් වෙත ඉල්ලීම් යවයි, පරිශීලකයාට 404 නොදැකෙන පරිදි.
- වියදම් පාලනය සහ caching – අනුමත මුදල, අනුග්රහ සීමා, නැවත නැවත පැමිණෙන ප්රශ්න සඳහා cached පිළිතුරු, සියල්ල එකම ස්ථානයේ කළමනාකරණය.
- පිරික්සුම් සහ observability – සෑම ඉල්ලීමක්ම ලොග් වීම, කාලය, වියදම වාර්තා වීම නිසා AI බිල් පිරිවැය හේතුව හඳුනා ගැනීම පහසු වේ.
මෙම අවශ්යතා සපුරාලීමට ලේඛකයා Bifrost AI gateway එකක් තෝරලා. Bifrost යනු Maxim AI විසින් Go භාෂාවෙන් ලියන ලද, open‑source AI gateway එකකි. මෙය OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Groq, Mistral, Ollama වැනි 20කට අධික සපයන්නන්ට සම්බන්ධ විය හැක. එමෙන්ම, එක් කමන්ඩ් එකක් ( npx -y @maximhq/bifrost ) ක්රියාත්මක කළ පසු localhost:8080 හි වෙබ් UI එකක් ලැබේ.
ඉදිරිපත් කළ කේතයේ base_url එකක් පමණක් වෙනස් කිරීමෙන් (https://api.openai.com → http://localhost:8080/openai) ඔබේ ඇප් එක Bifrost gateway සමඟ සම්බන්ධ වේ. මේ විදිහට ඔබේ ව්යාපාරික ලොජික් එකට කිසිදු වෙනස්කමක් නොකර, failover, load‑balancing, observability වැනි පහසුකම් ලැබේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ බොහෝ තරුණ සංවර්ධකයින්, විශ්වවිද්යාල සිසුන්, ස්මාල් බිස්නස් හිමිකරුවන් AI සේවාවන් භාවිතා කරනවා. ඒත් එකම සපයන්නා පදනම් කරගෙන ඉදිරිපත් කරන සේවාවන් අහෝසි වීම හෝ API rate limit ඉක්මවා යෑමෙන් ව්යාපාරික පද්ධති අස්ථාවර වේ.
Bifrost වැනි gateway එකක් භාවිතා කිරීමෙන්:
- විවිධ සපයන්නන් අතර මාරු වීමේ හැකියාව ඇතිව, වියදම අඩු කර ගත හැක.
- ස්ථානීය මොඩල (Ollama) භාවිතා කරලා, දත්ත රහස්යතාවය රැකගත හැක.
- කැෂ් කිරීම සහ load‑balancing මගින් ප්රතිචාර වේගය වැඩි කර, පාරිභෝගික අත්දැකීම උසස් වේ.
- Prometheus, OpenTelemetry වැනි මෙවලම් සමඟ නිරීක්ෂණය කර, AI වියදම පිළිබඳ තීරණ ගැනීමට පදනමක් සපයයි.
ඒ නිසා, ශ්රී ලංකාවේ තාක්ෂණික ආරම්භකයන්, ඩිජිටල් සේවා සපයන්නන්, අධ්යාපන ආයතන සියලුදෙනාටම Bifrost වැනි AI gateway එකක් අත්හදා බැලීම ලාභදායී වේ.
අවසානයේ, ඔබේ ඇප් එකේ අස්ථාවරතාවය අඩු කර, AI සම්පත් වඩා සුරක්ෂිතව, කාර්යක්ෂමව භාවිතා කිරීමට Bifrost AI gateway එකේ හැකියාවන් දැකගන්න.
