පෙර දිනවල බොහෝ පළාත් පද්ධති කණ්ඩායම් Kong ගේට්වේ භාවිතා කරමින් GKE මත REST සේවා රැසක් ආරක්ෂා කරයි, අධිකරණය, රේට් ලිමිටිං සහ නිරීක්ෂණය කළා. නමුත් AI තාක්ෂණය ඉදිරියට ගිය පසු, LLM‑මූලික විශේෂාංග, RAG පයිප්ලයින් සහ ස්වයංක්රිය ඒජන්ට්වලින් ගෙවීම් සිදුවී, සාමාන්ය CRUD ගමන් මාර්ගය තදබදයට පත්විය.
LLM අයදුම්පත් එක් එක් ඉල්ලීමේ පිරිවැය ඉතා වෙනස් වේ. කෙටි ප්රෝම්ප්ට් එකක් සමඟ කුඩා මොඩලයක් භාවිතා කළාට සෙන්ට් කිහිපයක් පමණ විය හැකිය, නමුත් දිගු කෝන්ටෙක්ස්ට් එකක් සහ ඉහළ මොඩලයක් භාවිතා කළාට ඩොලර් ගණනාවක් ගෙවිය යුතුයි. ඒ නිසා අයදුම්පත් ගණන අනුව රේට් ලිමිටිං පමණක් භාවිතා කිරීම බජට් රැක ගැනීමට ප්රමාණවත් නොවේ. තවද, මොඩලය වෙනස් කිරීම (GPT, Gemini, Claude) යනු පූර්ණයෙන්ම බාධක, ප්රතිචාර වේගය සහ ගුණාත්මකත්වය වෙනස් කරන තීරණයකි.
මෙම ගැටලු විසඳීමට Kong AI Gateway නිර්මාණය කර ඇත. මෙය Kong ගේට්වේ 3.6+ අනුවාදයේ AI‑විශේෂිත පලගීන (plugins) සමඟ වැඩ කරයි: ai-proxy, ai-rate-limiting-advanced, ai-mcp-proxy ආදී. GCP පරිසරයේ GKE මත Kong ඩේටා පලේන් නඩත්තු කරමින්, Cloud Load Balancing මගින් TLS අවසන් කරයි, Memorystore for Redis සමඟ ටෝකන්‑බජට් බෙදා හැරීමේ තත්වය සුරක්ෂිත කරයි, Secret Manager තුළ API යතුරු ආරක්ෂා කරයි. මෙය Prometheus සමඟ මැනුම් දත්ත රැස් කර, GitOps (Argo CD, Config Sync) සමඟ ප්ලග්‑කන්ෆිගරේෂන් කළ හැකිය.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන්ට – AI ගේට්වේ පරිසරය GCP හි සජීවීව පරීක්ෂා කිරීමෙන්, LLM, MCP සහ ටෝකන්‑කේන්ද්රිත රේට් ලිමිටිං වැනි නවතම තාක්ෂණයන් ගැන ප්රායෝගික දැනුම ලැබේ.
- ඩිවෙලපර්ලාට – Kong AI Gateway සමඟ මයික්රො‑සර්විස්, Vertex AI සහ තෘතීය‑පාර්ශ්ව AI සේවා එකට සම්බන්ධ කර, පද්ධතියේ වියදම නියමිත පරිදි පාලනය කරමින්, ස්කේලබල්, ආරක්ෂිත API පද්ධති නිර්මාණය කළ හැකිය.
- ව්යාපාරිකයන්ට – ගැඹුරු AI වැඩපිළිවෙළක් (RAG, tool‑calling agents) ආරම්භ කරන විට, ටෝකන්‑මත පදනම් වූ බජට් පාලනය, මොඩල තේරීමේ ගැටලු සහ ඒජන්ට්‑මූලික ගමන් මාර්ගය පාලනය කිරීමේ හැකියාවක් ලබා දේ. මෙයින් ක්රියාත්මක වියදම අඩු කර, සේවා වේගය වැඩි කර, තරඟකාරීත්වය වැඩි කරයි.
අවසානයේ, Kong AI Gateway GCP මත ක්රියාත්මක කිරීමෙන්, පාරම්පරික API ගේට්වේ සීමා ඉක්මවා, AI‑මූලික සේවා සඳහා සවිස්තරාත්මක, ආරක්ෂිත, පිරිවැය‑කළමනාකරණය කළ හැකි පරිසරයක් සැලැසෙයි. ශ්රී ලංකාවේ තාක්ෂණික පරිසරය මේ අලුත් මාර්ගය සමඟ වඩාත් නවෝත්පාදක, කාර්යක්ෂම හා ජාත්යන්තර තලයට ගැලපෙන බවට පත් වේ.
