AI ඇප්ලිකේෂන්වල API සීමා (HTTP 429) හේතුවෙන් සේවාව නතර වීමේ ගැටලුවට නව විසඳුමක් එලා. SmartCore LLM Proxy කියන්නේ LiteLLM මත පදනම් වූ ස්ථානීය ගේට්වේ එකක්, එය ඔබේ ප්රධාන LLM (Gemini, DeepSeek, OpenAI) කී එකකට සීමා වැටෙන විට ස්වයංක්රීයව වෙනත් මොඩලයක් වෙත මාරු කරයි.
මෙම ප්රොක්සි භාවිතා කිරීමේදී ඔබේ ඇප්ලිකේෂන් URL එක http://127.0.0.1:4000 ලෙස සකස් කරයි; එවිට ඇප්ලිකේෂන් සෘජුවම LLM API හට නොයයි, SmartCore මගින් රවුට් කරනු ලබයි. ප්රධාන මොඩලය සීමා වෙද්දී 60 තත්පර කූල්ඩවුන් එකක් සකස් කර, ඒකාලයේ fallback මොඩලයට (උදා: Gemini‑1.5‑Flash, DeepSeek‑Coder) ඉක්මනින් මාරු කරයි. කේත වෙනස් කිරීම් අවශ්ය නොවීම නිසා OpenAI‑compatible client සදහා පූර්ණව ගැලපේ.
ඉතා සරල සැකසීම – GitHub වෙතින් රෙපොසිටරිය clone කර, pip install "litellm[proxy]" මඟින් dependencies ස්ථාපනය කරන්න. config.yaml ෆයිලයේ API keys සහ fallback මොඩල ලැයිස්තුව එක් කිරීමෙන් පසු, python -m litellm --config config.yaml --port 4000 --host 127.0.0.1 ලෙස ගේට්වේ ක්රියාත්මක කරන්න. ඉන්පසු ඔබේ AI ඇස්සස්ට් ඇප් (Hermes AI වැනි) එකේ Base URL එක http://127.0.0.1:4000 ලෙස සකස් කිරීමෙන් සියලු ප්රතිලාභ ලබාගත හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI‑පදනම් වූ ව්යාපෘති, විශ්වවිද්යාල පර්යේෂණ සහ ස්ටාට්‑අප් සමාගම් සදහා මෙම ප්රොක්සි විශාල අත්යවශ්යතාවයක්. පළමු වරට API සීමා හේතුවෙන් සේවාව බිඳ වැටීමේ අවදානම අඩු වීම නිසා:
- අධ්යාපනික පරිසරය: සිසුන්ට සහ පර්යේෂකයන්ට AI මොඩල භාවිතා කරමින් වැඩි පරිමාණ ප්රයෝගික අත්දැකීම් ලබාගත හැක, සීමා ගැන කනස්සල්ලක් නොමැතිව.
- ඩිවෙලපර් කණ්ඩායම්: කේත වෙනස් කිරීම් නොකර, ලෝක ප්රසිද්ධ LLM API සමඟ seamless එකතු කිරීමේ හැකියාව, නිෂ්පාදන සංවර්ධනය වේගවත් කරයි.
- ව්යාපාරික අය: AI‑චැට්බොට්, අන්තර්ගත ජනන, දත්ත විශ්ලේෂණ සේවා වැනි ව්යාපාරික යෙදුම් 24/7 uptime සමඟ පාරිභෝගික අත්දැකීම උසස් කරයි.
ඉදිරියට SmartCore LLM Proxy open‑source වශයෙන් GitHub තුළ ලබාගත හැකි අතර, ප්රජා සහයෝගයෙන් නව fallback මොඩල හා කූල්ඩවුන් සැකසීම් එක් කළ හැක. මෙය AI‑ආධාරිත පද්ධතිවල විශ්වාසනීයතාවය ඉහළ දැමීමේ නව මාර්ගයක් ලෙස සැලකිය හැක.
අවසානයේ, API සීමා නිසා සිදු වන බාධා දුරස් කර, ඔබේ AI සේවාවට 100% uptime ලබාදීමට SmartCore LLM Proxy එක අත්හදා බලන්න.
