AI ක්ෂේත්රයේ වැඩි දියුණුවත්, LLM (Large Language Model) සේවාවන් බහුලව භාවිතා කරමින් වැඩ කරන සංවර්ධකයින්ට API අඩු වේග, රේට් ලිමිට්, ඩවුන්ටයිම් වැනි ගැටළු අමතර බරක් වැනි පෙනේ. මේ ගැටළු සරලව නිරාකරණය කිරීම සඳහා llmproxy නමැති නව මෙවලමක් නිර්මාණය කර ඇත.
llmproxy යනු Python‑මූලික ප්රොක්සි සේවාවක් වන අතර, බහු LLM සපයන්නන්ගේ API අනුග්රහය, අනුමත කාලය කෙටි කිරීම, සහ පිරිවැය අඩු කිරීම සඳහා ස්වයංක්රීය කැෂ්, ෆේල්ඔවර්, සහ ලොකල්/කලවුඩ් මාර්ගගත කිරීමේ හැකියාවන් සපයයි. ඔබේ ප්රධාන API සීමා හෝ අඩු වුනොත්, එය ස්වයංක්රීයව අනෙක් සපයන්නා හෝ ඔබේ පරිගණකයේ Ollama / vLLM වැනි ලොකල් මොඩලයන්ට මාරු වේ.
මෙම ප්රොක්සි සේවාව Docker කන්ටේනරයක් ලෙස සරලව ආරම්භ කළ හැකි අතර, OpenAI‑compatible endpoint එකක් ලෙස ක්රියා කරන බැවින්, පවතින කේතය වෙනස් කිරීම අවශ්ය නොවේ. ඔබේ base_url එක llmproxy වෙත යොමු කිරීමෙන් සියලුම LLM ඇමතුම් අලුත්ම නියමිත පරිසරයට මාරු වේ.
ප්රධාන විශේෂාංග:
- Response Caching – එකම ප්රශ්නයට නැවත නැවත API අමතන්න අවශ්ය නොවේ, පිරිවැය අඩු වේ.
- Automatic Failover – රේට් ලිමිට් හෝ සේවා අස්ථිරතාවක් ඇති විට, පිටුපස සපයන්නා හෝ ලොකල් මොඩලයට ස්වයංක්රීය මාරුවීම.
- Local + Cloud Routing – සරල ප්රෝම්ප්ට් ලොකල් මොඩලයට, බරපතල ප්රෝම්ප්ට් වඩාත් ශක්තිමත් කලාපීය API වෙත යොමු කිරීම.
- Open Source & Docker Ready – GitHub හි සම්පූර්ණ කේතය, ඔබේ පරිසරයට සලස්වා ගැනීමට පහසු.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ශිෂ්යයන්, ස්ටාර්ට්‑අප් සමාගම්, සහ ව්යාපාරිකයින්ට මෙම මෙවලම විශාල වාසියක් ලබා දේ. පළමුව, LLM API ගාස්තු අඩු කිරීමේ කැෂ් මූලිකත්වය නිසා, සීමිත බජට් වලින් AI පරීක්ෂණ කළ හැකිය. දෙවනුව, රේට් ලිමිට් හෝ අඩු වේගයක් ඇති විට ස්වයංක්රීය ෆේල්ඔවර් නිසා, සේවා අස්ථිරතාවයක් නිසා පණිවිඩ හෝ ඇප්ලිකේෂන් බිඳ වැටීමක් නොවේ.
දෙවනුව, ලොකල් මොඩල (Ollama, vLLM) භාවිතයෙන් ශ්රී ලංකාවේ දත්ත රහස්යතාවය රැක ගැනීමට සහ අන්තර්ජාල බාධක අඩු කිරීමට අවස්ථා ලැබේ. තෙවනුව, Docker‑අධාරිතව ක්රියාත්මක වන නිසා, තාක්ෂණික පරිසරය සකස් කිරීමේ කාලය කෙටි වේ, එමඟින් ඉක්මනින් MVP (Minimum Viable Product) ඉදිරිපත් කළ හැකිය.
අවසන් වශයෙන්, මෙම ප්රොක්සි සේවාව AI‑පදනම්කරණය වූ නිර්මාණ, සොෆ්ට්වේයා, සහ පර්යේෂණ ව්යාපෘති සඳහා ඉතාමත් ප්රයෝජනවත් වන අතර, ශ්රී ලංකාවේ AI පරිසරය තවත් ශක්තිමත් කරයි.
ඔබත් ඔබේ සංවර්ධන කණ්ඩායමත් GitHub වෙතින් llmproxy බාගත කර, Docker මඟින් වහාම ආරම්භ කර බලන්න. ඔබේ අදහස්, යෝජනා, සහ අලුත් විශේෂාංග ඉල්ලීම් අපට එවන්න.
