OpenAI, Anthropic, Google වැනි විශාල LLM සේවාදායකයන්ගේ API, පණිවිඩ ආකෘති, දෝෂ වර්ග, ආපසු ලබාදෙන ව්යුහය සෑම එකකටම වෙනස් වේ. එක් සේවාදායකයක් පමණක් භාවිතා කරන විට එම වෙනස්කම් කළමනාකරණය කළ හැකි නමුත්, රීට්රයි, සර්කිට් බ්රේකර්, fallback, නිරීක්ෂණය, ප්රතිසාධන වැනි ප්රතිරෝධකතා තත්ත්වයන් බහු සේවාදායකයන් අතර අවශ්ය වීමේදී වැඩි පිරිවැයක් හා කේත පුනරාවර්තනයක් සිදු වේ.
ඒ නිසා llm-api-resilience නමැති Python පුස්තකාලයක් නිර්මාණය කරන ලදී. මෙය රීට්රයි, අනුක්රමික failover, සර්කිට් බ්රේකර්, checkpoint recovery වැනි සියලු ප්රතිරෝධකතා ක්රම එකම ප්රතිපත්තියක් ලෙස සකස් කර, OpenAI, Anthropic, Google යන තුන් සේවාදායකයන්ට එකවර අදාළ කරයි.
පුස්තකාලය භාවිතා කිරීමට pip install llm-api-resilience යන සරළ විධානයක් පමණක් ප්රයෝජනයට ගත හැක. සේවාදායක ඇඩැප්ටර් සැකසීමෙන් පසු, පහත පරිදි fallback සැලැස්මක් කිහිපයක් පේළියකින් නිර්මාණය කළ හැක:
- Route("openai-primary", openai_adapter)
- Route("anthropic-backup", anthropic_adapter)
- Route("google-last-resort", google_adapter)
ඉන්පසු ResilientLLM ඔස්සේ chat() ක්රියාවලියක් කැඳවීමෙන්, ප්රතිචාරය ලබාගත් මාර්ගය සහ පණිවුඩය දෙකම සරලව පෙන්විය හැක.
මෙම පුස්තකාලය llm-api-adapter මත පදනම්ව ඇති අතර, එය OpenAI, Anthropic, Google API අතර වෙනස්කම් එකම සම්මත අතුරුමුහුණතක් (interface) ලෙස සමාන කරයි. එම නිසා ප්රතිරෝධකතා ස්ථරය සෑම සේවාදායකයකම විශේෂ API විස්තර නොදැන, එකම කොන්ට්රාක්ට් (contract) මත පදනම්ව ක්රියා කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ වැඩි දියුණුවක් ලබමින් පවතින තාක්ෂණික පරිසරයට, මේ වැනි පොදු ප්රතිරෝධකතා පුස්තකාලයක් විශාල ප්රතිලාභයක් ගෙන දෙයි. සිසුන්ට AI මොඩලයන් අතර පරීක්ෂා‑පරීක්ෂා කිරීමේදී කේතය නැවත ලියන අවශ්යතාව නොමැතිව, වඩාත් සාර්ථකව පර්යේෂණ කළ හැක. දැනුම්‑ඉංජිනේරුවන්ට ව්යාපාරික පරිසරයේ LLM‑ආශ්රිත සේවා විශ්වාසදායකව, වියදම් අඩු කරමින්, vendor lock‑in තැන්පතුකින් මිදීමට අවස්ථාව ලැබේ. කුඩා හා මධ්යම පරිමාණ ව්යාපාරයන්ට, සර්කිට් බ්රේකර් සහ රීට්රයි යෙදුම් නිසා සේවා අඩත්යතාවය අඩු නොවී, පාරිභෝගික විශ්වාසය වැඩි කරගත හැක.
ඉතා සරල API එකක් මත පදනම්ව, ශ්රී ලංකාවේ Python‑ආශ්රිත සංවර්ධක කණ්ඩායම් ඉක්මනින් මේ තාක්ෂණය අරගෙන, AI‑ආශ්රිත නිෂ්පාදන, chatbot, අභ්යන්තර automation වැනි ක්ෂේත්රවල ප්රතිරෝධකතා සහිත විසඳුම් නිර්මාණය කළ හැක.
අවසානයේ, llm-api-resilience ඔබේ AI යෙදුමට අවශ්ය සියලු ප්රතිරෝධකතා හැකියාවන් එක් කර, කේතය සරල කර, ව්යාපාරික වර්ධනයේ අධිවේගී පියවරක් ගෙන එයි.
