LLM (Large Language Model) පද්ධතිවල අසාර්ථකතාවක් සිදු වුනත් සේවා අඩුවක් නොවන පරිදි කෙරෙන ක්රියාමාර්ග ගැන අද අපි කතා කරමු. "Fallback model එකක් එකතු කරමු" කියන උපදෙස් ඇත්තටම ප්රායෝගිකව ක්රියාත්මක කළ විට, ඒක එකම අස්ථිරතා (primary model down) පමණක් සලකා බලන බව පෙනේ. නමුත් නිෂ්පාදනයේ නිරන්තරයෙන් පෙනෙන පස්වෙනි අස්ථිරතා වර්ග – මන්දගාමී පිළිතුරු, වැරදි output, rate‑limit, සහ context shape එක නොගැළපෙන fallback model – ගැටළුවට මුහුණ දෙයි.
පහත දැක්වෙන පස්ම පැනලූ පදනම් මොඩලයන් ව්යාපාරික පරිසරයේ බහුලව භාවිතා වේ:
- Retry – එකම මොඩලය නැවත කැඳවීම, කාලය ගතවීමෙන් පසු. කාල සීමා, 5xx දෝෂ, කෙටි rate‑limit කාල පරාස සඳහා සුදුසු. අධික retry කිරීම latency වැඩි කරයි.
- Fallback routing – වෙනත් මොඩලයක් හෝ endpoint එකකට මාරු කිරීම. Primary down හෝ unhealthy වෙද්දී භාවිතා වේ. Output එකේ අර්ථය වෙනස් විය හැක.
- Load balancing – සෞඛ්යමත් මාර්ගවලට traffic බෙදීම. ඉහල traffic ඇති වෙලාවට සුදුසු, මාර්ගය අනුව ප්රතිචාර වෙනස් විය හැක.
- Caching – පෙර ලබාගත් පිළිතුර නැවත භාවිතා කිරීම. නැවත නැවත අසන FAQ, deterministic task වලට හොඳයි. නීතිමය පාලනය නොමැති නම් stale හෝ වැරදි cache hit ඇති විය හැක.
- Semantic routing – ඉල්ලීමේ අරුත/ඉලක්කය අනුව මාර්ගය තෝරා ගැනීම. බහු‑ඩොමේන්, agents ඇතුළත් යෙදුම් වල ප්රයෝජනවත්. වැරදි classification එකෙන් අසාර්ථක routing සිදු විය හැක.
මෙම සියලුම තාක්ෂණික ක්රම එකිනෙකට වෙනස් වුවත්, නිෂ්පාදන පද්ධතියක් සාමාන්යයෙන් cache, model health check, request classification, route selection, output validation, logging වැනි පියවර සියල්ලක් එකතුවෙන් භාවිතා කළ යුතුය. Validation පියවරය අමතක කරන්නේ නම්, වැරදි output එක downstream tool එකකට යවා අසාමාන්ය පරිණාමයක් සිදු විය හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තරුණ AI සංවර්ධකයන්, විශ්වවිද්යාල සිසුන්, සහ තාක්ෂණික ව්යාපාරිකයින්ට මේ පදනම් මොඩලයන් හඳුනා ගැනීම ඉතා වැදගත්. නිවැරදි retry සහ fallback strategy එකක් සකස් කිරීමෙන්:
- ප්රායෝගික AI පරිසරයන්හි downtime අඩු කර, සේවා විශ්වාසනීයතාව වැඩි වේ.
- දත්ත ආරක්ෂණය සහ compliance සඳහා output validation මගින් වැරදි දත්ත ප්රවාහනය වැළැක්විය හැක.
- ලෝකය පුරා OpenAI‑compatible gateway භාවිතා කරමින්, ගෝලාත්මක AI model ගතකිරීම් පද්ධති සමඟ අඩු පිරිවැයෙන් සම්බන්ධ විය හැක.
ඉහත පියවරයන් අනුගමනය කර, ශ්රී ලංකාවේ startups සහ IT සමාගම් AI‑driven සේවා විශ්වාසනීයව ලබා දීමට, පාරිභෝගික අත්දැකීම් ඉහළ දැමීමට, සහ ගෝලීය තරඟකාරීත්වයට සූදානම් වීමට හැකියාව ලැබේ.
අවසන් වශයෙන්, LLM failover ක්රමවේදයන් සකස් කිරීමේදී context length, system prompt, tool schema වැනි “model context” ගැටළු අමතක නොකරන්න. ඒවා නොගැළපේ නම්, fallback model එකත් සමඟත් අසමත් ප්රතිචාර ලැබිය හැක. නිවැරදි health check, back‑off retry, සහ කෙටි fallback chain එකක් නිර්මාණය කිරීම ඔබේ AI යෙදුමට අනාගතයේදීම ස්ථාවරත්වය ගෙන දෙනු ඇත.
