AI ගුණාංගය සමඟ ඔබේ වෙබ් යෙදුම හෝ මොබයිල් ඇප් එක දැන් ලොක්කක් වගේ ජනප්රියයි; නමුත් රේට් ලිමිට් (rate limit) ගැටළුවක් නිසා සේවාව අත්හිටුවීමේ අවදානම ඉතා වැඩි.
උදාහරණයක් ලෙස, OpenAI, Anthropic, Google වැනි ප්රධාන LLM සපයන්නන්ගේ API භාවිතා කරන විට, රිකවෙස්ට් ගණන, ටෝකන් ගණන, එකවර ඇමතුම් සංඛ්යාව වැනි සීමා තිබේ. මෙවැනි සීමා ඉක්මවා යන විට 429 Too Many Requests දෝෂයක් ලැබෙයි; ඒත් ඔබේ පද්ධතිය ඒ දෝෂයට පමණක් පසුබැසීමෙන්, පූර්ණ සේවාව නතර වෙයි.
සාමාන්යයෙන් retry හෝ circuit breaker යන තාක්ෂණ භාවිතා කරයි. නමුත් retry කිරීමෙන් ඒම API එකට නැවත ඇමතුම් දෙනුයේම සීමාව තවත් බරපතළ කරයි; circuit breaker නම් අසාර්ථක සේවා සැපයුම්කරුට සම්පූර්ණව අඩු කරයි, නව සැපයුම්කරු වෙත යොමු නොකෙරේ. එම නිසා LLM වොටර්ෆොල් පදනම (waterfall pattern) ඉතා ප්රයෝජනවත්.
වොටර්ෆොල් පදනම යනු, ප්රමුඛතාව අනුව සපයන්නන්ගේ ලැයිස්තුවක් සකස් කර, ඉහළ ප්රමුඛතාවයේ API එක අසාර්ථක වූ විට, ස්වයංක්රීයව අடுத்த සැපයුම්කරුට යොමු කිරීමයි. උදාහරණයක් ලෙස, Claude‑3.5‑Sonnet → GPT‑4o → Gemini‑1.5‑Pro යන පරිදි. මෙය සීමා පාලනය, ප්රතිලාභය, කාලය ඉතිරි කිරීම වැනි වාසි ලබා දෙයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ආරම්භකයින්, විශ්වවිද්යාල සිසුන්, ව්යාපාරිකයින්ට LLM වොටර්ෆොල් පදනම අතිශය ප්රයෝජනවත්. පළමු, API සීමා හේතුවෙන් සේවා නතර වීමක් සිදුවන්නේ නැති බැවින්, පාරිභෝගික අත්දැකීම ස්ථාවර වේ. දෙවන, බහු සපයන්නන් සමඟ එකවර වැඩ කිරීමෙන්, දේශීය AI ආරම්භකයන්ට වඩා අඩු වියදමෙන් උසස් මාදිලියේ මොඩල භාවිතා කිරීමේ හැකියාව ලැබේ. තුන්වන, දත්ත ගබඩා, ආරක්ෂාව, ප්රදේශීය නීති රීති අනුව බහු‑කලාවලික සැපයුම්කරු තේරීමේ නිර්නායකයක් ලබා දේ, එය ශ්රී ලංකාවේ AI නීතිමය හා ආරක්ෂාත්මක අවශ්යතා සපුරාලීමට උපකාරී වේ.
අවසානයේ, LLM වොටර්ෆොල් පදනම ඔබේ AI වැඩපිළිවෙළට zero downtime සහිතව, රේට් ලිමිට් තරඟය ජය ගැනීමට ඉතා හොඳ විසඳුමක්. ඔබේ පද්ධතියේ විශ්වාසනීයතාවය වැඩි කර, ගනුදෙනුකරුවන්ගේ විශ්වාසයද තබා ගත හැක.
