RAG (Retrieval‑Augmented Generation) චැට්බොට් එකක් 200 HTTP ස්ථිතියක් දෙනුත්, පිළිතුරු වැරදි වීමෙන් පසු පාරිභෝගිකයන් ඉක්මනින් පිටව යන තත්ත්වයක් බොහෝ ආරම්භක සමාගම්ට මරණකාරී වේ. මේ නිසා SigNoz මත Goose නමැති නව මොනිටරින් පද්ධතියක් නිර්මාණය කරමින්, නිශ්ශබ්ද AI ගුණාත්මක අසාර්ථකතා අල්ලා ගැනීමට, ඇලර්ට් කිරීමේ සහ ස්වයංක්රීය නඩත්තු ක්රියාත්මක කිරීමට කටයුතු කළේය.
කණ්ඩායම පළමුව OTLP ප්රොටෝකෝලය භාවිතා කර, එක් එක් සංවාදයෙහි තත්ත්වය, ප්රතිචාර ගුණාත්මක ලකුණු (quality.score), ප්රශ්නය සහ ලබාගත් දත්ත කාණ්ඩ ගැලපීම (quality.entity_match) වැනි ගුණාංග එක් කර සටහන් කළා. මෙයින්, සම්භාව්ය API දෝෂ (5xx, timeout) නොමැතිව, “පිළිතුරු වැරදි” ලෙසින් මාර්ගගත කළ හැකි බව සලකුණක් ලැබුණා.
Goose, SigNoz හි මැනුම් පුවරුවේ quality.score 0.6 ට පහත වැටෙන විට, වෙබ්හුක් (webhook) මගින් MCP Agent එකට ඇලර්ට් යවයි. එම ඒජන්ට් එක තත්කාලීන trace, metric, log දත්ත එකතු කර, markdown ආකාරයේ RCA (Root Cause Analysis) වාර්තාවක් සකස් කර, අවශ්ය නම් POST /admin/fix-retriever API එක මඟින් රීට්රීවර් පද්ධතියේ වැරදි සැකසීමට හැකියාව ලබා දෙයි.
මෙම ක්රියාත්මක කිරීමේදී, 100 කට අධික පරීක්ෂණ ප්රශ්න සමඟ පද්ධතිය සාර්ථකව ක්රියා කරමින්, රීට්රීවර් බිඳ වැටීමෙන් පසුත් 200 පිළිතුරු දිගු කර තිබුණද, quality.score 1.0 සිට 0.2 දක්වා වැටීමක් දැකගත හැකි විය. SigNoz මගින් එම “cliff” (ගුණාත්මක පඩි වැටීම) දැක්කාම, Goose ඒ ගැන වගකිමින් නඩත්තු ක්රියාවලිය ස්වයංක්රීය කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික විශ්වවිද්යාල සිසුන්, ස්ථානාධාරක සංවර්ධකයන් සහ ස්ථාපිත ව්යාපාර සඳහා මේ තාක්ෂණය විශාල අවස්ථාවක් වේ. පළමු වශයෙන්, AI‑ගුණාත්මක නිරීක්ෂණය පිළිබඳ ප්රායෝගික අත්දැකීම් ලබා ගැනීම, දේශීය AI නිෂ්පාදනවල විශ්වාසය වැඩි කරයි. දෙවැනි වශයෙන්, RAG පද්ධතිවල නිශ්ශබ්ද වැරදි හඳුනා ගැනීමේ ක්රමවේදයක් නිසා, ලෝක වෙළෙඳපොළේ තරඟකාරීත්වය ඉහළ යයි. තෙවැනි වශයෙන්, SigNoz හා Goose වැනි open‑source මෙවලම් භාවිතයෙන්, පිරිවැය අඩු කර, ස්ථානීය startup කණ්ඩායම්වලට ඉක්මනින් ප්රොඩක්ට් ගුණාත්මකභාවය වැඩි කිරීමට හැකියාව ලැබේ.
අවසන් වශයෙන්, AI සේවා ගුණාත්මක නිරීක්ෂණය දැන් “CPU වැඩි වීම” වැනි සම්පූර්ණ පාරිභෝගික අවශ්යතාවයක් බවට පත්ව ඇත. Goose සහ SigNoz එකතු වීමෙන්, ශ්රී ලංකාවේ AI පද්ධති වඩා විශ්වාසදායක, වේගවත්, සහ පරිශීලක‑මිතුරුවලින් සමන්විත වේ.
