AI ආරක්ෂාව, කාර්යක්ෂමතාව සහ වියදම් පාලනය කරගන්නා නව පියවරක් දැන් ලැබුණා. SigNoz Hackathon එකේ පළමු තරගයට සම්බන්ධ වූ ශිවනි, Kaggle T4 GPU එකක් මත vLLM (Qwen 1.5B) ධාවනය කරමින්, සම්පූර්ණ ව්යාපාරික-මට්ටමේ SRE Copilot සහ FinOps ගේට්වේ සාදලා, OpenTelemetry සහ SigNoz Cloud මඟින් සියලු දත්ත එකතුව කරලා පෙන්වලා.
ඉදිරිපත් කළ තාක්ෂණික ව්යුහය
- FinOps & SLO Gateway (FastAPI) – HTTP ඉල්ලීම් අතුරුදන් කර, ලාටන්සි SLA (2.0 තත්පර) මැනීම, JSON ටෝකන් විශ්ලේෂණය කර USD වියදම් ගණනය කිරීම.
- Hardware Exporter (pynvml) – NVIDIA GPU බලය, උෂ්ණත්වය, මතක භාවිතය වැනි දත්ත සෘජුව Kaggle kernel එකෙන් ගනිමින්.
- Engine – vLLM මඟින් Qwen 1.5B මොඩලය ධාවනය.
- සියලුම මෙහෙයුම් OpenTelemetry Collector (otelcol-contrib) හරහා SigNoz Cloud වෙත යවන ලදී.
SigNoz Cloud එකේ නිර්මාණය කළ ඩෑෂ්බෝර්ඩ් PromQL භාවිතයෙන් ව්යාපාරික මැට්රික්ස්, හාර්ඩ්වෙයා භෞතික විස්තර, සහ AI ගුණාත්මකතා මැට්රික්ස් එකට එක් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික පර්යේෂකයින්, විශ්වවිද්යාල සිසුන්, සහ ස්ථානාධිපති සමාගම් සඳහා මෙම ව්යාපෘතිය විශාල අවස්ථාවකි.
- AI මොඩලයන්ගේ වියදම සිත්ගන්නා ලෙස පාලනය කළ හැකිවීම, පෞද්ගලික ව්යාපාරවලට අධික වියදම් වලින් පසුබැසීම වැළැක්වෙයි.
- OpenTelemetry සහ SigNoz භාවිතයෙන් GPU කාර්යක්ෂමතාව, OOM අවදානම, සහ ඉන්ෆරන්ස් කෙව් යන තොරතුරු රියල්‑ටයිම් දර්ශනය කළ හැකිය.
- FinOps ගේට්වේ මඟින් කණ්ඩායම් අනුව ටෝකන් භාවිතය සහ වියදම වාර්තා කර, සම්පත් බෙදාහැරීමේ තීරණ ගැනීමට දත්ත මූලිකව මාර්ගෝපදේශනය ලබා දේ.
ඉතා සංකීර්ණ AI පද්ධතියක් හෝ “hallucination” ගැටලුවක් ඇති වූ විට, SigNoz තත්ක්ෂණිකව “Output Quality Score” අඩු වීම පෙන්වා, Slack හෝ Teams මාර්ගයෙන් ඇලර්ට් යැවීමට හැකිවේ. එම නිසා AI සේවාවන්ගේ විශ්වාසය සහ නිරතුරුවම නිරීක්ෂණය කිරීමේ හැකියාව වැඩිදුරටත් වර්ධනය වේ.
අවසන් වශයෙන්, ශිවනි විසින් නිර්මාණය කළ multi‑threaded Python load generator එක, “poison pill” ප්රොම්ප්ට් එකක් භාවිතා කර AI හෝලූසිනය පරීක්ෂා කරයි. SigNoz එකේ දත්ත ප්රවාහය නිසැකවම, Queue Depth, SLA Error Budget, හා Output Quality Score අතර සම්බන්ධතාවය දක්වයි.
මෙම සාර්ථක පරීක්ෂණය, AI මූලික පද්ධතිවල නිරීක්ෂණය, වියදම් කළමනාකරණය, සහ SRE ක්රියාකාරකම් සඳහා නව මාර්ගයක් විවර කරයි. ශ්රී ලංකාවේ තාක්ෂණික සමාජයට මෙය අනාගතයේ AI‑ප්රධාන ව්යාපාර සඳහා මූලික පදක්කමක් වනු ඇත.
