DeepEval සමඟ AI එජන්ට් ගුණාත්මක තරගය: CI පරීක්ෂණයට නව මෙවලම

AI එජන්ට්‌වල ගුණාත්මක පාලනය ඉහළට ගෙන යාමට DeepEval නව පියවරක් ගෙන ආවේ. Dev.to හි පළ වූ ලිපියෙන් පෙන්වා දුන්නේ, RAGAS වැනි පද්ධති පිරික්සුමට වඩා, DeepEval එකක් එක් එක් පරීක්ෂණ කේස් එකක් පදනම් කරගෙන Pass/Fail තීරණයක් ලබා දෙන ආකාරයකි. මෙයින් CI (Continuous Integration) පද්ධති තුළ සෘජු ලෙස ගුණාත්මක ගේට්වෙලක් සකස් කර, නව commit එකක් production වෙත යා හැකිද යන්න තීරණය කර ගත හැකිය.

DeepEval සහ RAGAS අතර වෙනස

RAGAS බ්‍යාච් පිරික්සුමක්, DataFrame ආකාරයේ දත්ත ගත කර, මතක තීරණයක් ලබා දේ. එය සතියක පද්ධති තත්ත්වය මැනීමට හොඳයි. DeepEval, එයට වඩා, test‑case‑first ප්‍රවේශය අනුගමනය කර, pytest සමඟ සරලව ඒකාබද්ධ කරගත හැක. මෙය CI පරිසරයේ “go/no‑go” තීරණයක් ලෙස ක්‍රියා කරයි.

DeepEval කෙරෙහි තාක්ෂණික විස්තර

DeepEval හි මූලික අංගයක් වන LLMTestCase තුළ input, actual_output, expected_tools, tools_called, retrieval_context වැනි විස්තර ඇතුළත් වේ. මෙය ToolCall වස්තු ලෙස නිර්වචනය කළ යුතු අතර, සරල string භාවිතා කළ නොහැක. Metric තුනක් – AnswerRelevancy, Faithfulness, ToolCorrectness – සෑම කේස් එකකටම අගයන් ගණනය කර, සමස්ත සාමාන්‍යය සහ pass rate ප්‍රදර්ශනය කරයි.

උදාහරණයක් ලෙස, "What's your refund policy?" යන ප්‍රශ්නයට 1.00 AnswerRelevancy ලැබුණත්, ToolCorrectness 0.00 වූ අතර, ඒ නිසා එම කේස් එකේ tool‑call අසාර්ථක බව පෙන්වයි. Faithfulness මට්ටම 0.00 වන අවස්ථා, retrieval_context හි කිසිදු දත්ත නොමැතිව tool‑call නොකළ විට පෙන්වයි – මෙය සැලකිල්ලට ගත යුතු evaluation trap එකකි.

ශ්‍රී ලංකාවට ඇති වැදගත්කම

• ඉගෙනුම් කාර්යබහුලතාවය: LLM පරීක්ෂණය DeepEval සමඟ සිංහල හා ඉංග්‍රීසි භාෂා මත පදනම් කරගත හැකි බැවින්, ශ්‍රී ලංකාවේ විශ්වවිද්‍යාල සිසුන්ට AI පද්ධති පරීක්ෂණය ඉගෙනීමට නව මාර්ගයක් සලසයි.
• ඩිවෙලපර් අවස්ථා: CI පරිසරයේ DeepEval එකතු කිරීමෙන්, දේශීය සොෆ්ට්වෙයා සංවර්ධකයින්ට නව commit එකක් production වෙත යැවීමට පෙර ස්වයංක්‍රිය ගුණාත්මක පරීක්ෂණයක් ලබාගත හැක.
• ව්‍යාපාරික ප්‍රතිලාභ: AI ඇජන්ට් භාවිතා කරන ව්‍යාපාරයන්ට tool‑correctness, answer‑relevancy වැනි මට්ටම් මගින් සේවා ගුණාත්මකතාවය තක්සේරු කර, පාරිභෝගික විශ්වාසය වැඩි කර ගැනීමට උපකාරී වේ.

DeepEval, RAGAS සමඟ සමාන නොවන, නව පරීක්ෂණ මාදිලියක් වන අතර, එය AI එජන්ට් පද්ධති වල ගුණාත්මකතාවය ඉක්මනින් මැනීමට, CI පරිසරයේ තීරණාත්මක භූමිකාවක් ගත කිරීමට උපකාරී වේ. ඔබේ AI ව්‍යාපෘතියේ ගුණාත්මක ගේට්වෙලක් සකස් කිරීමට අදම DeepEval අත්හදා බලන්න.