AI පදනම් වූ RAG (Retrieval‑Augmented Generation) පද්ධති, දැන් සාර්ථකව වැඩිදියුණු කරගෙන ඉදිරියට යනවා. පරිසරය හොඳටම වැඩ කරලා, ප්රශ්නවලට පිළිතුරු සපයන කාලය 1 තත්පරයකට වැඩිවෙලා තිබුණා. නමුත් නව Chunking, Hybrid Retrieval සහ Query Transformation තාක්ෂණයන් සමඟ ඒක 40% කින් අඩු කරලා, 95% recall@10 ලබා ගන්නා විදිහ ගැන මේ ලිපිය කියනවා.
සාමාන්යයෙන් RAG පද්ධති 512 token කොටස්, text‑embedding‑3‑small මොඩලය, top‑k=5 වැනි සැකසුම් වලින් පවත්වාගෙන යනවා. එය ප්රදර්ශන සඳහා හොඳයි, නමුත් නීති ලේඛන, API මාර්ගෝපදේශ, පාරිභෝගික ටිකට්පත් වැනි ව්යාපාරික දත්ත වලට එය ප්රමාදයක්, අඩු සත්යතාවයක් සහිතව පෙනෙයි.
Chunking ගැන කතා කරනවා නම්, එකම ප්රමාණයක් නොමැති බවයි. Fixed Token Chunker, Recursive Chunker (ශීර්ෂක, කේත කොටස් අනුව), Semantic Chunker (embedding සමානතාවය පදනම්) සහ Agentic Chunker (LLM විසින් සීමා තීරණය) යන විවිධ ක්රම භාවිතා කරලා ලේඛන වර්ගයට අනුව ප්රතිඵල වෙනස් වේ. උදාහරණයක් ලෙස නීති ලේඛන සඳහා Recursive Chunker 1024 token, 100 overlap සමඟ 94% recall ලබා දේ.
Hybrid Retrieval ව්යාපාරයේ ප්රධාන හුස්මයි. Vector search එකට BM25 එකත් එක්ක එකතු කරලා Reciprocal Rank Fusion (RRF) භාවිතා කරයි. පළමු අදියරේ parallel search, දෙවන අදියරේ RRF, තුන්වන අදියරේ cross‑encoder rerank (top 50 → top 5) කරලා 15% recall වැඩි කරයි, කාලය 50ms පමණයි.
Query Transformation මඟින් පරිශීලකයන්ගේ අසමත් ප්රශ්නවලට බහු‑ප්රශ්න සකස් කරලා සෙවුම් ප්රතිඵල වැඩි කරයි. LLM (gpt‑4o‑mini) භාවිතා කරලා අඩු තරඟය, නව ප්රශ්න ත්රිත්වයක් සකස් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම නවීන RAG සැලැස්ම ශ්රී ලංකාවේ සංවර්ධකයින්ට, අධ්යාපනිකයින්ට සහ ව්යාපාරිකයින්ට විශාල වාසියක් ගෙනෙනවා. සිසුන් AI පදනම් වූ පර්යේෂණ ව්යාපෘති තුළ වැඩි කාර්යක්ෂමතාවක් ලබා ගනිමින්, නීති ලේඛන, API මාර්ගෝපදේශ වැනි ද්රව්ය ඉක්මනින් සොයාගැනීමට හැකියාව ලැබේ. සංවර්ධකයින්ට පරිසරයේ latency අඩු කරලා, ක්ලවුඩ් පිරිවැය අඩු කරගැනීමට, රියල්‑ටයිම් chat‑bot, knowledge‑base සේවා වැනි වැඩි ප්රතිලාභ ලබා ගත හැකිය. ව්යාපාරිකයින්ට තීරණ ගැනීමේ වේගය වැඩිවීම, පාරිභෝගික සේවාවේ තත්ත්වය උසස් කිරීම, නීතිමය අනුවාද පරීක්ෂණයේ දෝෂ අඩු කිරීම වැනි ප්රතිඵල ලැබේ.
අවසන් වශයෙන්, RAG පද්ධතියේ මෙම නව පියවර, ශ්රී ලංකාවේ තාක්ෂණික පරිසරය තවත් ඉදිරියට ගෙන යාමට, ගෝලීය තරඟකාරිත්වයට සූදානම් කිරීමේ මූලික පදනමක් වේ.
