ආයතනයක් තුළ අභ්යන්තර ලේඛන, ඉංජිනේරු විස්තර, HR නීති, නිෂ්පාදන මාර්ගෝපදේශ වැනි ලක්ෂ ගණනක් පතුරා තිබේ. මෙවැනි දත්ත මත chatbot එකක් සකස් කර, ChatGPT භාවිතා කරලා ප්රදර්ශනයක් දියත් කළාම, පරිශීලකයකු "ගමන් වියදම් සඳහා සීමා කුමක්ද?" කියලා අසයි. එවිට මොඩලය තොරතුරු වලින් නොව, අතීත අන්තර්ජාලයේ සම්භාව්ය ආකෘතියක් අනුව අසත්ය අංකයක් කියා දෙයි. මෙය LLM ගුඩුලෙහි මූලික ගැටලුව – ඒවා තමන්ගේ පුහුණු දත්ත වලින් පමණක් දැනගෙන, ඔබේ ආයතනයේ නවතම ලේඛන හෝ මිල ගණන් ගැන කිසිවක් නොදනි.
මෙම ගැටලුවට නාමයක් තියෙනවා: Retrieval‑Augmented Generation, සංග්රහයෙන් RAG. මූලික අදහස සරල – ප්රශ්නයක් LLM එකට යැවීමට පෙර, ඔබේ දත්ත ගබඩාවෙන් සම්බන්ධිත කොටස් සොයාගෙන, ඒ කොටස් මොඩලයට පසුබැසීමේ තොරතුරු ලෙස එක් කරනවා. එවිට LLM එක “මතකයෙන්” නොකියලා, ඔබ ලබාදුන් සැබෑ තොරතුරු මත පදනම්ව පිළිතුරු සකස් කරයි.
RAG ක්රියාකාරකමේ මනෝමාර්ගය කියන්නේ, ඔබේ ලේඛන (PDF, වෙබ් පිටු, දත්ත ගබඩා) පළමුව ingest කරලා, සෙවිය හැකි ආකාරයට vector store එකක ගබඩා කරගැනීම. පරිශීලකයෙක් ප්රශ්නයක් ඇසූ විට, retriever එක අදාළ chunk (කොටස) සොයාගෙන, ඒ chunk ලා LLM එකේ prompt එකට එකතු කරයි. LLM එකේ භූමිකාව “සියල්ල දන්නා” සිට “ඔබ දෙන ලේඛන කියවා තර්ක කරන” බවට පරිවර්තනය වෙයි.
RAG ක්රියාත්මක කිරීමේ සම්පූර්ණ පයිප්ලයින් එක දෙකේ පියවරවලට බෙදී යයි:
- Document Loaders – PDF, HTML, DB වැනි ආකාරයෙන් ලේඛන ලබාගෙන, ටෙක්ස්ට් බවට පරිවර්තනය කිරීම.
- Text Splitting & Chunking – ලේඛනවලින් තේරුම් ගත හැකි කුඩා කොටස් (chunk) ගොඩනඟා, ඒවායේ අධික දිග නොවී සෙවීමේ කාර්යක්ෂමතාව වැඩි කරනවා.
- Embeddings & Vector Stores – chunk එක් එක් එකට අර්ථකථනය කරන embedding vector සකසා, ඒවා vector database (faiss, pinecone වැනි) තුළ ගබඩා කිරීම.
- Retrievers – පරිශීලක ප්රශ්නයේ embedding ගණනය කර, සමීපතම chunk ගොඩක් ලබා දීම.
- RAG Chain – retriever එකෙන් ලැබූ chunk prompt එකට එක් කර, LLM එකට පිළිතුරක් ජනනය කරවීම.
RAG ක්රමය සම්පූර්ණයෙන්ම නිවැරදි නොවෙන්නත් පුළුවන්, නමුත් hallucination සිදුවුනොත්, එම පිළිතුරේ මූලය තක්සේරු කරගැනීමට හැකි වෙයි – කුමන chunk එකෙන් එය ලැබුණාද කියලා සොයාගන්න පුළුවන්.
ශ්රී ලංකාවට ඇති වැදගත්කම
- ශ්රී ලංකාවේ තාක්ෂණ සමාගම්ට, අභ්යන්තර දත්ත මත පදනම්ව AI chatbot සකස් කර, සේවා ගුණාත්මකභාවය ඉහළ නැංවිය හැක.
- විශ්වවිද්යාල හා තාක්ෂණ පාඨමාලා සිසුන්ට, RAG සංකල්පය ඉගෙන ගැනීම AI ඉංජිනේරු පාඨමාලා වල ප්රායෝගික කොටසක් වශයෙන් අනුග්රහයක් ලැබේ.
- ව්යාපාරිකයන්ට, නිෂ්පාදන මිල, නීති රීති, ගනුදෙනුකරු තොරතුරු වැනි නවතම දත්ත මත පදනම්ව නිශ්පාදන තීරණ ගැනීමට අවශ්ය ආධාරය සැපයීමේ හැකියාව ලැබේ.
සාරාංශයෙන්, RAG තාක්ෂණය LLM වල “මතක” ගැටලුවට ප්රායෝගික විසඳුමක්. එය නිවැරදි, පරීක්ෂණය කළ හැකි, සහ ආයතනික AI ව්යාපෘතිවල සාර්ථකත්වය වැඩි කරයි.
