ලොකු භාෂා මාදිලි (LLM) වලට බාහිර දත්ත සම්බන්ධ කරගැනීමට Retrieval‑Augmented Generation (RAG) වර්තමානයේ ප්රබල වාණිජ ආකෘතියක් බවට පත්ව තිබේ. මුලික පරීක්ෂණයක් සකස් කිරීම සරලයි—වෙක්ටර් ගබඩාවක් LLM එකකට සම්බන්ධ කර ප්රශ්න ඉල්ලීම—but ප්රොඩක්ෂන් පරිසරයට එය ගෙන යාමට විලාසිතා, පිරිවැය, විශ්වාසනීයතාව, සොයාගැනීමේ නිවැරදිභාවය සහ ආරක්ෂාව යන බාධක ඉදිරියට එයි.
RAG යනු කුමක්ද?
RAG යනු LLM එකක් වෙක්ටර් ගබඩාවේ සංග්රහිත ද්රව්යයන්ගෙන් අදාළ කොටසක් ලබාගෙන, එය ප්රතිචාරයක් ලෙස එක් කිරීමේ ක්රමවේදයකි. මෙය මොඩලයෙහි දැනුම අලුත් කරමින්, නවතම තොරතුරු හෝ පෞද්ගලික දත්ත ඇතුළත් කිරීමට ඉඩ සලසයි.
ප්රොඩක්ෂන් පරිසරයට සූදානම
දත්ත ඉන්ඩෙක්සිං – ඉතා ගුණාත්මක ඉන්ඩෙක්ස් සකස් කිරීම සඳහා ලේඛන කුඩා කොටස් (chunks) බවට බෙදා, ඒවායේ embedding ගණනය කළ යුතුය. ස්ථිර‑පරමාණ කුඩා කොටස් (512 tokens) භාවිතා කිරීම සරලයි, නමුත් අර්ථ සීමා බිඳී යයි. එබැවින්, Recursive character split, semantic chunking, hierarchical chunking වැනි උසස් ක්රම භාවිතා කිරීම වඩාත් සුදුසුය.
Embedding මොඩල – ගුණාත්මක, මාන, පිරිවැය අතර සන්සුන් තෝරාගත යුතුය. OpenAI හි text‑embedding‑3‑small (1536 dimensions) වාසිදායකය, නමුත් vendor lock‑in සහ rate limit ගැටළුවක් ඇත. ස්වයං‑හෝස්ට් කරනු ලබන embedding මොඩල (ONNX, Triton) භාවිතා කිරීම latency අඩු කරයි, නමුත් ඉන්ෆ්රාස්ට්රක්චර් පිරිවැය වැඩිවේ.
Vector Store තේරීම – Qdrant, Weaviate, Elasticsearch වැනි hybrid search සහ metadata filtering ලබා දෙන ගබඩා තෝරන්න. නවතම දත්ත ඇතුළත් කිරීම, vector delete කිරීම වැනි real‑time ingestion හැකියාව තිබේදැයි පරීක්ෂා කරන්න.
Retrieval Optimization – පළමුව top‑k candidates ලබාගෙන, cross‑encoder (ms‑marco‑MiniLM‑L‑6‑v2) භාවිතයෙන් re‑ranking කිරීමෙන් ප්රතිඵල නිවැරදිභාවය වැඩි වේ. මෙයට 50‑200ms වැඩි වේලාවක් ගත වුවද, පරිශීලක අත්දැකීම ඉතාමත් උසස් වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන්ට AI පදනම්ව පර්යේෂණ කිරීමේ නව පදනමක් – RAG මඟින් පෞද්ගලික දත්ත සමඟ LLM භාවිතය ඉගෙන ගැනීමේ හැකියාව ලැබේ.
- දෙපාර්තමේන්තු සංවර්ධකයින්ට ව්යාපාරික යෙදුම් ඉක්මනින් නිර්මාණය කර, ගුණාත්මක සේවා සැපයීමට අවස්ථාව.
- ව්යාපාරිකයන්ට knowledge‑base, chatbot, සහ internal search solutions වැනි පද්ධති ඉතා කාර්යක්ෂමව, පිරිවැය අඩු කරමින් ක්රියාත්මක කිරීමේ හැකියාව.
- දේශීය තාක්ෂණික සමාජයට AI‑centric නිපුණතා වැඩිවීම, රැකියා අවස්ථා සහ නව ආරම්භක ව්යාපාර වර්ධනය.
RAG තාක්ෂණය නිසි සැලසුම් හා පරිපාලන ක්රමයන් සමඟ යෙදුවහොත්, ශ්රී ලංකාවේ AI ඉදිරිපත් කිරීමේ ගමන තවත් ඉදිරියට ගමන් කරයි. ඔබේ ව්යාපාරය හෝ පර්යේෂණයට මෙය අදම ඇරඹීමට කාලයයි.
