AI සෙවුම් (RAG) පද්ධතියක් නිර්මාණය කිරීම යනු LLM එකක් Vector DB එකකට සම්බන්ධ කිරීම පමණක් නොවේ. දත්ත ඇතුළත් කිරීම, ප්රතිපත්ති, ශ්රේණිගත කිරීම, මැනුම් සහ නඩත්තු කටයුතු ඇතුළත් සම්පූර්ණ ව්යුහයක් අවශ්යයි. මේ ලිපියෙන් අපි නිෂ්පාදන පරිසරයේ RAG පද්ධති බොහොමයක් ඇයි අසාර්ථක වෙන්නේ කියලා හඳුන්වා දෙනවා.
බොහෝ ටියුටෝරියල්වල “ඩොකියුමන්ට් → චංක් → Embedding → Vector DB → Similarity Search → LLM → Answer” ලෙස සරල පියවරයක් පෙන්වයි. 30 මිනිත්තු තුළ LangChain, LlamaIndex වැනි මෙවලම් භාවිතා කර චැට්බොට් එකක් සාදා, PDF එකක් උඩුගත කර, ප්රශ්නයක් ඇසුවොත් පිළිතුර ලැබේ. පරීක්ෂණයකට එය ප්රමාණවත් නමුත්, නිෂ්පාදනයේ එම පද්ධතිය භාවිතා කළාම ගැටලු ඇරඹේ.
උදාහරණයක් ලෙස, ආයතනයේ ප්රලේඛන සඳහා AI සහකාරයක් නිර්මාණය කරා. පරීක්ෂණයේ "මුරපදය නැවත සකසන්න" කියන ප්රශ්නයට නිවැරදි පිළිතුර ලැබුණා. නමුත්, සත්ය භාවිතයේ පාරිභෝගිකයෙක් "Enterprise පළාතට උචිතව උත්සහ කරන්න" යැයි අසන විට, පද්ධතිය වැරදි තොරතුරක් ලබා දුන්නා. මෙය සොෆ්ට්වෙයාර් බිඳ වැටීමක් නොව, ව්යුහමය දෝෂයක්.
නිෂ්පාදන පද්ධතියේ සැලසුම මෙසේ වේ:
- ඇතුළත් කිරීම (ඔෆ්ලයින්): Object Storage → OCR/Parser → පිරිසිදු කිරීම → Semantic Chunking → Metadata Extraction → Embedding Workers → Vector DB + BM25 Index
- ප්රතිපත්ති (ඔන්ලයින්): Query Rewriting → Metadata Filters → Hybrid Search (Vector + BM25) → Reranking (Cross‑Encoder) → Context Compression → Prompt Builder → LLM → Answer + Citations
මෙහි LLM එක අති කුඩා කොටසක් වන අතර, බොහෝ අවධානය එයටම යයි. නමුත් Retrieval (තොරතුරු සෙවීම) යනු තවත් අඩුපාඩුවක්. Vector DB එකක් පමණක් භාවිතා කිරීම “පොත් කුළුණේ සියලු පොත් එකට දමා, අහඹු පිටු කියලා සෙවීම” වැනි අසාර්ථක ක්රියාවලියක් පමණයි. වෘත්තීය පුස්තකාලකරු වගේ, ප්රථමයෙන් metadata, භාෂාව, සංස්කරණය වැනි තොරතුරු පරීක්ෂා කර පසු සෙවීම කළ යුතුය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ශිෂ්යයෝ, සංවර්ධකයින් සහ ව්යාපාරිකයින් සඳහා මෙම විශ්ලේෂණය විශාල වටිනාකමක් ගෙන එයි. පළමු වශයෙන්, නිවැරදි Retrieval ව්යුහයක් නිර්මාණය කිරීමෙන් ස්ථානීය ආයතනවල AI උදව්කරුන්ගේ විශ්වාසය වැඩිවේ. දෙවනුව, Hybrid Search හා Reranking තාක්ෂණයන් භාවිතා කිරීමෙන් සිංහල සහ ඉංග්රීසි දෙමළ පදනම් කරගත් ලේඛන වලින් නිවැරදි පිළිතුරු ලබාගැනීම සාර්ථක වේ. තුන්වැනි, මෙවැනි සම්පූර්ණ pipeline එකක් සකස් කිරීමෙන් ශ්රී ලංකාවේ startups ලා AI‑based සේවා දියුණු කිරීමට අවශ්ය පදනම සැපයීමේ හැකියාව ලැබේ. ඉතින්, නවෝත්පාදන තාක්ෂණය හරහා දේශීය පරිසරයේ ප්රතිචාරයක් වැඩි කර, ගෝලීය AI වෙළඳපොළේ තරඟකාරීත්වය වැඩි කරයි.
අවසන් වශයෙන්, RAG පද්ධතියක් නිර්මාණය කිරීමේ සාර්ථකත්වය සොෆ්ට්වෙයාර් කේතයකට නොව, සම්පූර්ණ ව්යුහමය සැලසුමට පදනම් වේ. නිවැරදි Retrieval, Metadata කළමනාකරණය සහ නිරන්තර මැනුම් ක්රියාත්මක කිරීමෙන් පමණක් AI සෙවුම් පද්ධති නිෂ්පාදන මට්ටමේ විශ්වාසදායකත්වය ලබා ගත හැක.
