LLM (Large Language Model) තාක්ෂණය ඉක්මනින් ව්යාප්ත වුණාටත්, ඒවායේ වැඩ කිරීමේ ප්රධාන සීමාව ‘කෝන්ටෙක්ස්ට් ජනේලය’ යන ටෝකන් ගණනයි. RAG (Retrieval Augmented Generation) ඒජන්ට්ස් මේ ජනේලය තුළ ලබාගත් ලේඛන ඇතුළත් කර ප්රතිචාර ලබා දෙන නිසා, ඒ ජනේලය කෙටි කරගැනීමේ ක්රම ඉතා වැදගත්.
මෙම ලිපියෙන් අපි ලොස්ලස්සීම් (lossless) සංකෝචන තාක්ෂණයන් විස්තර කරමු. සංකෝචනයෙන් පසු පූර්ණ තොරතුරු නැවත ලබාගත හැකි නිසා, LLM කට වැඩි තොරතුරු ලබාදෙමින්, වියදමත් අඩු කරගත හැකිය. මෙය සම්පූර්ණයෙන්ම නව පරිදි RAG ඒජන්ට්ස්ගේ කාර්ය සාධනය වැඩි දියුණු කරයි.
ලොස්ලස්සීම් සංකෝචනයේ ප්රධාන ක්රම
- Keyword Extraction සහ Summarization – වැදගත් වචන හඳුනාගෙන, අතිරේක වාක්ය ඉවත් කිරීම.
- Deduplication සහ Redundancy Elimination – එකම තොරතුරු නැවත නැවත පෙනෙන කොටස් ඉවත් කිරීම.
- Semantic Chunking සහ Pruning – අර්ථය අනුව වාක්ය කැබලි කර, අත්යවශ්ය නොවන කොටස් කපා දැමීම.
- Structured Data Conversion – අසංරචිත පාඨය වගුවක්, JSON වැනි ගොනුවකට පරිවර්තනය කිරීම.
- Syntactic Simplification සහ Coreference Resolution – වාක්ය ව්යවස්ථාව සරල කර, සම්බන්ධතා නිශ්චිත කිරීම.
මෙම ක්රම RAG පයිප්ලයින් එකේ pre-indexing compression, post-retrieval compression සහ dynamic compression ලෙස භාවිතා කළ හැක. ඉන්පසු LLM කුමන තොරතුරු අවශ්යද යන්න තේරුම් ගනිමින්, අඩු ටෝකන් ගණනෙන් වැඩි නිවැරදි පිළිතුරු ලබා දේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සිසුන්, සංවර්ධකයින් හා ව්යාපාරිකයන්ට LLM කෝන්ටෙක්ස්ට් ජනේලය උපරිම කරගැනීමේ මෙම තාක්ෂණය විශාල වාසියක් ගෙන දෙයි. අධ්යයන අවධියේ විශාල PDF ලේඛන හෝ පර්යේෂණ පත්රිකා සම්පූර්ණයෙන්ම අඩු වශයෙන් AI මොඩලයට ලබා දී, නිවැරදි උත්තර ලබා ගත හැක. සංවර්ධකයින්ට API පිරිවැය අඩු කර, වේගවත් ප්රතිචාර ලබා දීමට හැකියාව ලැබේ. ව්යාපාරිකයන්ට නීතිමය, වෛද්ය, තාක්ෂණික ලේඛන පරිගණක කිරීමේදී දෝෂ සහ අනුමාන අඩු කර, ගනුදෙනුකරුන්ට විශ්වාසදායක සේවාවක් ලබා දිය හැක.
අවසන් වශයෙන්, ලොස්ලස්සීම් සංකෝචන තාක්ෂණය LLM සහ RAG ක්රමවේදවල ප්රධාන බාධකය වන කෝන්ටෙක්ස්ට් සීමාව ඉක්මවා, වියදම අඩු කර, නිවැරදි තොරතුරු සපයයි. ශ්රී ලංකාවේ තාක්ෂණික පරිසරය මේ මඟින් තවත් ශක්තිමත් වේ.
