LLM (Large Language Model) පද්ධතියක් නිර්මාණය කරන කෙනෙකුට, දත්ත සකස් කිරීමේ පළමු පියවරවලින් එකක් වන්නේ ලේඛන කැබලි (chunks) වලට බෙදා ගැනීමයි. මේ කැබලි වල ප්රමාණය තීරණය කිරීම සරල වැඩක් විය හැකි නමුත්, එය අනිසි ලෙස තෝරාගත් විට ඔබේ වියදම ඉතාමත් වැඩිවිය හැකිය.
ලේඛනවලින් ටෙක්ස්ට්, වගු, ශීර්ෂක වැනි අංග ඉවත් කර පිරිසිදු කරගෙන, ඊළඟට කැබලි කර ගැනීමට යන ලෝකයේ, ලේඛන කැබලිවල ප්රමාණය කුඩා (500 ටෝකන් වැනි) තෝරාගත්තා. කුඩා කැබලි වලින් සෙවීම නිශ්චිතව සිදු වේ, නමුත් ඉතා වැඩි සංඛ්යාවක කැබලි නිර්මාණය වීම CPU භාවිතය, සමාන්යයෙන් ගතවන වේලාව, සහ embedding ඇමතුම් ගණන ඉහළ යාමට හේතු වුණා.
ප්රායෝගිකව, තවත් ලොකු PDF ගොනු කිහිපයක් ක්රියාත්මක කළ විට, කැබලි ගණන සිය ගුණයකින් වැඩිවී, embedding ක්රියාවලිය පැයකට ආසන්න කාලයක් ගත වුණා. මෙය මුලික වියදම (CPU, කාලය) ලෙස පෙනී සිටියේය. එම නිසා කැබලි ප්රමාණය වැඩි (1000 ටෝකන් වැනි) කරලත්, ingest කිරීම වේගවත් වුණා, නමුත් පසුදා සෙවීමේදී අධික පරාග්රහණ (over‑fetch) සිදු විය. LLM එක අත්යවශ්ය වාක්යයට පසු අතිරේක වාක්යයන් කියවීමට සිදු වූ නිසා ප්රතිචාරය මන්දගාමී වුණා, token භාවිතය වැඩි වුණා.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI හා ML පර්යේෂණය, ස්ථානාත්මක ආරම්භකයන්, සහ ව්යාපාරිකයන්ට මෙම පාරිභෝගික ගැටලුව ඉතා වැදගත්. මෙය තේරුම් ගැනීමෙන්:
- ශිෂ්යයන් – LLM පදනම් ව්යාපෘති කරගෙන සිටින විද්යාර්ථීන්ට, කැබලි ප්රමාණය තේරීමේදී CPU, token, සහ API call වියදම් අතර සම්බන්ධතාවය හොඳින් අධ්යයනය කළ හැකිය.
- ඩිවෙලපර්ලා – නිෂ්පාදන පරිසරයෙහි scale‑up කිරීමේදී, කුඩා කැබලිවලින් ඇති embedding පිරිවැය හා ලොකු කැබලිවලින් ඇති query‑time latency අතර සම්බන්ධතාවය සැලකිල්ලට ගෙන, අදාළ සැලසුමක් සකස් කළ හැකිය.
- ව්යාපාර – LLM‑ආශ්රිත සේවා (චැට්බොට්, දත්ත විශ්ලේෂණ) සපයන සමාගම් සඳහා, අධික token පරිභෝගය හෝ CPU පීඩනය මගින් පිරිවැය ඉහළ යාම වැලැක්වීමට, මධ්යස්ථ කැබලි ප්රමාණයක් තෝරා ගත හැකිය.
ඉතිං, කැබලි ප්රමාණය තේරීම යනු “තනි අංකයක්” නොව, සම්පූර්ණ පද්ධතියේ CPU, RAM, storage, vector DB, network, API call, token, latency, සහ පරිශීලක විශ්වාසය ආදී සියලුම සම්පත් වලට බලපාන තීරණයකි. සාර්ථක ව්යාපෘතියක් සඳහා, ඒකක‑තලයේ පරීක්ෂණ කර, වියදම් මට්ටම සපයන “මධ්යස්ථ” කැබලි ප්රමාණය හඳුනා ගැනීම අත්යවශ්ය වේ.
අවසන් වශයෙන්, කැබලි ප්රමාණය තෝරා ගැනීමේදී “කුඩා, වේගවත් ingest” හෝ “ලොකු, query‑time වියදම” යන දෙකෙන් එකක් තෝරා ගැනීම නොව, සම්පූර්ණ pipeline එකේ සැලසුම් කළ පරිදි සමතුලිතව තීරණය කිරීමයි ඉදිරි කාලයේ සාර්ථක AI සේවා ලබා ගැනීමට මූලික මාර්ගය.
