LLM (Large Language Model) සමඟ කේතයක් සාකච්ඡා කරන විට, සම්පූර්ණ ප්රොජෙක්ට් එකක් කොපි කරලා පේස්ට් කරනවා අත්දැකීමක්. එතැනදී ටෝකන සීමාව හරහා ගියොත් කතාබහ අක්රිය වෙයි, නැතිනම් මැදිහත් වීමේදී “input too long” කියලා පණිවිඩයක් ලැබෙයි. මේ අසීරුතාවය අඩු කරගන්න Tokenazire කියන ලාභදායී CLI මෙවලමක් නිර්මාණය කරන ලදී.
Tokenazire ඔබේ පරිගණකයේ ෆෝල්ඩරයක් හෝ GitHub රිපොසිටරියක් (URL එකක් දෙන්න, ඒක clone කරලා) ස්කෑන් කරයි. එය tiktoken භාවිතයෙන් එක් එක් ගොනුවේ ටෝකන ගණන ගණනය කරයි – OpenAI මොඩල වල භාවිතා කරන ටෝකනයිකර් එකේම එකම අනුමානය. ප්රතිඵලය පාටකින් (හරිත → කහ → දම් → රතු) හඳුන්වා දී, ඔබට “බර” ගොනු කුමනද කියා තත්කාලිකව දැකගත හැක. එමෙන්ම සම්පූර්ණ ප්රොජෙක්ට් එක මොඩලයක context window (පෙරනිමි 200k ටෝකන, අවශ්ය නම් වෙනස් කළ හැක) තුළ කොපමණ ප්රතිශතයක් ග්රහණය කරන්නේද කියා ගණනය කරයි.
මෙම මෙවලම .git, venv, node_modules වැනි සාමාන්යයෙන් noise වන ෆෝල්ඩර අත්හැරයි. --export විකල්පය භාවිතා කරන විට, සම්පූර්ණ ප්රොජෙක්ට් එක (ෆෝල්ඩර ගොඩනැගීම සහ ගොනු අන්තර්ගතය) එක් එක් ටෙක්ස්ට් ගොනුවකට රූපලාවන්යයෙන් එකතු කර, LLM සංවාදයට සූදානම් කරයි.
මෙම ක්රියාවලිය ඔබට තවත් “කොපි‑පේස්ට් කරලා පරීක්ෂා කරමු” යන සංකීර්ණතාවයෙන් මුදවා ගනී. Tokenazire සමඟ ඔබට ප්රථමයෙන්ම ගොනු කුමන අංශය වැඩි ටෝකන ගණනක් ගනීද, එය කුමන ප්රතිශතයක් වළඳයි, අවශ්ය නම් ඒ අංශය පමණක් LLM වෙත යැවිය හැකිය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ නවතම තාක්ෂණ ශික්ෂණය සහ AI‑අපේක්ෂිත ව්යාපාරික ක්ෂේත්ර සඳහා මෙම මෙවලම විශාල වාසියක් ගෙන එයි.
- විශ්වවිද්යාල සිසුන්ට AI මොඩල සමඟ කේත සාකච්ඡා කිරීමේදී තෝරාගත් ප්රොජෙක්ට් එකේ ටෝකන සීමාව තක්සේරු කර ගැනීමට පහසුකම.
- ලොකු පරිමාණයේ පයිතන් පද්ධති සංවර්ධනය කරන ශ්රී ලංකා ඩෙවලපර්ලාට, GitHub රිපොසිටරියක් පූර්ණයෙන්ම LLM කන්ටෙක්ස්ට් වින්ඩෝවට ගැලපෙන්නේද කියා ඉක්මනින් තීරණය කරගැනීමට උපකාරී.
- ව්යාපාරිකයන්ට AI‑චැට්බොට්, කෝඩ් රිවිව් වැනි සේවා භාවිතා කිරීමේදී, අධික පේලියක් නිසා සිදුවන වැය හා කාලය අඩු කරයි.
Tokenazire පූර්ණයෙන්ම MIT බලපත්රයෙන් නිකුත් කර ඇති නිසා, ඔබේ අවශ්යතාවයට අනුව වෙනස් කරගත හැකි අතර, GitHub රිපොසිටරියෙන් ආදර්ශය ලබා ගත හැකිය. ප්රතිචාර, ගැටළු සහ PR (pull request) මගින් මෙය තවදුරටත් වර්ධනය කරගත හැකිය.
ඔබත් තෝරාගත් කේත පදනම LLM සමඟ සාර්ථකව භාවිතා කරගැනීමට, Tokenazire CLI එක දැන් පරීක්ෂා කර බලන්න!
