ලෝකය පුරා AI තාක්ෂණය තවත් වේගයෙන් වර්ධනය වෙමින්, LLM (Large Language Model) සමඟ වැඩ කරන හැමෝම මුලින්ම හඳුනාගත යුතු මූලික සංකල්පයක් තියෙනවා – ටෝකන. ග්රෙග් බී සහ Google AI කණ්ඩායම එකතුව වී සරල වීඩියෝ එකක් හරහා මේ ගැන පැහැදිලි කරලා තියෙනවා.
ටෝකන කියන්නේ AI මොඩලයට ඇතුළත් කරගන්නා හෝ එය පිළිතුරු ලෙස ලබාදෙන මුලික ඒකකය. ඉංග්රීසි වචනයක්, වාක්යයක කොටසක්, හෝ සංකේතයක්ද විය හැකිය. මොඩලය ගණනය කරන ගමනේ, මේ ටෝකන ගණන මත පදනම්ව ප්රතිචාරයේ ගුණාත්මකභාවය තීරණය වෙයි.
RAG (Retrieval‑Augmented Generation) යනු, මොඩලයට එහි පුහුණු දත්ත ගබඩාවට අයත් නොවන නව තොරතුරු එක්කර, විශේෂ ප්රශ්නයකට සම්බන්ධ කර ගැනීමයි. මේ මඟින් මොඩලය අලුත්ම දත්ත සමඟ වැඩකරමින්, අධික නිරවද්ය පිළිතුරු ලබා දෙයි.
කොන්ටෙක්ස්ට් ජනල කියන්නේ මොඩලයක් එකවර ප්රොසෙස් කරන ටෝකන ගණනයි. ජනලය විශාල වන්නේ නම්, වැඩි පසුබැසි තොරතුරු (context) එකතු කරගෙන, වඩා සවිස්තරාත්මක, අර්ථවත් පිළිතුරු ලැබේ. නවතම මොඩල වල ජනලය පසුගිය වසර කිහිපයේ 8,000 ටෝකනයෙන් 32,000 ටෝකනය දක්වා ඉහළ ගිය ඇත.
ඉතා ජනප්රිය වචනයක් වන tokenmaxxing ගැනත් මේ වීඩියෝ එක පැහැදිලි කරයි. තවත් බොහෝ ටෝකන භාවිතා කිරීමෙන් වැඩි කාර්යක්ෂමතාවයක් ලැබෙන බව සත්ය නොවේ; වැදගත් තොරතුරු තේරෙන්නා නම්, ප්රමාණය අඩුවෙන්ම ප්රයෝජනවත් වේ.
ඉතින්, ඔබට AI මොඩලයක් සමඟ වැඩ කරන අවස්ථාවේ, කුමන තොරතුරු, කොපමණ ප්රමාණයේ ටෝකන, සහ RAG භාවිතා කළ යුතුද යන ප්රශ්නවලට නිවැරදි පිළිතුරු ලබාගත හැකිය. මේ සෑම කරුණක්ම AI යෙදුම් නිර්මාණය, ප්රශ්න‑පිළිතුරු පද්ධති, හෝ කෝඩ් ලේඛන උදව්කරු වශයෙන් ඔබේ කාර්ය සාධනය වැඩි දියුණුවකට පත් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන් – AI පාඨමාලා හෝ කේතන වැඩමුළු වලට ටෝකන, කොන්ටෙක්ස්ට් ජනල, RAG යන සංකල්ප හඳුන්වා දී, පර්යේෂණ හා ව්යාපෘති වැඩි දියුණුවට පත් කරයි.
- ඩිවෙලපර් – ප්රොජෙක්ට් එකේ ප්රතිචාර තත්ත්වය වැඩි කිරීමට, අවශ්ය තොරතුරු RAG මඟින් ලබාගෙන, කේත ලේඛන AI උපකරණ සමඟ කාර්යක්ෂමතාව වැඩි කරගත හැකිය.
- ව්යාපාර – ගනුදෙනුකරුවන්ගේ ප්රශ්න වලට තත්පර කිහිපයකට පළිගැනීමට, ජනලය වැඩි කරමින් පාරිභෝගික අත්දැකීම් උසස් කරයි.
අදාල වීඩියෝව බලලා, ඔබේ AI මොඩල භාවිතය වැඩි දියුණුවට පත් කරගන්න. තවත් AI පදයන් ගැන දැනගැනීමට, අදම අපගේ පෝස්ට් එකේ අදහස් දක්වන්න.
