ඔබගේ AI මොඩලයක් පරික්ෂා කරන විට, වචන සෑම වරක්ම ටෝකනයිසර් එකක් හරහා ගොඩනැගේ. මේ ක්රියාවලිය ඉතාමත් වැදගත් නමුත් බොහෝ වෙලාවේ 'ඉක්මන්' කියා සැලකෙයි. නවතම ගිගාටෝකන් (GigaToken) නමැති පුස්තකාලය, මෙම පියවරය 1000 පාරක් වේගවත් කරලා, AI පුහුණු කිරීමේ කාලය අඩු කරනවා.
ගිගාටෝකන්, HuggingFace Tokenizers හෝ OpenAI‑ගේ Tiktoken වැනි ප්රසිද්ධ ටෝකනයිසර්වලට සමාන API එකක් දෙන අතර, කේතය සරලව pip install gigatoken ලෙස ස්ථාපනය කර ගත හැක. එමඟින් AutoTokenizer එකක් ආයාත කර, gt.Tokenizer මගින් හුවමාරු කිරීමේ වේගය ගණනාවක් වැඩි වේ. අන්තර්ගතය සම්පූර්ණයෙන්ම සමාන බැවින්, පරිවර්තන දෝෂයක් නොමැතිව, නමුත් වේගය අඩු කිරීම සඳහා අතිරේක පියවරක් නැත.
කාර්ය සාධනය ගැන කතා කළොත්, ලේඛකයා සඳහන් කරන්නේ, එක් CPU එකක 24.53 GB/s වේගයෙන් GPT‑2 ටෝකනයිසර් ක්රියාත්මක කරමින්, තත්පරයක් තුළ විකිපීඩියා සම්පූර්ණය දෙවරක් ටෝකනයිසර් කරගත හැකි බවයි. මෙය පෙර ලැබුණු 25‑50 MB/s ක සාමාන්ය වේගයෙහි ගුණයක්. එම නිසා, ටෙරබයිට් පරිමාණයේ දත්ත සකස් කරන විට, ටෝකනයිසර් එකේ වේගය පූර්ණ පයිප්ලයින් එකේ bottleneck එකක් වෙලා තිබුණා.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයන්, විශ්වවිද්යාල සිසුන්, තාක්ෂණික ව්යාපාරිකයන් සඳහා ගිගාටෝකන් ගෙන오는 ප්රතිලාභ මෙසේය:
- වේගවත් දත්ත සකස් කිරීම – දේශීය සර්වර් හෝ ක්ලවුඩ් පරිසරයක තෙරබයිට් පරිමාණයේ පාඨ දත්ත පූර්ව සකස් කිරීම තත්පර කිහිපයකින් සිදු කළ හැක.
- වියදම් ඉතිරි කිරීම – CPU කාලය කෙටි කිරීමෙන් සම්පත් භාවිතය අඩුවෙයි, එමඟින් ව්යාපාරිකයන්ට සේවා ගාස්තු අඩු කරගැනීමට හැකි වේ.
- මෝඩල පරීක්ෂණ වේගය – නව මෝඩල එකතුවක් හෝ ප්රෝම්ප්ට් ඉංජිනේරුකරණයක් සිදු කරන විට, ටෝකන ගණනේ නිරීක්ෂණය ඉක්මනින් කරගත හැක, එයින් පරීක්ෂණ කාලය කෙටි වේ.
- ඉගෙනුම් වාසිය – විශ්වවිද්යාල පර්යේෂකයන්ට, ටෝකනයිසර් අලූත්ම තාක්ෂණය අධ්යයනය කරමින්, පර්යේෂණ කාර්ය සාධනය වැඩි කරගත හැක.
අද වන විට, ගිගාටෝකන් Python, Rust, C++ වැනි භාෂා වලින් සකස් කර ඇත, ඒ නිසා දේශීය සංවර්ධකයන්ට එය සවිස්තරාත්මකව අනුකූල කරගත හැක. එමඟින්, සංකීර්ණ AI ව්යාපෘතිවලට අවශ්ය ගුණාත්මක, වේගවත් පූර්ව සකස් කිරීමක් ලබා දේ.
අවසන් වශයෙන්, ටෝකනයිසර් එකේ වේගය වැඩි කිරීම AI පද්ධති වල සම්පූර්ණ කාර්ය සාධනය වෙනස් කරන නව තාක්ෂණයක් බව පෙනේ. ගිගාටෝකන්, විශාල දත්ත සකස් කිරීමේ ගැටළුව විසඳා, ශ්රී ලංකාවේ AI පර්යේෂණය හා ව්යාපාරික නව්යකරණයට නව අවකාශයක් විවර කරයි.
