ඔබේ AI මොඩලය හොඳින් ක්රියා කරයි, නමුත් ඒක බර වැඩිය. ඒ නිසා එය දුරකථන, එඩ්ජ් හෝඩ්වෙයාර් වලට ගෙන යාම අමාරු වේ. මෙවැනි අවස්ථාවලදී දෙකේ ප්රධාන ක්රම – Quantization (කොම්ප්රෙෂන්) සහ Distillation (පුනර්ගත කිරීම) – භාවිතා වේ.
Quantization යනු, දැනට ඇති මොඩලයේ බර (weights) ගණනාව අඩු බිට් ප්රමාණයකට (FP32 → FP16 → INT8 → INT4) පරිවර්තනය කිරීමයි. මෙය නව මොඩලයක් පුනර්ගත නොකර, ඒකේ ගොනු ආකෘතිය පමණක් වෙනස් කරයි. එමඟින් මොඩලය 4 ගුණයක් දක්වා කුඩා විය හැකි අතර, අඩු-බිට් ගණනයට සහාය දක්වන GPU, TPU, මොබයිල් චිප් වලින් ඉක්මන් ඉන්ෆරන්ස් ලබා ගත හැක. නමුත් INT4 වැනි අතින් අඩු බිට් වලදී කුඩා මට්ටමේ නිවැරදිත්ව අඩු වීමක් සිදුවිය හැක.
Distillation යනු, විශාල “teacher” මොඩලයක් ගෙන, එයට සමාන ප්රතිඵල ලබා දෙන “student” මොඩලයක් අලුතින් පුහුණු කිරීමයි. සිසු මොඩලය පමණක් නොව, teacher මොඩලය ලබා දෙන soft probability සහ internal representation මතද ඉගෙන ගනී. මෙය මොඩලයේ ගොඩනැගීම, ස්තර ගණන, පරාමිතීන් වැනි සියලුම දේ පාලනය කර ගැනීමට ඉඩ දෙයි. DistilBERT වැනි උදාහරණ වලදී 40% ක පමණ කුඩා කර, 60% වේගය වැඩි කර, 97% ක පමණ ප්රදර්ශනය රඳවා ඇත.
Quantization සහ Distillation අතර ප්රධාන වෙනස්කම් පහත පරිදි සාරාංශ කළ හැක:
- Quantization: බර ප්රමාණය (FP32 → INT8/INT4) වෙනස් වේ, ආකෘතිය එකමයි, පුනර්ගත කිරීම අවශ්ය නැත.
- Distillation: නව ආකෘතිය නිර්මාණය, පුනර්ගත කිරීම අවශ්ය, වඩාත් සවිස්තරාත්මක පාලනය.
- Size reduction: Quantization ≤4×, Distillation 40‑50%+.
- Speed: Quantization මෘදු වේගය, Distillation ගුණාත්මක වේගය.
- Accuracy: Quantization INT8 හි අඩු, INT4 හි මධ්යම; Distillation සාමාන්යයෙන් සුළු අඩුකම්.
දෙකම එකට භාවිතා කළ හැක. පළමුව teacher මොඩලයෙන් student මොඩලයක් සකසා, පසුබැසීමෙන් එම සිසු මොඩලය Quantize කිරීමෙන්, කුඩා හා කම්පැහැති මොඩලයක් ලැබේ. සිසු මොඩලය පළමුම කුඩා නිසා Quantization ප්රතිඵලයන් හොඳින් ගත හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයින්, විශ්වවිද්යාල සිසුන්, ව්යාපාරිකයන් සඳහා මෙම තාක්ෂණික ක්රම දෙකම මහත් වැදගත්ය. Quantization මගින් මොඩලය කුඩා කර, දේශීය මොබයිල් යන්ත්ර, edge device සහ රූපවාහිනී සේවා වලට පහසුවෙන් භාවිතා කළ හැක. Distillation මඟින් පරිශීලකයාට අවශ්ය පරිමාණය හා කාර්ය සාධන අනුව මොඩලය නිර්මාණය කිරීමේ නිදහස ලැබේ, එමඟින් පළපුරුදු AI පර්යේෂකයින්ට නව නව ප්රයෝජනකාරී නිෂ්පාදන ඉක්මනින් සකස් කළ හැක. ව්යාපාරිකයන්ට ඉන්ෆරන්ස් වේගය වැඩිවීම, පරිභෝජන ශක්තිය අඩුවීම, සේවා වියදම් අඩුවීම වැනි ලාභ ලැබෙන අතර, දේශීය තාක්ෂණික ආර්ථිකය තවත් තරඟකාරී වේ.
එසේම, ශ්රී ලංකාවේ AI අධ්යාපන වැඩසටහන් සඳහා Distillation මගින් “student” මොඩල භාවිතා කර, සිසුන්ට කුඩා පරිමාණ මොඩලය සමඟ ප්රායෝගික අත්දැකීම් ලබා දීමට අවස්ථාව සලසයි. එමගින් පරීක්ෂණ කාලය කෙටි කර, නවෝත්පාදන වේගය ඉහළ යයි.
අවසානයේ, Quantization සහ Distillation එකට එකතු කර ගතහොත්, ඔබේ AI මොඩලය කුඩා, වේගවත්, සහ ඉතා නිවැරදිව පවත්වා ගැනීමට හැකියාව ලැබේ. මෙය ශ්රී ලංකාවේ තාක්ෂණික පරිසරයට නව මාර්ගයක් ගතකරයි.
