දැන් පසුගිය දිනවල GitHub හි නිකුත් වූ PR එකක්, Qwen3 ටෙක්ස්ට් එන්කෝඩර් FP8 Safetensors සහ GGUF ආකාර වලින් Z‑Image මොඩලය සමඟ භාරගත කිරීමේදී ඇති වූ බරපතළ ක්රැෂ් ගැටළු නිරාකරණය කරයි.
ගැටළුව 1 – FP8 Safetensors හි lm_head.weight අස්ථානගත වීම : බොහෝ FP8 චෙක්පොයින්ට් ගොනු, ගබඩා ඉඩ සුරැකුම් සඳහා lm_head.weight කීය් එක ඉවත් කරයි. එය model.embed_tokens.weight සමඟ සම්බන්ධ වූ නිසා, fast_load_transformers_model ක්රියාවලියේ mmgp/offload.py හි දැඩි යතුරු පරීක්ෂණයක් සිදු කරන විට KeyError එකක් ඇති වේ.
මෙම ගැටළුවට විසඳුම ලෙස, නව unified_preprocessor එකක් හඳුන්වා දී, state dictionary එක ලෝඩ් වන තත්සේ _fix_qwen_fp8_sd මොඩියුලය මඟින් model.embed_tokens.weight හි මතකය lm_head.weight කීයට දුර්වලව සම්බන්ධ කරයි. මෙයින් duplicate tensor එකක් තැනීමට අවශ්ය නොවී, VRAM ඉතිරි කරමින් ක්රැෂ් එක වැළැක්වෙයි.
ගැටළුව 2 – GGUF ආකාරයේ SDPA dtype අසමතුලිතය : GGUF (උදා. Q4_K_M) ටෙක්ස්ට් එන්කෝඩර් භාවිතා කරන විට, Value tensor එක bfloat16 ලෙස ලබාදෙයි, නමුත් Hugging Face Transformers විසින් Query සහ Key tensor ගණනය කිරීම float32 ලෙස සිදු කරයි. PyTorch නේටිව් SDPA සියලු tensor එකට එකම dtype එකක් අවශ්ය කරයි; එම නිසා ක්රැෂ් එකක් සිදුවේ.
මෙම ගැටළුවට විසඳුම වශයෙන්, ලෝඩ් කිරීමෙන් පසු text_encoder.to(dtype) ක්රියාවලියෙන් සියලු attention projection එකක් ඒකම precision එකට පත් කරයි. එවිට SDPA නිසි ලෙස ක්රියා කරයි, backend එක වෙනස් කිරීමේ අවශ්යතාවයක් නොපවතී.
මෙම දෙකේම නවීකරණය, AI සංවර්ධකයින්ට Qwen3 සහ Z‑Image මොඩලය බාගත කිරීමේදී අත්දැකෙන අස්ථානගතතා සහ memory bottleneck වලින් මුදල් ඉතිරිකිරීමට ඉඩ සලසයි. ඉහළ කාර්යක්ෂමතාවයක්, වේගවත් පරීක්ෂණයක් සහ අඩු hardware අවශ්යතාවයක් මේ විසඳුම් ලබා දෙයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන්ට AI මොඩලයන් පරීක්ෂා කිරීමේදී GPU මත අඩු VRAM භාවිතයෙන් ඉගෙනීමට අවස්ථාව ලැබේ.
- දේශීය සංවර්ධකයින්ට open‑source මොඩලයන් සාර්ථකව ධාවනය කර, නිෂ්පාදන මට්ටමේ AI සේවා නිර්මාණය කිරීමේ පදනම සපයයි.
- ව්යාපාරිකයන්ට AI‑driven analytics හා image processing වැඩසටහන් සඳහා වියදම් අඩු කර, ඉක්මනින් ROI ලබා ගැනීමට උපකාරී වේ.
ඉදිරි කාලයේ AI තාක්ෂණය ශ්රී ලංකාවේ නවෝත්පාදන ක්ෂේත්රයට මූලික පදනමක් වන අතර, මෙවැනි කේත නවීකරණයන් එය තවත් ඉදිරියට ගෙන යාමට මග පෙන්වයි.
ඉදිරියේදී Qwen3 හා Z‑Image මොඩලයන් සමඟ වැඩ කරන සියලුම සංවර්ධකයින්ට මෙම නවීකරණය අත්යවශ්ය වේ. ඔබේ AI පරිසරය තවත් ස්ථාවර කර ගැනීමට මේ නව PR එක භාවිතා කරන්න.
