Meituan සමාගමේ LongCat කණ්ඩායම මේ දිනවල තමන්ගේ විවෘත‑මූලාශ්ර "talking‑avatar" තාක්ෂණයට 1.5 සංස්කරණයක් නිකුත් කරයි. මෙම නව අනුවාදය, පළමු වරට Wav2Vec2 වෙනුවට Whisper‑Large‑v3 අඩුකාරකය භාවිතා කරමින්, හඩ සහ මුහුණේ චලන අතර සම්පූර්ණ සන්ධිය වැඩි දියුණු කරයි. ඒ සෙවුවත්, DMD2 නමින් හැඳින්වෙන නව distillation ක්රමය හරහා ජනනය පියවර 8කට සීමා කරමින්, මූලික 13.6 බිලියන් පරාමිතීන් ඇති Diffusion Transformer (DiT) මොඩලය දැඩි GPU මතත් INT8 ආකාරයෙන් ධාවනය කළ හැකිය.
ඇත්තටම මොනවා වෙනස් වෙලා? ප්රධාන වෙනස්කම් තිහක්:
- Audio encoder: Wav2Vec2 → Whisper‑Large‑v3 (ඉතා ස්මූත් ලිපි‑සමමුහුර්තය).
- --use_distill flag එක සක්රිය කරන්නේ DMD2‑based 8‑step distillation සඳහා. මෙය නොකළහොත් පරණ 1.0 sampling schedule වෙත ආපසු යයි.
- --use_int8 flag එක මඟින් 13.6B DiT මොඩලය INT8 ආකාරයට පරිවර්තනය කර VRAM පීඩනය අඩු කරයි.
- --resolution flag එකෙන් 480p හෝ 720p ප්රතිදානය තෝරාගත හැකිය.
තවත් නවීන තාක්ෂණයක් වන Cross‑Chunk Latent Stitching, VAE encode/decode වාරිකයන් අඩු කරමින්, මිනිත්තු කීපයක් දිගු වීඩියෝ නිර්මාණය කිරීමේදී “chunk boundary” ගැටලුවක් නොසිදුවේ.
මෙම නවීකරණය Meituan විසින් HeyGen, Kling Avatar 2.0, OmniHuman‑1.5 වැනි ප්රධාන තරඟකරුවන්ට වඩා හොඳ ප්රතිඵල ලබා දෙන බව කියා තිබේ. නමුත් ඒ අගය පරීක්ෂණය කෙරෙන්නේ ලේඛකයින්ගේම මතයයි; ස්වාධීන leaderboard එකක් තවම නොමැත.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලාංකීය සංවර්ධකයින්, අධ්යාපනික ආයතන, ව්යාපාරිකයින්ට මේ නවීකරණය ගෙන එන ප්රයෝජන කිහිපයක් ඇත.
- ඉගෙනුම් ව්යාපෘති – සිසුන්ට AI‑driven talking‑avatar භාවිතා කරමින්, භාෂා, ඉංග්රීසි උච්චාරණය, හෝ විද්යාව සම්බන්ධ පරිච්ඡේද නිර්මාණය කළ හැක.
- ස්ථානික ඇප් සංවර්ධනය – පාරිභෝගික සේවා, e‑learning, virtual assistant වැනි යෙදුම් සඳහා අඩු GPU අවශ්යතා සමඟ පවතින පරිසරයන්හි ක්රියාත්මක කළ හැක.
- ව්යාපාරික අලෙවිය – වෙළඳ දැන්වීම්, ප්රචාරක වීඩියෝවලට කෙටි, උසස් තත්ත්වයේ avatars සකස් කර, පාරිභෝගික අත්දැකීම වැඩි කරයි.
ඉදිරියේදී, PyTorch 2.6, CUDA 12.4, FlashAttention‑2 වැනි නවතම ලයිබ්රරීන් සමඟ සකස් කරගත හැකි බැවින්, ශ්රී ලංකාවේ තාක්ෂණික සමාජයත් මේ ක්ෂේත්රයට ඉක්මනින් ඇතුළත් විය හැක.
අවසන් වශයෙන්, LongCat‑Video‑Avatar 1.5, ගැඹුරු AI තාක්ෂණය සාමාන්ය GPU පරිසරයකද භාවිතා කළ හැකි බව පෙන්වමින්, දේශීය නිර්මාණකරුවන්ට අලුත් මාර්ගයක් විවර කරයි.
