AI ලෝකයේ නව පියවරක් – LLM (Large Language Model) එකක් වීඩියෝ බලන්න හැකි කරවන මෙවලමක් හඳුන්වා දෙනවා. ගූගල් Gemini, video‑analyzer, හා නවතම claude‑real‑video (crv) යන විකල්ප තුනක් අතර කුමන එක තෝරාගත යුතුද කියලා මේ ලිපියේ සවිස්තරාත්මකව බලමු.
පළමුව, Gemini වැනි හෝස්ට් කරපු multimodal මොඩලයක් භාවිතා කිරීම. ඔබගේ වීඩියෝ එකක් උඩුගත කරලා, “මෙම ක්ලිප් එක ගැන කියන්න” කියලා ඇසුවොත්, සෘජුවම පිළිතුරක් ලැබේ. ගුණාත්මකත්වය හොඳයි, නමුත් වීඩියෝ එක ඔබේ පරිගණකයෙන් පිටතට යනවා, ප්රතිඵලය සැලසුම් අනුව වෙනස් විය හැක, හා එකම සාක්ෂිය වෙනත් මොඩලයකට දෙන බැරි වේ.
දෙවතාව, video‑analyzer (byjlw/video-analyzer) යන පයිප්ලයින්. OpenCV මගින් ප්රධාන ෆ්රේම් ගනිමින්, Whisper භාවිතයෙන් උපසිරැසි ලබා, Llama 3.2 11B වැනි දෘශ්ය මොඩලයක් එක් එක් ෆ්රේම් විස්තර කරයි. මෙහි ප්රධාන අඩුපාඩුව, LLM එකට වීඩියෝව නොපෙනෙයි; ඒ වෙනුවට මොඩලයක් සකස් කරපු “විස්තර” එකක් පමණයි. ඒ නිසා, ඕනෑම වැරදි විස්තරයක් LLM එකේ විශ්වාසයෙන් පළ වේ.
තුන්වතාව, claude‑real‑video (crv) – මේකයි මට අගය කරන එක. මෙය වීඩියෝවට සෘජු ප්රවේශයක් සපයයි: කීර්තිමත් keyframe‑වලට නිශ්චිත timestamp, උපසිරැසි (speaker label) සහ frames.json ෆයිලයක්. මධ්යස්ථ මොඩලයක් නොමැති නිසා, Claude, GPT හෝ ඔබේ ස්ථානාධාරිත මොඩලය සෘජුවම ෆ්රේම් බලලා, “frame_012 @ 00:03:41” වැනි උපුටා දැක්වීමක් කළ හැක. සෑම දේම ඔබේ පරිගණකයේම ක්රියාත්මක වේ.
මගේ පරීක්ෂණයේ 2,181 වීඩියෝ පද්ධතියක් crv සමඟ ක්රියාත්මක කරලා, අසාර්ථක ලැයිස්තුවක් ලැබුණා. එම ලැයිස්තුවෙන් හඳුනාගත් වැරදි දෙකක් මෙහෙමයි:
- ප්රතිශත-අධාරිත frame deduplication ක්රමය, ස්ථිර පසුබැසීමේදී සුළු චලනයක් පවා “duplicate” ලෙස අහෝසි කරයි. පක්ෂයේ පියා, හස්තය වැනි වැදගත් චලන අතුරුදන් වේ.
- timestamp තොරතුරු පයිප්ලයින් මැද අහිමි වීම. බොහෝ මෙවලම් extract → dedup → rename කිරීමෙන් පසු, මූලික PTS (Presentation Time Stamp) අමතක කරයි. crv ffmpeg PTS ගොඩක් පවත්වා, frames.json තුළ සත්ය කාලය සුරකින්නා.
මෙම අඩුපාඩු පරීක්ෂකයකුගේ වඩාත් විශාල පුස්තකාලයක් මත පදනම්ව ලැබුණු නිසා, සාමාන්ය දර්ශකයන්ට නොපෙනෙයි. ඒ නිසා, මෙවැනි “hard bugs” හඳුනාගැනීමට සැබෑ ලයිබ්රරියක් අවශ්යයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ විද්යාලීය හා විශ්වවිද්යාල සිසුන්ට AI‑driven video analysis කුසලතා ඉගෙන ගැනීමට ඉතා හොඳ අවස්ථාවක්. crv වැනි open‑source මෙවලම්, දත්ත රහස්යතාවය රැකගෙන, පරිගණක මතම ක්රියාත්මක වන නිසා, දේශීය සමාගම්වලට පෞද්ගලික වීඩියෝ අන්තර්ගතය ආරක්ෂා කරගැනීමට උපකාරී වේ. තවද, ශ්රී ලංකාවේ startup හෝ IT සමාගම්ට, LLM සමඟ video‑based customer support, training, හා content summarization සේවා සැපයීමට පහසු වේ. එමෙන්ම, ගෝලීය AI පර්යේෂණයන්ට දායක වෙමින්, දේශීය talent pool එක වැඩිදියුණු කරයි.
සාරාංශය වශයෙන්, “ගොඩක් වීඩියෝ” එකක් විශ්ලේෂණය කරගන්න අවශ්ය නම්, Gemini කෙටි පිළිතුරක්, video‑analyzer සවිස්තරාත්මක විස්තරයක්, හා crv සත්ය සාක්ෂිය සහිත, ප්රාදේශීය පරිසරයකින් ක්රියාත්මක වන විසඳුමක්. ඔබේ අවශ්යතාවය අනුව තෝරාගන්න.
