ඩොක්යුමන්ට් පාර්සිං වැඩ කරන ඕනෑම කෙනෙක්ට PDF එකක පිටු ගණනට ගොඩක් වෙන් කර, එක් එක් පිටුව OCR කර, පසුපස ඒ ප්රතිඵල එකට බැඳීමේ ගැටලු අමතක කරලා වැඩ කරන අයුරු අමතක වෙලා ඇත. Baidu සමාගම නවතම Unlimited-OCR මොඩලය සමඟ ඒ පාරම්පරික ක්රියාවලියට අලුත් විසඳුමක් ගෙන ආවේ.
මෙම මොඩලය 40‑පේජ් PDF එකක් එකම සෙසු පාරිභෝගික මතකයක් (KV cache) වැඩි නොකර, එක් පසුගිය වාරයකින් පුරා 30,000 ට වැඩි ටෝකන් පරමාණුක පදනම් කරමින් Markdown ලෙස පරිවර්තනය කරයි. මූලික වෙනස නම්, ඩීකෝඩරයේ සෑම අවධානමක්ම Reference Sliding Window Attention (R‑SWA) නමින් නව අලෙවි ක්රමයක් භාවිතා කිරීමයි. මෙය මනුෂ්ය කී‑ටයිප් කරන්නේ වගේ, පසුගිය වාක්ය දෙකක් මතක තබා, මූලික පේජ් එක දිගටම බැලීමේ පරිදි ක්රියා කරයි. ඒ නිසා KV cache එක නිතරම ඒකක ප්රමාණයකින් පවත්වාගෙන යාමට හැකිවෙයි, මතක භාරය හා ගැණුම් කාලය එකසේ රඳා පවතී.
මොඩලය 3 බිලියන් පරාමිතීන් ඇති MoE (Mixture‑of‑Experts) ව්යුහයක්, නමුත් ඉන්ෆරෙන්ස් කාලයේ ගණනය 500 M පරාමිතීන් පමණයි. 32K ට වැඩි උපජනන දිග සහ OmniDocBench v1.5 මත 93.23 දක්වන කාර්ය සාධනය, DeepSeek‑OCR මත පදනම් වූ බේස්ලයින් එකට වඩා 6.2 ලකුණු ඉහළයි. MIT ලයිසන්ස් යටතේ නිදහස්ව භාවිතා කළ හැකි බැවින් වාණිජ ප්රයෝජනයට කිසිදු සීමාවක් නැත.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ විද්යා ශිෂ්යයන්, සොෆ්ට්වේයා සංවර්ධකයින් හා ව්යාපාරිකයින්ට මෙය ගෙන එන ප්රයෝජන මෙසේය:
- ඉගෙනුම් පහසුකම්: විශ්වවිද්යාල, පශ්චාත් උපාධි පාඨමාලා වල ලේඛන, පර්යේෂණ ලේඛන සහ පාරිභෝගික මාර්ගෝපදේශයන් ඉක්මනින් OCR කර, සිංහල හා ඉංග්රීසි දෙමළ භාෂා වලට පරිවර්තනය කළ හැකිය.
- ඩිවෙලපර් කාර්ය සාධනය: එක් පාරමිතියක් මත පදනම්ව බහුපේජ් PDF පරිවර්තනය කිරීමේ කාලය ගුණාත්මකව අඩු වෙයි. GPU මතක අවශ්යතා ස්ථාවරව පවතින නිසා පරණ 12 GB GPU පවා බහුපේජ් OCR සඳහා භාවිතා කළ හැකිය.
- ව්යාපාරික ප්රයෝජන: ලේඛන කළමනාකරණ, අන්තර්ගත සෙවුම්, නීතිමය ලේඛන ඇගයීම වැනි ක්ෂේත්රවල ගුණාත්මක සහ වේගවත් OCR විසඳුමක් ලබා දී, කාර්යාල කාර්යක්ෂමතාවය ඉහළ නැංවීමට උපකාරී වේ.
ඔබට Python පරිසරයක් සකස් කර, Transformers, SGLang හෝ Docker ඡායා රූපයක් භාවිතා කර මෙම මොඩලය ක්රියාත්මක කළ හැකිය. GPU, CUDA සහ bfloat16 බරපතළ මොඩලයක් පූරණය කිරීමේ අවශ්යතා සලකා බලන්න.
සාරාංශයෙන්, Unlimited‑OCR මගින් බහුපේජ් PDF එකක් එක්වරට, මතක භාරය නොවැඩිව, ඉහල නිවැරදිත්වයෙන් OCR කරගැනීමට නව මාර්ගයක් සපයයි. මෙය ශ්රී ලංකාවේ තාක්ෂණික පරිසරයට විශාල වාසියක් වනු ඇත.
