LLM මත පදනම් වූ සෙවුම්, RAG පයිප්ලයින් හෝ අභ්යන්තර සහායකය සකස් කරන විට, වැඩේ ආරම්භ කරන පළමු අදියරේ බොහෝ සංවර්ධකයන්ට එකම ගැටළුවක් පෙනේ – ‘ඇත්තේ docx, pdf, pptx වැනි ගොනු, ඒවාෙන් පිරිසිදු පෙළක් ලබා දිය යුතුයි.’ මෙය තාක්ෂණික වශයෙන් අභියෝගයක් නොවෙයි, නමුත් ප්රචලිත මෙවලම් බොහෝවිට අපේක්ෂිත නොවන පිරිවැය ගෙවීමට බල කරයි.
පළපුරුදු විසඳුම් තුනක් සාමාන්යයෙන් භාවිතා වේ. Apache Tika 15 වසරකට පසු ප්රමිතියක්, නමුත් එය JVM මත රඳා සිටීම නිසා Rust හෝ Go සේවා තුළ ඒකතු කිරීම අමාරු වේ. Python‑ආශ්රිත unstructured, Docling වැනි ලයිබ්රරීන් හොඳවත්, නමුත් pip, native wheels, ML මොඩල බාගත කිරීම වැනි පියවරයන් නිසා අඩු වේගයක් සහ අස්ථිරත්වයක් ඇතිවේ. LlamaParse වැනි cloud පාර්සර්ස් ලේසි වුවත්, ගොනු අන්තර්ජාලයට උඩුගත කිරීම අනිවාර්ය වේ – බැංකු, රෝහල්, නීති ආයතන වැනි air‑gapped පරිසර සඳහා අසමත්.
මෙම අවශ්යතාවයට පිළිතුරක් ලෙස සංවර්ධකයා DeepDoc නමැති ස්වයංක්රීය Rust බයිනරි එකක් නිර්මාණය කර ඇත. මෙය JVM, Python, හෝ කිසිදු රන්ටයිම් අවලම්බයක් නොමැතිව, එකම බයිනරි ගොනුවක් ලෙස Docker ස්ලයිස් එකකට එක් කර භාවිතා කළ හැකිය. සියලුම ගොනු සත්යමයව පරිසරයට පිටත යැවීමක් නැති අතර, ඒකකය සෑම වරක්ම එකම ප්රතිඵල ලබා දෙයි – RAG ඉන්ඩෙක්ස් එක නැවත නිර්මාණය කළ නොහැකි බග් එකක් වීම වැලැක්වීමට මෙය උපකාරී.
DeepDoc ගොනු එක් එක් ආකෘතියක් නිරපේක්ෂ Document මොඩලයක් බවට පරිවර්තනය කරයි; එම මොඩලය headings, paragraphs, lists, tables, metadata, page markers වැනි අංග සමඟ එකතු වේ. පසුදා ඒ මොඩලය Markdown, JSON හෝ plain text ලෙස පිරිසිදු කරයි. මේ නිසා .docx, .pptx වැනි විවිධ පාර්සර්ස් අතර ඇති අසමත්තා ඉවත් කර, එක්වරක් පරීක්ෂා කළ “Markdown බවට පරිවර්තනය” කේත පථයක් පමණක් භාවිතා කරයි.
වර්තමානයේ v0.1 අනුව, DeepDoc පහත සඳහන් 13 වර්ගයේ ගොනු (docx, pptx, xlsx, odt, ods, odp, epub, html, rtf, csv, md, txt, text‑based pdf) එකම බයිනරි තුළ පරිවර්තනය කරයි. ඊට අමතරව, recursive flag එකක් භාවිතා කර ෆෝල්ඩරයක් සම්පූර්ණයෙන්ම පරිවර්තනය කළ හැකිය:
$ deepdoc ./docs --recursive -o out/
ඉන්පසු, report.docx ගොනුවක් Markdown ආකාරයට පරිවර්තනය වූ විදිය මෙසේ:
## Q3 Engineering Report
### Delivery
We shipped the ingestion rewrite ...
ශ්රී ලංකාවට ඇති වැදගත්කම
DeepDoc ශ්රී ලංකාවේ සංවර්ධකයින්ට, විශේෂයෙන් බැංකු, රෝහල්, නීති ආයතනවල සේවය කරන ආයතනවලට, ගොනු පාර්සින් කිරීමේ ගාස්තු සහ ආරක්ෂාව පිළිබඳ ගැටළුව විසඳයි. Cloud‑වලට ගොනු උඩුගත නොකළ බැවින් රහස්යතා නීතිවලට අනුකූල වේ, එසේම JVM හෝ Python පරිසරයක් සකස් කිරීමේ කාලය හා පරිභෝගය අඩු කරයි. තවත් පාර්ශවයක් වශයෙන්, විශ්වවිද්යාල සහ තාක්ෂණික පාඨමාලා වල සිසුන්ට, ලේසිව ස්ථාපනය කළ හැකි Rust බයිනරි එකක් නිසා, AI‑අධාරිත RAG පයිප්ලයින් පරීක්ෂා කිරීමේ අභ්යාසයක් ලබා දේ. කුඩා ස්ථානික ආයතනවලටද, open‑source සහ නොමිලේ ලබා ගත හැකි මෙවලමක් වීම නිසා, තාක්ෂණික නවෝත්පාදනයේ පාලනය ඔවුන්ගේ කුලකයට ගෙන එයි.
සාරාංශයෙන්, DeepDoc එහි සරල, වේගවත්, ආරක්ෂිත සහ අධි-අනුකූල පාර්සින් කිරීමේ හැකියාව මඟින්, RAG ව්යාපෘති වල පදනම වඩා මනා ලෙස ඉදිරිපත් කරයි. ඔබේ AI‑චැට්බොට් හෝ සෙවුම් යෙදුමට නිශ්චිත, පූර්ණ-දේශීය පාර්සින් කිරීමක් අවශ්ය නම්, DeepDoc දැන්ත්මත් කර බලන්න.
