AI මොඩලයක් සමඟ දත්ත සොයාගැනීම (RAG) කරගැනීමට බොහෝ සංවර්ධකයින් මුහුණ දෙන ප්රධාන ගැටළුව, PDF ලේඛනවල අසාධාරණ ඉන්ජෙෂන්යයි. සාමාන්යයෙන් PDF එකේ අමු පෙළක් සෘජුව chunker එකකට දී, එය අකුරු ගණන අනුව කපා හරිනුත්, අගුළු වැටුණු වගුවක්, අඩු වූ ශීර්ෂකයක් හෝ බහු-තීරුවල අසමත් පිළිබඳව පෙන්වයි.
මෙම ගැටළුවට සරල විසඳුමක් Nutrient SDK භාවිතයෙන් PDF එකක් Markdown ආකාරයට පරිවර්තනය කිරීමයි. Markdown හි ශීර්ෂක, ලැයිස්තු, වගු වැනි සංරචනා තවත් නිවැරදිව රැගෙන එන බැවින්, chunker එකට අකුරු ගණන මත නොව, ශීර්ෂක සහ පරාග්රාෆ් ගොඩනැගීමේ තත්ත්වයට අනුව කොටස් බෙදීමේ හැකියාව ලැබේ.
Python SDK (nutrient_dws) එකෙන් mode="text" සහ output_format="markdown" යන පරාමිතීන් සමඟ එක් ඇමතුමක් මගින් PDF එක Markdown ලෙස ලබා ගත හැක. එම Markdown හි ශීර්ෂක, ලැයිස්තු, වගු සම්පූර්ණයෙන්ම සුරැකි නිසා, පසුගාමී chunking පියවරේ heading-aware chunker එකක් භාවිතා කරමින්, එක් කොටසක් ශීර්ෂකය හෝ පරාග්රාෆ් බිඳ නොහරින පරිදි බෙදා, පසුබැසීමේ (embedding) පියවරට සූදානම් කරගත හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ ශිෂ්ය, සංවර්ධක සහ ව්යාපාරිකයන්ට මෙය විශාල වාසියක්. PDF ආකාරයේ ලේඛන (උදා: රජයේ නීති, විද්යාත්මක පර්යේෂණ, පාරිභෝගික මාර්ගෝපදේශ) බොහොමයක් ඇති අතර, ඒවා AI සමඟ සම්බන්ධ කරගැනීමේදී නිවැරදි ඉන්ජෙෂන් අවශ්ය වේ. Nutrient SDK භාවිතයෙන් PDF → Markdown පරිවර්තනය කිරීමෙන්, ශ්රී ලංකාවේ ආරම්භකයින්ට RAG පයිප්ලයින් ඉක්මනින් සකස් කර, තොරතුරු සොයාගැනීමේ නිවැරදිභාවය වැඩි කර ගත හැක.
- විශ්වවිද්යාල සිසුන්ට පර්යේෂණ ලේඛනවලින් AI ප්රශ්න-පිළිතුරු පද්ධති නිර්මාණය කිරීමේ හැකියාව.
- ස්ථානීය ව්යාපාරයන්ට ගැලපෙන PDF ගනුදෙනු, ගිණුම්පත්, වගු ආදිය AI chatbots තුළ භාවිතා කිරීම.
- ඉංජිනේරු සංවර්ධකයන්ට RAG පයිප්ලයින් අඩු වියදමින්, ඉහළ නිවැරදිභාවයෙන් නිර්මාණය කිරීමේ අවස්ථාව.
අවසන් වශයෙන්, PDF ඉන්ජෙෂන් ගැටළුව සලකා බැලීම RAG පයිප්ලයින් සාර්ථකත්වයේ මූලික පියවරක් බව තේරුම් ගත හැක. Nutrient SDK සහ heading-aware chunking ක්රමය සමඟ, ඔබේ AI ව්යාපෘතිවල තොරතුරු ප්රවේශය, ගුණාත්මකභාවය සහ වේගය වැඩි කරගත හැක.
ඔබත් මේ නව ක්රමය අත්හදා බලන්න, AI සමඟ PDF ලේඛනවලින් අරුත ගෙන එන්න.
