වචන පද්ධති (NLP) ක්රියාවලියේ මුල් පියවරක් වන වාක්ය බෙදීම, සරලයි කියලා හිතුවත්, වාස්තුක තොරතුරු වලදී එය අභියෝගයක් බවට පත්වේ. spaCy හි Sentencizer ඉක්මන්, කුඩා නීති-අධාරිත කොම්පොනන්ට් එකක් වන නමුත්, එහි කාර්යක්ෂමතාවය සීමාසහිතයි. මේ වෙනුවට Python පදනම් yasbd (Yet Another Sentence Boundary Detector) භාවිතා කරලා, 55.4% ක නිරවද්යතාවයක් තිබූ Sentencizer එක 98.9% දක්වා ඉහළ ගෙන යා හැකි බව නවතම පරීක්ෂණයක් පෙන්වයි.
ඇයි yasbd වැඩි නිරවද්යතාවක් ලබා දෙනවා? Sentencizer එකේ මූලික ලොජික් එක තේරුම් ගත හැකි පරිදි කෙටි කොඩ් පේළි කිහිපයක් පමණයි – වාක්ය අවසන් වන්න පුළුවන් චරිත (., ?, !) හඳුනාගන්නා, පසුදා අකුරු නොවන තෙක් ඉදිරියට යන ආකාරයක්. එය සංක්ෂිප්ත නාම පද, URL, උපුටා ගැනීම්, කෝෂ්ඨකාරක වැනි සංකීර්ණ අවස්ථා හඳුනා ගැනීමට නොහැක. yasbd, ඒ වෙනුවට විස්තරාත්මක නීති කට්ටලයක්, අභිලේඛන ලැයිස්තු, සහ ප්රතිපත්ති මත පදනම්ව වාක්ය සීමා නිශ්චිතව තීරණය කරයි. එමනිසා ගෝලීය ඉංග්රීසි බෙන්ච්මාර්ක් එකේ 98.9% නිරවද්යතාවයක් ලැබේ.
ඇයි මෙය වැදගත්? වාක්ය බෙදීමේ වැරදි, පසුකාලීන ටොකනයිසර්, නාම පද හඳුනාගැනීම, සමාන අර්ථ විග්රහ වැනි ක්රියාවලියන්ට අධික බලපෑම් කරයි. නිෂ්පාදන පරිසරයේ අඩු නිරවද්යතාවයක් ඇතිවීම, දත්ත විශ්ලේෂණයේ වැරදි, chatbot සහ සර්ච් එන්ජින් වල අසත්ය ප්රතිඵල ලබා දීමට හේතුවේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ ශිෂ්යයින්, සංවර්ධකයින්, සහ ව්යාපාරිකයන්ට මේ නව SBD (Sentence Boundary Detector) එකේ ප්රයෝජන විශාලයි.
- ශ්රී ලංකා විශ්වවිද්යාල සිසුන් – NLP පාඨමාලා හෝ තර්ජන විශ්ලේෂණ ව්යාපෘති වලදී, yasbd භාවිතා කරලා වාක්ය බෙදීමේ අඩුපාඩු අඩු කර, අධ්යයන දත්ත තත්ත්වය උසස් කර ගත හැක.
- දේශීය සංවර්ධකයින් – spaCy පයිප්ලයින් එකේ yasbd එක drop‑in component එකක් ලෙස සරලව එක් කළ හැකි බැවින්, වැඩි වේගයකින් සහ අඩු බග්ස් සමඟ ප්රොජෙක්ට් ඉදිරියට ගෙන යා හැක.
- ව්යාපාරික ආයතන – ගනුදෙනුකරුවන්ගේ සමාජ මාධ්ය අදහස්, ගනුදෙනු ලේඛන, සහ අභ්යන්තර වාර්තා වැනි විවිධ ලේඛන තොරතුරු නිවැරදිව වාක්යවලට බෙදා, sentiment analysis, chatbots, සහ knowledge‑base නිර්මාණය වඩාත් නිරවද්යව සිදු කරයි.
yasbd එකේ ඉහළ නිරවද්යතාවය, කේත ලේඛන සංවර්ධනයේ අඩු වැරදි සහිත පරිසරයක් සපයයි. spaCy Sentencizer එකේ සීමා හඳුනාගෙන, yasbd සමඟ නව මට්ටමේ NLP ව්යාපෘති අරඹන්න.
දැනටමත් Python පරිසරය සකස් කරලා, pip install yasbd කියලා ස්ථාපනය කරලා, spaCy pipeline එකේ nlp.add_pipe('yasbd', before='parser') ලෙස එක් කිරීමෙන් ඔබේ NLP පද්ධතිය නව තත්ත්වයට ගෙන යා හැක.
ඉදිරියේදී, වාක්ය බෙදීමේ නව මාර්ගෝපදේශයන් සහ වැඩි දියුණු නීති කට්ටලයන් yasbd වෙතින් නිකුත් වීමට අපේක්ෂා කරමු.
