ඉංග්රීසි පදවල පදවල් අතර හිස් ඉඩක් තිබේ යැයි බොහෝ පාඨ සැකසුම් මෙවලම් සලකනවා. එත්, ජපන් හා කොරියානු භාෂා මේ සරල සම්මතයට අභියෝගයක් ඉදිරිපත් කරනවා.
ජපන් භාෂාවේ වචන අතර හිස් ඉඩක් නොමැති අතර, වචන වෙන් කිරීම සඳහා මෝර්ෆොලොජිකල් විශ්ලේෂකයක් (MeCab, Sudachi, Janome වැනි) සහ ශබ්දකෝෂයක් අවශ්ය වේ. ඒකම වචනයක් ලෙස ගත හැකි "東京都" වචනය, භාවිතා කරන ශබ්දකෝෂය අනුව "東京+都" ලෙස දෙකකට බෙදිය හැකිය. මෙවැනි අසමතුලිතතා නිසා අකුරු ගණන, වචන ගණන වැනි මූලික ගණනයන් වැරදි විය හැක.
කොරියානු භාෂාවේ හිස් ඉඩක් ඇති නමුත්, කණ්ණාඩි (particles) වචන වලට එකතු වෙයි. "학교에서" (පාසලේ) සහ "학교를" (පාසල (object)) යන දෙකම එකම නාම පදයකට වෙනස් කණ්ණාඩි එක් කරයි. මෝර්ෆොලොජිකල් විශ්ලේෂණයක් නොකළහොත්, ඒවා වෙනත් වචන ලෙස ගණනය වන අතර, සංඛ්යාත ගණනය හා සමානත්ව පරීක්ෂණ වැරදි ප්රතිඵල ලබා දෙයි.
එමෙන්ම, හංගුල් ලිපි අකුරු සම්මත (Unicode) නාමාවලියේ NFC සහ NFD ප්රකාර දෙකේම වෙනස් කේත ගණන ඇති නිසා, දිග සීමා (character limit) සම්බන්ධ බග්ස් පහසුකම් ඇති කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සිසුන්, ඩෙවලපර්ස් සහ තාක්ෂණික ව්යාපාර සඳහා මේ ගැටලු වැදගත් ය. මූලික වශයෙන්:
- සිසුන් – ජපන්, කොරියානු භාෂා පදනම් ගැටළු ගැන ඉගෙන ගතහොත්, බහුභාෂා NLP පද්ධති නිර්මාණය කිරීමේ දක්ෂතාව වැඩි වේ.
- ඩෙවලපර්ස් – Unicode සාමාන්යකරණය (NFC) පළමුවෙන් සිදු කර, පසු පියවරේ මෝර්ෆොලොජිකල් විශ්ලේෂකයක් (Sudachi හෝ MeCab) භාවිතා කරන්නේ නම්, AI, ML, තොරතුරු සොයා ගැනීම වැනි සේවාවන් නිවැරදිව ක්රියා කරයි.
- ව්යාපාර – ජපන්, කොරියානු වෙළෙඳපලට AI‑චැට්බොට්, අන්තර්ගත නිර්මාණ, SEO මෙවලම් යොදා ගැනීමට අවශ්ය නිවැරදි පද වෙන් කිරීම, පාරිභෝගික අත්දැකීම උසස් කරයි.
අවසන් වශයෙන්, ජපන් හා කොරියානු පාඨ සැකසුම් සදහා Unicode සාමාන්යකරණය, ශබ්දකෝෂ තේරීම, මෝර්ෆොලොජිකල් ලේයර් එකතු කිරීම යන පියවරයන් අනුගමනය කිරීම අත්යවශ්යය. මේ ක්රියාන්විතයන් නොකළහොත්, AI හෝ Machine Learning ආදාරිත පද්ධති වැරදි දත්ත මත පදනම්වී, අසාර්ථක ප්රතිඵල ලබා දෙනු ඇත.
ඉදිරියේදී, ජපන් සහ කොරියානු භාෂා සඳහා නිශ්චිත මෝර්ෆොලොජිකල් විශ්ලේෂකයක් තෝරා, ඒකම තාවකාලිකව පවත්වාගෙන යාම මඟින් පරාමිතීන් හා සීමා අගයන් නිවැරදිව තබාගත හැකිය.
