LectuLibre කියන AI පදනම් කළ පොත් පරිවර්තන සේවාව ලෝකය පුරා පරිශීලකයින්ගෙන් EPUB, PDF වැනි ගොනු ලැබෙමින් තිබේ. මුලින්ම පරිවර්තන ගුණාත්මකභාවය වැඩිදියුණු කිරීමේ වැඩකටයුතු පටන් ගත්තාම, මුලික ගැටළුවක් හමුවුනා – පරිවර්තනය කිරීමට පෙර පොතේ මූලික භාෂාව හඳුනා ගැනීමේ වැරදි.
ආරම්භයේ භාවිතා කළ langdetect පුස්තකාලය සත්ය ලෝක උඩුගත කිරීම් 85% නිකුත් කළා. ඉතිරි 15% ගොනු වල භාෂා වැරදි හඳුනා ගැනීම නිසා පරිවර්තන පූර්ණයෙන්ම අසම්භව වූවා, පරිශීලකයින් ආතතියට පත්වූවා, API වියදම් අතිරික්තව වැය වුණා. ඒ නිසා “精准翻译与语言识别” (precise translation and language identification) කියන නව පද්ධතියක් සකස් කළේය.
මෙම පද්ධතියේ මූලික අදහස දෙමට්ටමේ හඳුනා ගැනීමයි. පළමුව පොත් පුරා භාෂාවක් තීරණය කර, ඒකේ confidence score ගණනය කරයි. පසුව පොතේ කුඩා කොටස් (පෙළ, සංවාද) සඳහා තවත් පරීක්ෂණයක් කර, අවශ්ය නම් ඒ කොටස වෙනම පරිවර්තනය කරයි. මෙයට fastText (lid.176.bin), langdetect, cld3 සහ 10,000 පොත් උදාහරණ වලින් පුහුණු කළ අභිරුචි fastText මොඩලයක් එක් කර ඇත.
එක් එක් දත්ත කොටස සඳහා සෑම මොඩලයක්ම එකම භාෂා ප්රතිඵලයක් දෙයි නම්, ඒ ප්රතිඵලය තීරණය කරයි. තුනකට වඩා එකම ප්රතිඵල ලැබේ නම්, එය “majority vote” ලෙස ගනිමින්, තවදුරටත් confidence අගය මත අගය කරයි. පරිශීලකයා මූලික භාෂාව සඳහන් කරන්නේ නම්, පද්ධතිය එය සලකා බලන අතර, හෝ තරඟකාරී හඳුනා ගැනීමක් පවතී නම් අවවාදයක් දක්වයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සිසුන්, විශ්වවිද්යාල පර්යේෂකයන් සහ ඩිවෙලපර්ලාට මෙම නව පද්ධතියෙන් ලැබෙන ප්රතිලාභ විශාලයි.
- ඉගෙනුම් ගුණාත්මකභාවය: ඉංග්රීසි, චීන, රුසියානු වැනි බහුභාෂා පොත් සිංහලට හෝ ඉංග්රීසියට නිරවද්යව පරිවර්තනය කර, විශ්වවිද්යාල පාඨමාලා හෝ පර්යේෂණ සඳහා අඩු වියදමින් ලබා ගත හැක.
- ඩිවෙලපර්ලාට API අවස්ථා: 98% නිකුත් වූ භාෂා හඳුනා ගැනීමේ නಿಖරතාවය, AI පදනම් කළ පරිවර්තන සේවාවන් සෑදීමේදී වැදගත් මූලික තලයක් වන අතර, ශ්රී ලංකාවේ තාක්ෂණික ආරම්භකයන්ට අඩු වැරදි සමඟ නිෂ්පාදන ගොඩනැගීමට ඉඩ සලසයි.
- ව්යාපාරික අවස්ථා: පරිවර්තන ගුණාත්මකභාවය වැඩි වීම නිසා, නිකුත් කරන පොත්, අධ්යාපනික ද්රව්ය, හෝ මාර්ගගත අන්තර්ගතය විදේශීය වෙළඳපොළට ඉක්මනින්, නිරවද්යව ගෙන යා හැක.
ඉදිරියේදී LectuLibre මෙම අභිරුචි fastText මොඩලය විවෘත කිරීමට සැලසුම් කර ඇති අතර, ශ්රී ලංකාවේ AI පර්යේෂකයන්ට දායකත්වයක් සැපයීමට බලාපොරොත්තුවෙයි.
ඉන්පසු, භාෂා හඳුනා ගැනීමේ නව පද්ධතිය සමඟ, AI පොත් පරිවර්තන තත්ත්වය නව උසස් මට්ටමකට ගෙන යාමට හැකි විය.
