ඉදිරි වසරවල AI තාක්ෂණය අපගේ දිනයේ හැම කාර්යයකම ඇතුළත් වෙමින් පවතී. නමුත් සියලුම AI කාර්යයන්ට විශාල LLM (Large Language Model) අවශ්ය නැත. ජූලී රොබිනෝ විසින් තම ඊමේල් තැපැල් පෙට්ටියට සරල Go ක්ලැසිෆයරයක් යොදාගෙන 7 බිලියන පරාමිතියක LLM එකක් වෙනුවට ඉතා කුඩා මොඩලයක් භාවිතා කරමින් ඉතා ඉක්මනින් කාර්යය ඉටු කළා.
පළමුව ඔහු සියලුම නව ඊමේල් පණිවිඩ කියවා, ඒවා කාර්ය, නිවේදන, පුවත් ලිපි, ප්රචාරණ වැනි කාණ්ඩ වලට වෙන් කරන daemon එකක් සකස් කළා. මුලින්ම Ollama මගින් Qwen 2.5 7B මොඩලයක් GPU එකේ ධාවනය කරමින් සෑම පණිවිඩයක්ම LLM එකට යවා තිබුණා. එය ක්රියා කළත්, GPU එක නිතරම පාවිච්චි කිරීම, කන්ටේනර් එකක් අතිරේකව පවත්වා ගැනීම, සහ ප්රතිචාරය මිලියනයකටත් ඉහල කාලයක් ගත වීම වැනි ගාණු බර පිරිවැය ගැලපුණා.
ඉන්පසු ඔහු සිතුවේ, “‘මෙම ඊමේල් පුවත් ලිපියක්ද?’ කියන ප්රශ්නයට 7 බිලියන පරාමිතියක් අවශ්යද?” යනුවෙනි. එවකට එම තීරණය කරන්න අවශ්ය තොරතුරු යවන ලද ලිපිනය, විෂය පත්රය වැනි කෙටි වචන කිහිපයක් පමණයි. ඒ නිසා තේරීමේ ක්රමය තුනකට බෙදා හරින්නට තීරණය කළා: නියමිත නියම (rules), කුඩා ML මොඩලය, LLM අවසන් වරට.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම ක්රමය ශ්රී ලංකාවේ සිසුන්, සංවර්ධකයින්, ව්යාපාරිකයන් සඳහා විශාල වාසියක් ගෙනෙනවා. පළමුව, නියමිත නියම භාවිතයෙන් පණිවුඩවල අඩු පිරිවැය සහ ඉක්මන් ප්රතිචාර ලබා ගත හැකිය. දෙවැනි, Go භාෂාවෙන් සම්පූර්ණයෙන්ම CPU මත ක්රියා කරන 2.4 MB JSON මොඩලයක් භාවිතා කිරීමෙන්, GPU අවශ්යතාවය ඉවත් කර පරිසර හිතකාමී හා අඩු පිරිවැය ආකාරයක් ලැබේ. තෙවැනි, අවශ්ය නම් පමණක් LLM වෙත යොමු කිරීම නිසා, ක්ලවුඩ් API භාවිතය අතින් අඩු වේ. මෙය ශ්රී ලංකාවේ තාක්ෂණ ආයතනවලට, විශේෂයෙන්ම සීමිත බජට් සහ සම්පත් ඇති ආරම්භක ස්ට්රට්-අප් සමාගම් සඳහා, AI ප්රොජෙක්ට් ආරම්භ කිරීමේ වැදගත් පියවරක් වේ.
අවසානයේ, මෙම ත්රි-පට්ටම ක්රමය මගින් ඊමේල් වර්ගීකරණය මිනිත්තු කිහිපයක් තුළ සිදු කරයි, GPU අවශ්යතාවයක් නැතිව, CPU එකේ sub‑millisecond කාලයකින් ප්රතිඵල ලබා දෙයි. එමෙන්ම, LLM භාවිතය අවශ්ය වූ විට පමණක් ක්ලවුඩ් කෝල් එකක් සිදු කරයි. මේ විදියට, AI පද්ධති නිර්මාණයේ “LLM පළමු” යන ආදර්ශය වෙනුවට “LLM අවසන්” යන නව ප්රවණතාවක් ඉදිරිපත් කරයි.
