AI ක්ෂේත්රයේ නවතම ප්රගතියක් වන Rotary Positional Embedding (RoPE) ගැන අද අපි කතා කරමු. මෙය 2D රෝටේෂන් භාවිතා කරමින් ට්රාන්ස්ෆෝමර් මොඩලයන්ට දිගු පෙළක් හොඳින් සැලසුම් කර ගැනීමට උපකාරී වේ.
ඉතිහාසයේ, ස්ථාන තොරතුරු එක්කීම සඳහා සයින්‑කොසයින් රේඛීය රේඛා භාවිතා කරන ලදී. ඒක තනි වශයෙන් එම ස්ථානයේ අගයන් වෙනස් වීමත් සමඟ මොඩලයෙහි සෙමැටික් ගුණාංග බිඳ වැටීමට හේතුව වුණා. එසේම, නව දිගු පෙළක් (උදාහරණként 2049) දැක්වූ විට, අමුතු පෝසිෂන් වෙක්ටර් එකක් හමුවීමෙන් ජනනය අස්ථානගත වුණා.
RoPE මේ ගැටළු විසඳීමට පදනම් කරගත් ක්රමය, ප්රශ්න වශයෙන් පෝසිෂන් වෙක්ටර් එකක් එකතු කිරීමේ බදුවක් නොව, Query සහ Key වෙක්ටර් දෙකම 2D පළලේ රෝටේට් කරයි. මෙයින් පෝසිෂන් තොරතුරු අන්තර්ගත වුනත්, ඒවායේ නॉर्म් එක අකුරු නොවී, ඕනෑම දුරකථනයක (relative distance) පමණක් පදනම්ව attention ගණනය කරයි.
මෙම රෝටේෂන් සංකල්පය සංකීර්ණ සංඛ්යාත (complex number) හෝ සරල ගණිත ක්රමයක් (slice trick) භාවිතා කරමින් කාර්යක්ෂමව PyTorch තුළ ක්රියාත්මක කළ හැක. නමුත්, එය GPU‑හි FlashAttention වැනි සම්පූර්ණ-කර්නල් ඒකාබද්ධතා බාධා නොකරයි, මතක භාරයත් අඩු කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- ඉගෙනුම් ව්යාපාරිකයින් – RoPE භාවිතා කරමින් දීර්ඝ ලේඛන, කේත, හෝ සමාජ මාධ්ය දත්ත විශ්ලේෂණය පහසු කරයි.
- ඩිවෙලපර්වරු – PyTorch කේත උදාහරණය සරලව ලබාදීම නිසා, ඔවුන්ට තම මොඩලයන්ට RoPE එකතු කිරීමේ පියවර පහසුවෙන් කරගත හැක.
- ව්යාපාර – දිගු-පෙළ අධ්යයනයේ නිවැරදි ප්රතිඵල ලබා ගැනීමෙන්, ගනුදෙනුකරුවන්ගේ පාරිභෝගික සේවාවන් වැඩි දියුණු කරයි.
ඉදිරි කාලයේ, RoPE වැනි නව තාක්ෂණික පරිවර්තන AI මොඩලයන්ගේ කාර්ය සාධනය වැඩි දියුණු කර, ශ්රී ලංකාවේ තොරතුරු තාක්ෂණය, අධ්යාපනය, ව්යාපාරික නවෝත්පාදන වලට නව දොරටු විවර කරනු ඇත.
ඔබත් RoPE සමඟ ඔබේ මොඩලය අලුත් කර, දිගු පසුබැසීමේ ගැටලුවක් නැතිව AI අනාගතයට පියවර තබන්න.
