Deep Learning පළමු වරට අරඹන කෙනෙකුට සක්රියකරණ කාර්යයන් (activation functions) ගණිත සූත්රයක් වැනිවෙයි කියලා හිතෙන්න පුළුවන්. නමුත් Python භාවිතයෙන් Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax වැනි කාර්යයන් අත්හදා බැලීමෙන් පසු ඒවායේ ඩෙරිබේටිව්ස් නියුරල් ජාලය ඉගෙන ගැනීමට මූලික බව තේරෙනවා.
මෙම පරීක්ෂණය සඳහා -10 සිට 10 දක්වා 100 සමාන අගයන් නිර්මාණය කර, එක් එක් කාර්යයේ රූපය සහ ඩෙරිබේටිව්ස් රූපය ගෙන පෙන්වා ඇත. ප්රථමයෙන් සක්රියකරණ කාර්යය "නියුරොනයේ මේ අවස්ථාවේ කුමන ප්රතිඵලය දෙන්නද" කියන ප්රශ්නයට පිළිතුරක්. උදාහරණයක් ලෙස Sigmoid සියලු ආදාන 0‑1 අතර සංග්රහ කරයි, ReLU නෙගටිව් අගයන්ට 0, ධනාත්මක අගයන්ට එම අගය දෙනවා.
දෙවන පැත්තේ, ඩෙරිබේටිව්ස් "දෝෂය අඩු කිරීමට නෙරොනය කොපමණ වෙනස් විය යුතුද" කියන ප්රශ්නයට පිළිතුරයි. Back‑propagation ක්රියාවලියේ gradient ගණනය කිරීම සෘජුවම මේ ඩෙරිබේටිව්ස් වලින් ලැබෙයි. ඩෙරිබේටිව්ස් නොතිබුනොත් බර (weight) යාවත්කාලීන කිරීමේ මාර්ගයක් නොමැත.
වැදගත් නිරීක්ෂණ
- Sigmoid: S‑ආකාරයේ වක්රය, නමුත් අති විශාල ධනාත්මක/නෙගටිව් අගයන්හි ඩෙරිබේටිව්ස් ශුන්යයට ආසන්නවී, මෙය vanishing gradient ගැටළුවට හේතුවේ.
- Tanh: Sigmoid වගේමයි, නමුත් ප්රතිඵලය 0 කට ආසන්නව, gradient‑වල සමාන වාත්තු ලබා දී optimization පහසු කරයි.
- ReLU: f(x)=max(0,x) ලෙස සරලයි. ඩෙරිබේටිව්ස් 0 (නෙගටිව්) සහ 1 (ධනාත්මක) අතර වෙනස් වීම නිසා ගැඹුරු ජාලවල ඉගෙනීම වේගවත් වේ.
- Leaky ReLU: ReLU හි නෙගටිව් පාර්ශවයේ gradient 0 වන ගැටලුව විසඳා, සුළු ධනාත්මක ස්ලෝපයක් (0.01) එක් කරයි.
- Softmax: එකම අගයක් නොව, පූර්ණ vector එකක් probability වලට පරිවර්තනය කරයි. එක් අගයක් වෙනස් වීම අනෙකුත් සියලු probability වලට බලපාන නිසා එය සරල වක්රයක් ලෙස පෙන්වන්නේ නැත.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලාංකීය විද්යාල, විශ්වවිද්යාල සිසුන්ට activation functions සහ ඒවායේ derivatives පිළිබඳ ගැඹුරු අවබෝධයක් ලැබීම, AI පර්යේෂණ සහ මෘදුකාංග සංවර්ධනයේ පදනම වශයෙන් වැදගත්. Python භාවිතයෙන් කෝඩ් ලියමින් gradient descent, back‑propagation ආදිය අත්හදා බැලීම, TensorFlow, PyTorch වැනි ගොඩනැගිලි වලට යාමට පෙර මූලික ගණිතය හොඳින් අධ්යයනය කිරීමට අවස්ථාව සලසයි. තවත් එක් පාර්ශවයක් වශයෙන්, ශ්රී ලංකාවේ තාක්ෂණ ආරම්භක (startup) සමාගම් නව AI නිෂ්පාදන හෝ predictive analytics ක්රමලේඛ නිර්මාණය කරන විට, මූලික activation function තේරීම හා gradient flow කළමනාකරණය නිසා මෝඩලයේ කාර්යක්ෂමතාවය ඉහළ යයි.
ඉදිරියේදී, මෙම මූලික සංකල්පයන් උදෙසා පූර්ණයෙන්ම කෝඩ් ලියන neural network එකක් නිර්මාණය කිරීම, ශ්රී ලාංකීය තාක්ෂණික පරිසරය තුළ AI කුසලතාවය වර්ධනය කරයි.
අද දිනයේදී activation functions හා ඒවායේ derivatives අතර සම්බන්ධය පැහැදිලි වීම, නවකයින්ට AI ගැඹුරු ඉගෙනීමට හොඳ පදනමක් සපයයි.
