ඔබ කල්පනා කරලා බලන්න, රොබෝවෙකුට ග්රිඩ්වර්ල්ඩ් එකේ 16 කොටස් පමණක් නොව, වීඩියෝ ගේම් එකක පිකසල් ගණනාවක් දැන ගැනීමට අවශ්ය නම්? එවැනි විශාල state space එකකට Q‑Table එකක් භාවිතා කරන්නේ අසීරුයි. මේක අභියෝගයට පිළිතුරක් ලෙස DeepMind විසින් හඳුන්වාදුන් DQN (Deep Q‑Network) පද්ධතියයි. අද දවසේ පළවෙනි ලිපියෙන්, Q‑Table එකට වඩා නියමිත neural network එකක් යොදාගෙන කෙසේ RL (Reinforcement Learning) වැඩිදියුණු කළාද කියලා බලමු.
Q‑Table එකේ සිට Neural Network එකට මාරු කිරීම සරලයි. Q‑learning හි q_value = q_table[state, action] ලෙස state‑action යුගලය සඳහා සෘජු අගයක් ලබා ගන්නා අතර, DQN හි q_values = neural_network(state) ලෙස නව state එක neural network එකට දී සියලු actions සඳහා Q‑value එකක් ලබා ගනී. Bellman සූත්රය, epsilon‑greedy තත්ත්වය, training loop වැනි සියලුම ක්රමවේදය ඒකම තැන තබා, එකම වෙනස නම් “lookup” එක neural network forward pass එකක් බවයි.
Neural network එකේ විශේෂත්වය නම් generalisationයි. Q‑Table එකට පසුගිය state එකක් නොමැති නම් ඒ state‑ය පිළිබඳව කිසිදු තොරතුරක් නැත, නමුත් network එක සමාන ලක්ෂණ සහිත state ගොඩක් “කියලා” ඉගෙන ගනී. එමනිසා, හෝල් එකට ආසන්න state 3,7,11 වැනි අමුත්තන්ටත් යුක්තියෙන් Q‑value එකක් අනුමාන කර ගත හැකිය.
DeepMind විසින් DQN ක්රියාත්මක කිරීමේදී මුහුණ දුන් ප්රධාන ගැටලු දෙකක් තිබුණි: correlated samples සහ moving targets. RL පරිසරයේ අනුක්රමික transition ගොඩක් එකිනෙකට සම්බන්ධිතව ඇති නිසා, data එක shuffle නොකළහොත් network එක එකම දෘශ්යයක් මත අතිශය අධිකව අලුත් කරයි. මෙයට විසඳුමක් ලෙස Experience Replay buffer එකක් භාවිතා කර, random batch එකක් ගෙන training කරයි. දෙවන ගැටලුව වන target network එකේ අස්ථාවරතාවය සඳහා, Target Network යෙදුම භාවිතා කර, online network එකේ weights 100 steps පසු target network එකට copy කරයි. මෙය Bellman target එක ස්ථිර කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම තාක්ෂණය ශ්රී ලංකාවේ තාක්ෂණික ශිෂ්යයන්, සංවර්ධකයන්, ව්යාපාරිකයන් සඳහා විශාල අවස්ථාවක්. පළමු වරට, විශාල state space එකක් ඇති ගේම් හෝ robotics project එකක් සිදු කරන විට Q‑Table එකක් භාවිතා නොකර neural network එකක් මඟින් ඉක්මනින් ප්රතිඵල ලබා ගත හැකිය. දෙවැනි වශයෙන්, experience replay සහ target network යන මූලික අදහස් RL කෝඩ්බේස් එකේ සම්මත අංග ලෙස පවතින නිසා, ලොව පුරා අධ්යයන කේන්ද්රවලට අනුකූල curriculum එකක් සකස් කර ගත හැකිය. තෙවැනි වශයෙන්, JAX වැනි high‑performance library එකේ නවතම API භාවිතයෙන්, ශ්රී ලංකාවේ තරුණයන්ට AI research ක්ෂේත්රයේ අන්තර්ජාතික තරඟවලට සහභාගී වීමේ හැකියාව ලැබේ.
අවසන් වශයෙන්, DQN මඟින් reinforcement learning ක්ෂේත්රයට නව ගමනක් ඇරඹේ. Q‑Table එකේ සීමා ඉක්මවා, neural network එකේ generalisation ශක්තියෙන්, අපගේ AI යෙදුම් අනාගතයේත් තවත් දියුණුවත්, ප්රයෝජනවත් වීමට ඉඩ සලසයි.
