ඔබේ පෞද්ගලික AI අසීස්ටන්ට් එකේ මතකය වැඩි වීමේදී, එය වැඩිමට කාර්ය සාධනය අඩු වීමත් සමඟ පණිවුඩයන් නැවත නැවත කියා දෙයි. මේ ගැන මෑතකදී මම පරීක්ෂා කරමින්, ස්ථානීය මොඩලයක් (Qwen3‑4B‑4bit) භාවිතා කරමින් මෙම ගැටලුවට විසඳුම් සොයාගත්තේය.
පළමු උත්සාහයේ, පැරණි මතක පද්ධතිය සම්පූර්ණ සංවාද ඉතිහාසය ගොඩක් සුරකිමින්, ඒවා ප්රොම්ප්ට් එකට නැවත ඇතුළත් කරමින් ක්රියාත්මක විය. මෙය හෝස්ට් කරන මොඩල වලදී හොඳින් පණගැන්වුණත්, ස්ථානීය මොඩලයට 196 පණිවුඩ පසු වුවමනා පරිදි පණිවුඩයන් පිරිපහදු කරමින්, “පෙර පිළිතුරු” පමණක් නැවත කියා දී, පරිශීලක අත්දැකීම අඩුවීමක් සිදු විය.
මතකය දෙකකට බෙදාගැනීම – මෙම ගැටලුවට විසඳුම් ලෙස, මතකය කෙටි කාලීන සහ දීර්ඝ කාලීන ලෙස වෙන් කර ඇත. කෙටි කාලීන සංවාද තත්ත්වය RAM තුළ පවත්වා, පරිශීලක කාලය 2 පැය ඉක්මවා ගියොත් හෝ 200 පණිවුඩ ඉක්මවා ගියොත් ඒ මතකය මකා දමයි. මෙය “session_memory” සහ “_last_activity” වැනි පාරමිතිකයන් මගින් කළමනාකරණය වේ.
දීර්ඝ කාලීන මතකය නම්, සම්පූර්ණ සංවාද ලොග් නොව, පරිශීලකගේ අභිරුචි, පුද්ගලික තොරතුරු, උපාංග, නැවත නැවත සිදුවන ක්රියාකාරකම් වැනි 30 ක් පමණ සීමා කළ තොරතුරු ලැයිස්තුවක් ලෙස සුරකිනවා. මෙම තොරතුරු පිළිබඳව _FACT_EXTRACTION_PROMPT භාවිතයෙන් පසුගිය සංවාදයෙන් ස්වයංක්රියව ලබා ගනී, හා එය පසුබැසීමේ ත්රෙඩ් එකක ක්රියාත්මක වේ.
දීර්ඝ කාලීන තොරතුරු සකස් කිරීම සඳහා මම හෝස්ට් කරන මොඩලයක් භාවිතා කරමි. මෙය ප්රතිචාර වේගය කෙටි කාලීන මොඩලයට වඩා මන්දගාමී වුවද, තත්වය නිවැරදිව නියම කිරීම සඳහා වැදගත් වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සංවර්ධකයින්, ව්යාපාරිකයින් සහ සිසුන්ට මේ ක්රියාන්විතය විශාල ප්රයෝජන ගෙනදෙයි. පළමුව, ස්ථානීය AI මොඩල භාවිතයෙන් අන්තර්ජාල සම්බන්ධතාවයක් නැතිවත් AI සේවාවන් ලබා ගත හැකි බැවින්, දුරස්ථ ප්රදේශවල දත් තාක්ෂණය ප්රවේශය වැඩි වේ. දෙවැනිය, මතක කළමනාකරණය සරල කිරීමෙන් පද්ධතියේ සම්පත් (RAM, CPU) ඉතිරි වෙයි, එම නිසා කුඩා සර්වරයන් හෝ මැක් මිනි පරිසරයන්හිද ඉහල කාර්ය සාධනයක් ලබා ගත හැක. තෙවැනිය, Python‑මත පදනම් වූ මෙම විසඳුම, දේශීය විශ්වවිද්යාල සිසුන්ට LLM, vector database, threading වැනි නවතම තාක්ෂණයන් ඉගෙන ගැනීමට හොඳ උදාහරණයක් වේ. අවසානයේ, මෙම ක්රමවේදය ශ්රී ලංකාවේ AI ආරම්භක ව්යාපාරයන්ට මතක‑පිරිවැය අඩු කර, නිෂ්පාදන වේගය වැඩි කර, ගනුදෙනුකරුවන්ට වඩා හොඳ අත්දැකීමක් ලබා දීමට උපකාරී වේ.
කෙටි කාලීන මතකය පිරිසිදු කර, දීර්ඝ කාලීන තොරතුරු සාරාංශ කර ගන්නා මෙම නව පද්ධතිය, ස්ථානීය AI අසීස්ටන්ට්වල “මතක බර” ගැටළුවට සාර්ථක විසඳුමක් බවට පත්ව ඇත. ඔබත් මෙවැනි තාක්ෂණික නවීකරණයන් ඔබේ ව්යාපාරය හෝ පර්යේෂණයට එක් කර බලන්න.
