AI ඒජන්ට්ස් දිගු කතාබහකින් පසු මොඩලයේ context window අතික්රමණය වෙලා අත්හිටුවීම සාමාන්ය ගැටලුවක්. xAI විසින් Grok 4.5 සඳහා context‑compaction endpoint එකක් නිකුත් කරලා, එය නිසි වේලාවට කැඳවලා ප්රතිඵලය ආපසු දාන්න අවශ්ය වෙයි. මේ වැඩේ සරල කරලා දෙන්න grok-loop-kit නමැති npm සහ pip පැකේජ් එක නවතම විසඳුමක්.
ඇයි මේ වැදගත්?
පරණ පද්ධතිවල, එක් එක් පණිවිඩයක් එක්ක POST /v1/responses අමතා, කතාබහ දිගටම ගොඩනැගෙයි. කතාබහ token ගණන ඉහල යද්දී, මොඩලය පසුබැසීමක් හෝ අසාර්ථකත්වයක් දක්වයි. grok-loop-kit මේ ගැටලුවට විසඳුමක් – එක් එක් තරඟය පසු compactEvery හෝ compactAtTokens සීමා ඉක්මවන විට POST /v1/responses/compact අමතලා, පරණ සංවාදය සංග්රහිත (compact) කරයි. ප්රතිඵලය {"type":"compaction","id":"...","encrypted_content":"..."} ලෙස ලබා දෙන අතර, එය ඊළඟ ඉල්ලීමේ input එකට වෙනස් නොකර තබා යුතුය. මෙය වැරදි නම්, තොරතුරු අහිමි වීම හෝ වාර්තා දෝෂයක් සිදුවේ.
කොහොම ක්රියා කරන්නේ?
Node.js හෝ Python පරිසරයක npm install grok-loop-kit / pip install grok-loop-kit කරගෙන, පහත පරිදි client එකක් නිර්මාණය කළ හැකිය:
- ආරම්භකයෙහි API key සහ
compactEvery,compactAtTokensවැනි සැකසුම් සකසන්න. - පරිශීලක පණිවිඩයක්
client.sendMessage()න් යොමු කරලා, ප්රතිචාරය හා compaction තොරතුරු (turnsSinceCompact, estimatedTokensSaved, totalCompactions) ලබා ගන්න. - Compaction සිදුවූ විට, එම encrypted_content පණිවිඩය මඟින් transcript එක නැවත ගොඩනඟා ගැනේ.
මෙම ක්රියාවලිය LangGraph, LangChain වැනි framework සමඟත් සම්බන්ධ කරගත හැක. GrokLoopChatModel එක BaseChatModel එකක් ලෙස ක්රියා කරන අතර, LangChain 1.x හි ChatOpenAI subclass වල අඩුපාඩු වලින් තොරව සෘජුයෙන් භාවිතා කළ හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ආරම්භකයන්, විශ්වවිද්යාල සිසුන්, සමාගම් සම්බන්ධීකරණය කරන AI chat‑bot හෝ automation සේවා නිර්මාණය කරන කෙනාට මේ උපකරණය විශාල වාසියක් ලබා දෙයි.
- ඉදිරියට ගමන් කරන සංවාද – දිගු කතාබහක් තිබූ විටත් token සීමාව අඩුවීමෙන් පසු, බොට් එක තවත් නව තොරතුරු අමතක නොකරයි.
- වැඩි කාර්යක්ෂමතාව – compaction මගින් සංවාදය කුඩා ගොනුවක් ලෙස පවත්වා, API පිරිවැය හා latency අඩු වේ.
- ඉගෙනීමේ හැකියාව – Python, Node.js පරිසරයේ සරල install එකක් පමණක් අවශ්ය, එමනිසා තාක්ෂණික පසුබැසි නොමැති සංවර්ධකයන්ටත් ඉක්මනින් අරඹන්න පුළුවන්.
ඒ නිසා, ශ්රී ලංකාවේ AI‑driven සේවා, chatbot, සහ data‑analysis ව්යාපෘතිවලදී Grok‑Loop‑Kit භාවිතා කිරීම, ගුණාත්මක සේවාවක් ලබා දීමට සහ ගාණු අඩු කිරීමට හොඳම මාර්ගයක් වේ.
අවසන් වශයෙන්, Grok 4.5 සඳහා context‑compaction අන්තර්ජාල API එක නිවැරදිව භාවිතා කරන්නේ නම්, ඔබේ AI ඒජන්ට්ස් දිගු කාලීනව, නිරවද්යව, සහ ඉක්මනින් ප්රතිචාර දීමට හැකිවෙයි. මෙය open‑source MIT licence යටතේ ලබා දෙන නිසා, ඔබේ ව්යාපෘතියේ අභ්යන්තරයට සකස් කරගත හැක.
