LLM (Large Language Model) සේවා වල Prompt cache යනු පළපුරුදු තාක්ෂණයක් වන අතර, ඒකෙන් පළමු ටෝකන් (TTFT) වේගය 85% දක්වා අඩු කරයි. නමුත් මේ වේගය අඩු කිරීමේ පසුබැසීමක් ලෙස, ආක්රමණිකයන්ට cache‑hit සහ cache‑miss අතර කාල වෙනස මැනීමෙන් රහස්ය දත්ත හෙළි කරගැනීමට හැකියාවක් ලැබේ. Aryan P. විසින් නිර්මාණය කළ CacheGuard නම් මධ්යම මෘදුකාංගය මේ ගැටළුවට විසඳුමක් ලබා දේ.
කොහොමද මෙය වැඩ කරන්නේ? CacheGuard Python මධ්යම මෘදුකාංගයක් වන අතර, ඔබේ යෙදුම සහ LLM API අතර පහලින් ඉදිරිපත් කරයි. එය httpx.post ක්රමය අත්පත් කර, සෑම ඉල්ලීමකම TTFT මැනීම, කාල විචලනය විශ්ලේෂණය, Kolmogorov‑Smirnov පරීක්ෂණය සහ Trie‑කොටස භාවිතා කර Prefix entropy පරීක්ෂා කිරීම සිදු කරයි. මේ සියලු තොරතුරු OpenTelemetry මගින් SigNoz වෙත යවා, රියල්‑ටයිම් දෘශ්ය පුවරුවක් ලබා දෙයි.
කාල‑පැතිකඩ ආක්රමණයක් හඳුනාගත් පසු, CacheGuard ක්රියාත්මක වන ආරක්ෂණ පියවර තුනක් ගනී:
- Adaptive Jitter – 50‑500ms අතර රැඳී ඇති සන්සුන් කාලය එකතු කර, cache‑hit හා cache‑miss අතර වෙනස අගුලු දමා දේ.
- Cache Bypass – සැකකාරී ඉල්ලීමකට නවයෙන්ම ප්රතිඵල ජනනය කර, කාල‑සංඛ්යාතය පූර්ණයෙන්ම මකා දේ.
- Tenant Isolation – ප්රතිකාරකයාගේ සෙසු සැසියක් වෙනම cache‑salt එකක් ලබා, වෙනත් පාරිභෝගිකයන්ගේ cache දත්තට ප්රවේශය අවහිර කරයි.
මෙම ආරක්ෂණ ක්රමවේදය මනෝභාවයෙන් “monitor → jitter → bypass → isolate” ලෙස පියවර ගනී, ඒ නිසා ආක්රමණිකයාට තවදුරටත් ප්රතිලාභයක් ලබා ගැනීමට ඉඩ නොදේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණික ආයතන, විශ්වවිද්යාල සහ startup කණ්ඩායම් AI‑අධාරිත සේවා භාවිතා කරන විට, Prompt cache ආරක්ෂාව අත්යවශ්ය වේ. CacheGuard භාවිතා කරමින්:
- ආයතනික රහස්ය දත්ත (උදා: ව්යාපාරික සැලසුම්, පාරිභෝගික සංවාද) කාල‑පැතිකඩ මඟින් හෙළි වීමේ අවදානම අඩු කරයි.
- සිංහල AI නිර්මාණකරුවන්ට නිදසුන් සපයමින්, ආරක්ෂිත පරිසරයක් තුළ නව AI යෙදුම් සංවර්ධනයට හැකියාව ලැබේ.
- වෙළඳපොළේ ගනුදෙනුකරුවන්ගේ විශ්වාසය ඉහළ යාමෙන්, ශ්රී ලංකාවේ AI‑අපනයන ව්යාපාරවලට අන්තර්ජාතික තරගකාරිත්වයක් ලබා දේ.
කෙටි වශයෙන්, CacheGuard LLM cache ආරක්ෂා කරමින්, ශ්රී ලංකාවේ AI පද්ධතිවල විශ්වාසනීයතාවය, පාරිභෝගික රහස්යතාවය සහ වාණිජ සාර්ථකතාවය වර්ධනය කරයි.
ඉදිරියට, SigNoz සමඟ එකතු කරගත් මෙවලමක් ලෙස CacheGuard, AI ආරක්ෂණ ක්ෂේත්රයේ නව මාර්ගයක් සොයාගෙන, දේශීය හා ගෝලීය තාක්ෂණික ප්රජාවට ආරක්ෂිත, වේගවත් AI සේවා සැපයීමට උපකාරී වේ.
