GenAI යෙදුම් රැසක් එකම පරිසරය, එකම නීති, එකම සංවාද ඉතිහාසය නැවත නැවත කියවීමට ගාස්තු සහ කාලය ගත කරන්නේ ඔබටත් දැකලා තියෙනවාද? මෙය pre‑fill කියන අදියරේ සිදුවන අතර, ඒ නිසා කලාප බිල්පත් ඉහළ යයි, පරිශීලකයාට පිළිතුර ලැබීමට කාලය වැඩි වේ.
Amazon Bedrock Prompt Caching කෙටි විස්තරය
Amazon Bedrock විසින් Claude 4.6 (Sonnet 4.6 සහ Opus 4.6) සඳහා හඳුන්වාදුන් Prompt Caching තාක්ෂණය මේ ගැටලුව සම්පූර්ණයෙන්ම නාස්ති කරයි. මූලික අදහස වන්නේ, ඔබගේ ස්ථාවර පණිවුඩ (උදාහරණයක් ලෙස 2,000‑වචන කාර්ය මාර්ගෝපදේශය) එකවර ගණනය කර, GPU මත KV cache ලෙස සුරකින්නය. ඒ පසු, එම cache‑ය භාවිතා කරමින් අලුත් API ඇමතුමක් පැමිණෙන විට, Bedrock එම cache‑ය හඳුනාගෙන, නැවත pre‑fill පියවරක් නොකර, සෘජු ලෙස GPU‑යට යොමු කරයි.
මෙම ක්රියාවලිය මගින් ඉන්පුට් ටෝකන් 90%ක් පමණ අඩුවීම සහ ප්රතිචාර වේගය 85%ක් අඩුවීමක් ලැබේ. AWS Bedrock හි රවුටරය ඔබගේ පණිවුඩය හෑෂ් කර, සුරක්ෂිත fingerprint එකක් තබා, ඒ fingerprint එකට ගැලපේ නම් cache‑ය සක්රිය කරයි. එය වීඩියෝ ගේම් එකක් Level 1 සිට නැවත ආරම්භ කිරීම වෙනුවට “Save Game” එකක් ලෝඩ් කිරීම වගේය.
Cache භාවිතයේ මූලික නීති
- Token සීමා: Sonnet 4.6 සඳහා අවම වශයෙන් 1,024 token, Opus 4.6 සඳහා 4,096 token අවශ්ය.
- TTL (Time‑To‑Live): Cache 5 මිනිත්තුකාලයක් සක්රියයි; නව ඇමතුමක් එන විට ඒ කාලය නැවත ආරම්භ වේ.
- ක්රමලේඛය: ස්ථාවර උපදෙස් පළමුව තබා, cache‑point එක තැබීමෙන් පසු, වෙනස් වන පරිශීලක පණිවුඩය අවසානයේ එකතු කරන්න. කුඩා අක්ෂරයක් හෝ ඉඩක් වෙනස් වුවහොත් cache බිඳේ.
Python (Boto3) භාවිතයෙන් Prompt Caching ක්රියාත්මක කිරීම
Bedrock හි Converse API භාවිතා කරමින්, cache‑point එක system configuration අග දක්වා තබා, ඔබගේ ස්ථාවර නියෝග freeze කර, පරිශීලක සංවාදය ස්වෙච්ඡා ලෙස දිගු කරගත හැක. උදාහරණයක් ලෙස, boto3.client("bedrock-runtime") මඟින් client එකක් සකසා, model ID ලෙස anthropic.claude-sonnet-4-6 යොදා, 1,024 token කට වැඩි system prompt එක නිර්මාණය කර, {"cachePoint": {"type": "default"}} මාර්ගයෙන් cache‑point එක සකස් කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
- විශ්වවිද්යාල සිසුන්ට AI පර්යේෂණයේ ගාස්තු අඩු කර, වැඩි පරිමාණ ප්රෝජෙක්ට් කරගැනීමට අවස්ථාව.
- ලොකලේ තාක්ෂණික සමාගම්ට කලාප වියදම් 90%කින් අඩු කර, ස්ථානීය සේවාදායකයින්ට වේගවත් පිළිතුරු ලබා දීමට හැකියාව.
- ශ්රී ලංකාවේ startups සඳහා AI‑powered chatbots, virtual assistants, සහ data‑analysis tools වැනි සේවා ඉක්මනින් වර්ධනය කරගැනීමට නව මාර්ගයක්.
මෙම නවීන cache තාක්ෂණය ඔබගේ AI යෙදුම්වල කාර්යක්ෂමතාව වැඩි කර, පිරිවැය ඉතිරි කර, පරිශීලක අත්දැකීම වඩාත් හොඳ කරයි. දැන්ම ඔබේ ව්යාපෘතියට Prompt Caching එක් කර, තරගකාරී AI වෙළඳපලේ ඉදිරියට යන්න.
