LLM (Large Language Model) ඉන්ෆරන්ස් ක්ලස්ටර වල KV Cache ගබඩා කිරීමේ ප්රධාන අඩුපාඩුව අඩු ගොඩනැගිල්ලේ ගබඩා මාධ්යය නොව, ජාල පටිපාටියයි. Mingxin FX100 නවතම අලූත්ම NVMe‑oF ඇරේ එක, එක 100GbE පෝට් එකෙන් 90% ලයින්-රේට් (ආසන්න 11.25 GB/s) පරිමාණයක් ලබාදී, ජාලය තවත් බාධාවක් නොවී යන තත්වය පෙන්වා දෙයි.
මෙම පරීක්ෂණ වලදී, FX100 එකේ සම්පූර්ණ වේගය සීමා කරන ලද PCIe Gen4 NVMe ඩ්රයිව් එකක 6‑7 GB/s පමණ වගකීමට වඩා 60‑80% වැඩි වේගයක් ලබා ගැනීමට හැකි වුණා. එම නිසා KV Cache හෝ මොඩල් බරක් බාගත කිරීමේදී, ජාලයේ ප්රතිපලය තදින්ම අඩු කර, vLLM වැනි ඉන්ෆරන්ස් පද්ධති වල පළමු ටෝකන් (TTFT) කාලය ස්ථානීය NVMe සමඟ සමාන වශයෙන් අඩු වුණා.
LMCache පරාලික කියවීම් සමඟ එක්ක FX100 භාවිතා කරද්දී, 16 ක සමාන්තර ඉල්ලීම් වල TTFT 37.9 s සිට 9.3 s දක්වා අඩු වුණා. ඒත් එක්ක, බ්රෝඩ්බෑන්ඩ් 0.98 GB/s සිට 5.23 GB/s දක්වා 5 ගුණයක් වැඩි වුණා. මෙය LMCache එකේ බහු-තන්තුවකින් එකවර කියවීම් කරන හැකියාව, හා FX100 එකේ 90% ලයින්-රේට් භාවිතය එකට ඒකාබද්ධව වැඩ කරන්නේ නිසාය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ AI සංවර්ධකයින්, පර්යේෂකයින්, සහ ව්යාපාරිකයින් සඳහා මෙම තාක්ෂණය පහත ආකාරයෙන් ප්රයෝජනවත් වේ:
- වඩා ඉක්මන් මොඩල් ප්රතිචාර – දේශීය සර්වර් හෝ කලාපීය ඩේටා සෙන්ටර් වලදී, KV Cache නෙට්වර්ක් බාධාවක් නොමැතිව, AI සේවාවන් වේගවත් කරයි.
- වියදම් ඉතිරි කිරීම – උසස්‑වේගයේ GPU මත මතකය සීමා වන නිසා, බාහිර NVMe‑oF ගබඩා භාවිතයෙන් GPU මතකය අඩු කර, හාර්ඩ්වෙයා වියදම අඩු කරයි.
- ඉගෙනීමේ අවස්ථා විහිදුම් – විශ්වවිද්යාල හා පුහුණු ආයතනවල LLM පරික්ෂණ සඳහා, ජාල බාධාවක් නොමැතිව විශාල කන්ටෙක්ස්ට් ලෝඩ් කරගත හැකි වන නිසා, අධ්යයන කුසලතා වර්ධනය වේ.
ඉන්ෆරන්ස් ක්ලස්ටර වල ජාල බාධාව ඉවත් කිරීම, AI යෙදුම් වල පරිශීලක අත්දැකීම ඉතා ඉහළ කරයි. Mingxin FX100 වැනි උපාංග, ශ්රී ලංකාවේ තාක්ෂණික ආර්ථිකයට නව ගමනක් ගෙනෙනවා.
ඉදිරියට, ජාල‑කේන්ද්රිත ගබඩා විසඳුම් වල තවත් නවෝත්පාදන අපේක්ෂා කරමින්, AI ක්ෂේත්රයේ ශ්රී ලංකා තත්ත්වය වැඩි දියුණු කර ගැනීමට අවස්ථා සලසා ඇත.
