සමීප මාස කිහිපයක් තුළ, AI ඉන්ෆරෙන්ස් එකක් GPU එකේ මතකයට ගැළපෙන්නේද කියලා පරීක්ෂා කරන කෙනෙක්, UGR (AI Runtime Operating System) නමැති නව ව්යාපෘතියක් නිර්මාණය කර ඇත. මෙය මූලික අදහසක්: "මොඩලයක් පූර්ණයෙන් GPU මතකයට ගොඩගැසීමට බලාපොරොත්තු වීම" වෙනුවට, මොඩලයේ කොටස් වෙන්ව මතක තට්ටු අතර ගමන් කරවීමයි.
ඇත්තෙන්ම, ලොකු LLM (Large Language Model) එකක් ධාවනය කිරීමේදී බොහෝ සංවර්ධකයින්ට “CUDA Out of Memory” දෝෂය මතු වෙයි. සාමාන්යයෙන් මෙයට විසඳුමක් ලෙස වැඩි VRAM සහිත GPU එකක් මිලදී ගැනීමේ යෝජනාවක් දක්වයි. නමුත් UGR, ලැම්මා.cpp, Ollama, TensorRT-LLM වැනි වත්මන් ඉන්ෆරෙන්ස් එන්ජින්වලට අමතරව, ඔබේ හාර්ඩ්වෙයා පරිසරය අනුව කාර්යය සැලසුම් කරන OS එකක් ලෙස ක්රියා කරයි.
UGR එකේ මූලික ව්යුහය මෙහෙමයි: Application → OpenAI‑compatible API → Planner → Runtime Intelligence Engine → Scheduler → Virtual Resource Manager → Adaptive Memory Fabric → Driver Abstraction Layer → backend (llama.cpp / TensorRT / Vulkan). මෙයින් backend එක වෙනස් කළ හැකි අතර, මොඩලයේ tensors, KV cache, MoE experts, embeddings, LoRA adapters, execution state වැනි සම්පත් වෙනත් මතක තට්ටු (VRAM, RAM, NVMe, දුරස්ථ ගබඩා) අතර ගමන් කරයි.
මෙම පද්ධතියේ විශේෂත්වය, මොඩලය VRAM එකට ගැලපෙන්නේද යන්න පරීක්ෂා කිරීමේ වෙනුවට, “මෙම සම්පත් හාර්ඩ්වෙයා පරිසරයට අනුව කොහොම හොඳින් වෙන්විය හැකිද?” යන ප්රශ්නයට පිළිතුරු දෙයි. එමඟින් පරණ GPU (උදා: 4 GB Quadro) හෝ මිශ්ර පද්ධති භාවිතා කරන සංවර්ධකයින්ටද AI ධාවනයේ නව අවස්ථා ලැබේ.
UGR හි Simulation Engine මඟින් මොඩලය ධාවනය කිරීමට පෙර මතක අවශ්යතා, throughput, bottleneck, scheduler තේරීම් වැනි කරුණු අනුමාන කරයි. මෙයින් “කැමති මතකය නොමැතිව” ආරම්භ කිරීමට අවශ්ය වේලාව අඩු වේ.
වත්මන් තත්ත්වය: UGR තවමත් පර්යේෂණ මට්ටමේ පවතින අතර, multi‑backend runtime, GGUF parser, adaptive memory fabric, virtual resource manager, OpenAI‑compatible API, hardware detection CLI, model registry වැනි මූලික කොටස් ක්රියාත්මකයි. TensorRT, Vulkan backend, MoE paging, simulation engine වැඩිදියුණු කිරීම වැනි වැඩ තවමත් සංවර්ධනය වෙමින් පවතී.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ විශ්වවිද්යාල සිසුන්, ස්වයංක්රීය ආරම්භකයන්, සහ කුඩා IT සමාගම් සඳහා UGR ගෙන එන ප්රතිලාභ:
- පරණ GPU හෝ මිශ්ර පරිසර වලත් AI මොඩල ධාවනයේ හැකියාව.
- මතක කළමනාකරණය ස්වයංක්රීය කිරීමෙන් පරිසර පිරිවැය අඩු වීම.
- විවිධ backend (llama.cpp, TensorRT, Vulkan) අතර සෙලවීමේ නිදහස, එමඟින් පද්ධතියේ පරිවර්තනය වැඩි වීම.
- Simulation engine මඟින් මොඩලය ධාවනයට පෙර සැලසුම් කරගැනීම, වැරදි අවස්ථා අඩු කිරීම.
අවසානයේ, UGR වැනි විවෘත මූලාශ්ර ව්යාපෘති, ශ්රී ලංකාවේ AI පර්යේෂණය සහ නිෂ්පාදන ක්ෂේත්රය තවත් සාර්ථක කරගැනීමට මඟ පෙන්වයි. ඔබේ පරිගණක පරිසරය කුමන තත්ත්වයකත්, AI තාක්ෂණය භාවිතා කිරීමේ අභියෝග අඩු කර ගැනීමට මේ ව්යාපෘතිය උදව් කරයි.
