ජර්මනියාවේ ප්රසිද්ධ සර්වර් සපයන්නා Hetzner, දැන් තමමගේ පරිසරය තුළ LLM (Large Language Model) ඉන්ෆරන්ස් සේවාවක් පරීක්ෂා කරනවා. මෙය නිල වශයෙන් ගිණුම්, SLA හෝ නිෂ්පාදන සහතිකයක් නොමැති, පූර්ණයෙන්ම පරීක්ෂණ අදියරේ සිටින නිෂ්පාදනයක් වන අතර, පරිශීලකයින්ගේ ප්රතිචාර මත පදනම්ව වැඩිදියුණු කිරීමට උත්සාහ කරනවා.
Hetzner Inference කියන්නේ OpenAI‑compatible API එකක්, එය Hetzner හිමිකම් පවත්වාගෙන යන පරිගණක මූලික පද්ධතියේ ක්රියාත්මක වේ. පරිශීලකයා Experiments පුවරුවෙන් API ටෝකනයක් ලබාගෙන, OpenAI client එකක් Hetzner හි base URL එකට සම්බන්ධ කර, සාමාන්ය OpenAI API වගේම භාවිතා කළ හැකිය. මේ මොහොතේ පවතින එකම මොඩලය Qwen/Qwen3.6-35B-A3B-FP8, 35 බිලියන පරාමිතීන් සහිත Mixture‑of‑Experts වර්ගයකි, 3 බිලියන ක්රියාත්මක පරාමිතීන් සහ 262K කෝන්ටෙක්ස්ට් වින්ඩෝ එකක් ඇත. එම මොඩලය පෙළ හා රූප දෙකම පිළිගෙන, FP8‑quantized බර භාවිතා කරයි.
API එක OpenAI‑compatible බැවින්, කේතයක් ලිවීම ඉතා සරලයි. pip install openai කර, base_url සහ api_key සදහන් කර, chat/completions endpoint එකට ඇමතුම් කරන්න. අමතරව enable_thinking වැනි විකල්පයක් ද ලබා දිය හැකි අතර, එය මොඩලය තීරණාත්මක පිළිතුරක් ලබා දීමට පෙර විශ්ලේෂණ කාලය අඩු කරයි.
ලේඛකයාගේ පරීක්ෂණ අනුව, සෑම ඉල්ලීමක්ම 150 ms ක්රමයෙන් පළමු ටෝකනය ලබා දුන්නා, 512 ටෝකන් පරිමාණයේ උත්පත්තියක් 224 token/s වේගයෙන් සම්පූර්ණ කළා. රූප ඇතුළත් ඉල්ලීම් හොඳින් ක්රියා කළත්, සරල ගණිත ප්රශ්න දෙකක් අසමත් වුණා. ඒ අනුව, මෙය “කුඩා, තවත් සුළු දෝෂ සහිත LLM” ලෙස ගණනය කළ හැක.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම පරීක්ෂණය ශ්රී ලංකාවේ AI සංවර්ධකයින්ට, විශ්වවිද්යාල සිසුන්ට, සහ තාක්ෂණික ව්යාපාරිකයන්ට විශාල අවස්ථාවක් ලබා දෙයි:
- අඩු මිලකට GPU සම්පත් – Hetzner හි ඉතා සාර්ථක GPU මිල ගණනක්, අපේ පරිසරයේ AI පරීක්ෂණ ව්යාපෘති සඳහා පිරිවැය අඩු කරයි.
- OpenAI‑compatible API – ලොව පුරා භාවිතා වන OpenAI SDK සමඟ සම්බන්ධ වීම නිසා, දැනටමත් තිබෙන කේත පදනම වෙනස් කිරීමේ අවශ්යතාවයක් නොමැත.
- ප්රායෝගික අත්දැකීම් – ශ්රි ලංකාවේ තාක්ෂණ පාඨමාලා, වැඩමුළු, හෑක්තොන් ආදීන්හි Qwen වැනි නවතම මොඩලය අත්හදා බැලීමට හැකියාව ලැබේ.
- ස්ථානීය සේවාදායකත්වය – Hetzner ඉදිරි කාලයේ ශ්රී ලංකා දත්ත මධ්යස්ථානයක් හෝ edge සේවා ආරම්භ කළහොත්, latency අඩුවීමෙන් වෙළඳපොළ අවශ්යතා ඉටු කළ හැක.
ඉදිරියේදී Hetzner මෙම පරීක්ෂණය අධික පරිශීලක ප්රමාණයට විහිදුනු සේවාවක් බවට පත් කළහොත්, ශ්රී ලංකාවේ AI පර්යේෂකයින්ට, ආරම්භක ව්යාපාරිකයින්ට, සහ සමාජික සංවිධානවලට අන්තර්ජාලය මත ඉහළ තත්ත්වයේ LLM සේවා ලබා ගැනීමට නව මාර්ගයක් විවෘත වේ.
අදට Hetzner Inference පරීක්ෂණය තවමත් අත්හරින ලද පියවරක් වුවද, එය AI ක්ෂේත්රයේ විවෘත, අඩු මිලක, සහිත පරිසරයක් ගොඩනැගීමට උදව් කරන වගක් සැලකිය යුතුය. අනාගතයේදී මෙවැනි සේවාවන් වැඩි පිරිසකට ලැබෙන තුරු, ශ්රී ලංකාවේ තාක්ෂණික නවෝත්පාදනය තවත් වේගවත් වීමට ඉඩ ඇත.
