Vector Database කියන්නේ embeddings කියන සංඛ්යාත්මක අරය ගබඩා කර, ප්රශ්න වෙක්ටරයකට සමීපතම අයිතමයන් ඉක්මනින් සොයා දෙන විශේෂිත පද්ධතියක්. Pinecone, Weaviate, Milvus වැනි සේවාවන් මේ කාර්යය සඳහා නිර්මාණය කර තිබෙනවා. එත් ClickHouse, මුල් වශයෙන් විශාල සංඛ්යාත්මක වාර්තා විශ්ලේෂණය සඳහා හදන ලද්දක්. එහි vector සෙවීමේ හැකියාව පරීක්ෂා කරන විට, “ClickHouse vector සෙවීමේ හැකියාව තිබේද?” නැවත “ඒ හැකියාව පරිපූර්ණව භාවිතා කළ හැකිද?” කියලා පරීක්ෂා කරනවා.
Vector Database එකේ මූලික කාර්යය තුනයි:
- Embeddings (float array) ගබඩා කිරීම;
- ඉක්මන් සමානතාව ගණනය සඳහා ඉන්ඩෙක්ස් කිරීම;
- ප්රශ්න වෙක්ටරයට සමීපතම අයිතම ලබා දීම.
ClickHouse තුල vector කේතනය සරල array column එකක් ලෙස ගබඩා කරයි. උදාහරණයක් ලෙස:
CREATE TABLE articles (id UInt32, title String, embedding Array(Float32)) ENGINE = MergeTree ORDER BY id;මෙම ක්රමය සඳහා වෙනත් plugin හෝ extension අවශ්ය නොවේ. ඉතාමත් සරල SQL විධානයක් මගින් brute‑force සෙවීම සිදු කළ හැකිය:
SELECT title, L2Distance(embedding, {target_vector}) AS score FROM articles ORDER BY score ASC LIMIT 5;කෙසේ වෙතත්, මේ පරිදි සෙවීමේදී සෑම පේළියක්ම ගණනය කරයි. රෝ 500,000 පේළි ගණනක් සඳහා 0.22 තත්පරයක්, 1,000,000 පේළි සඳහා 0.41 තත්පරයක් වැය වේ. එමගින් සෙවීමේ වේගය පේළි ගණන හා embedding ප්රමාණය සමඟ රේඛීයව වැඩි වේ.
SQL‑native filtering (WHERE category='engineering') භාවිතා කළාම, සෙවීමේ වේගය 8% පමණක් ඉහල යයි. එය vector column එක පළමුව කියවීම නිසා, පිරිසිදු data model එකක් සැලසුම් කර නැති නම් filtering එකෙන් ලැබෙන ප්රයෝජනය අඩු වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ClickHouse හි vector column එක භාවිතා කිරීමේ හැකියාව, ශ්රී ලංකාවේ තොරතුරු විශ්ලේෂණ, AI පර්යේෂණ, හා ආයතනික තැටි කළමනාකරණයට නව අවස්ථා සපයයි.
- සිසුන්ට: විශ්ලේෂණාත්මක SQL කුසලතා සමඟ embeddings අධ්යයනය කිරීමේ හැකියාව ලැබේ, එය AI පාඨමාලා සඳහා ප්රයෝජනවත්.
- ඩෙවලපර්ලාට: වෙනත් vector database සපයන්නන්ට ගාස්තු ගෙවීමේ අවශ්යතාව නැතිව, ClickHouse එකේම data lake එකක් පවත්වා, දත්ත පූර්ණතමය සහිතව වැඩ කළ හැකිය.
- ව්යාපාරිකයන්ට: වාණිජ analytics, recommendation system, fraud detection වැනි real‑time vector search අවශ්යතා ClickHouse මතම සකස් කර, ක්ලවුඩ් හෝ on‑premise පරිසරය තුළ පවත්වා ගත හැකිය.
ඉදිරියේදී ClickHouse හි HNSW‑based vector similarity index සක්රිය කරගත් පසු, approximate search මාර්ගය භාවිතයෙන් 10 ගුණයක් හෝ ඊට වැඩි වේගය ලබා ගත හැකි බව අපේක්ෂා කරයි. ඒ සඳහා Docker හෝ ClickHouse Cloud පරිසරයක් අවශ්ය වන අතර, එය ශ්රී ලංකාවේ තාක්ෂණික සමාජයට තවත් නව මාර්ගයක් විවර කරයි.
අවසන් වශයෙන්, ClickHouse vector සෙවීමේ පරීක්ෂාව අතිශය වැදගත් නමුත්, විශාල දත්ත පදනමක් සමඟ හොඳම ප්රතිඵල ලබා ගැනීමට නිර්මාණාත්මක ඉන්ඩෙක්ස් කිරීම අවශ්ය බව සළකන්න.
