Kafka ගැන පළමු වරට හොඳින් අවබෝධය ලැබෙන්නේ, එය සම්ප්රදායික queue එකක් ලෙස නොබලන විටයි. RabbitMQ, SQS වැනි පරණ message broker වලින් පැමිණි බොහෝ සංවර්ධකයින්ට, Kafka එක මුලින්ම queue වගේ පෙනෙයි; ඒත් එහි ඇතුළත මූලික රූපය සම්පූර්ණයෙන් වෙනස්.
මූලික වෙනස – මකා දැමීම vs. රඳවා තබා ගැනීම. සාමාන්ය queue එකක, පණිවුඩයක් පාරිභෝගිකයා ග්රහණය කළ පසු මකා දමයි. Kafka එකේ පණිවුඩයක් ලොග් එකේ අන්තර්ගතයක් වශයෙන් රඳවා තබා ගනී; ඔබගේ retention සැකසීම අනුව එය පැය කිහිපයක්, දින කිහිපයක් හෝ සදාකාලිකව තබා ගත හැක.
මෙම සැලසුම නිසා බහු පාරිභෝගිකයන් එකම පණිවුඩය එකවර පිරිසිදු කිරීමේ ගැටලුවක් නොමැත. විශ්ලේෂණ, වංචා හඳුනා ගැනීම, දත්ත සමමුහුර්ත කිරීම වැනි සේවා සියල්ල එකම topic එකේ වෙනත් offset එකකට පෙන්වා ගත හැක. Offset යනු පාරිභෝගිකයා ලොග් එකේ කොහේද කියා සලකුණු කරන සරල අංකයක්; එය පාරිභෝගිකයාගේම භාරය, එනිසා පණිවුඩය නැති වීමෙන් පසු පවා replay කිරීමේ හැකියාව ලැබේ.
Kafka හි Partitions සහ Consumer Groups යන සංකල්පය ද මෙම ලොග් ආකෘතියේ ස්වභාවික දිගුවක්. Partition මගින් ලොග් එක බහු brokers අතර බෙදා හරින අතර, consumer group එකක් තුළ එක සේවාවේ බහු instance එකක් විවිධ partitions කියවීමෙන් සමාන්තර සැකසුම් ඉක්මනින් සිදු කරයි.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ සංවර්ධකයින්, තාක්ෂණ විද්යාල සිසුන්, ව්යාපාරිකයින් සඳහා Kafka ලොග් ආකෘතියේ ප්රතිලාභ කිහිපයක් ඇත:
- දත්ත විශ්ලේෂණය සහ AI මොඩල පුහුණුව – ඉතිහාසික පණිවුඩ සියල්ලම නැවත කියවීමේ හැකියාව නිසා, මැෂින් ලර්නින් පද්ධති සඳහා පූර්ණ data set එකක් සකස් කළ හැක.
- ආකාරික පද්ධති සංවර්ධනය – එකම topic එකේ බහු සේවා පාලනය කළ හැකි බැවින්, මයික්රො-සේවා (microservices) ආකෘතිය සරලව ක්රියාත්මක කළ හැක.
- දෝෂ සහ ප්රතිසාධන කළමනාකරණය – offset පාලනයෙන් පසුබැසීම (rollback) හෝ නැවත පරික්ෂා කිරීම පහසුය, එය ව්යාපාරික ක්රියාකාරකම් වල අවශ්යතාවය වේ.
- ඉහල පරිමාණය සහ කාර්ය සාධනය – partitions සහ consumer groups මඟින් ලොග් එකේ throughput එකක් ගුණාත්මකව වැඩි කරගත හැක, එය ශ්රී ලංකාවේ data‑centric start‑ups සඳහා අත්යවශ්ය වේ.
කෙටි සාරාංශයක් ලෙස, Kafka එක queue එකක් නොව, “කාලය සමඟ දිගුවන ලොග්” ලෙස ගත යුතුය. එම නිසා පණිවුඩයන් නැති නොවී, ඔබට අවශ්ය වේලාවේ නැවත කියවීමට, විවිධ සේවා අතර සමාන්තරව වැඩ කිරීමට, හා පද්ධතියේ විශ්වාසභාවය වැඩි කිරීමට හැකියාව ලැබේ.
Kafka ලොග් ආකෘතියේ මෙම නව දෘශ්යකෝණය ඔබේ වැඩසටහන්, ව්යාපාරික යෝජනා, හා ඉගෙනුම් ගමනට නව අවකාශයක් විවර කරයි.
