Google Trends සදහා නිල API එකක් නොමැති නිසා, බොහෝ සංවර්ධකයන් වෙබ්‑ස්ක්රේපර් භාවිතා කරති. නවතම Apify Actor එක (Google Trends Fast Scraper) ඉතා වේගයෙන් දත්ත ලබාදෙයි, නමුත් නිෂ්පාදනයේදී අසාමාන්ය බග් එකක් මුහුණ දුන්නේය.
ස්ථානීය පරිගණකය (ආයතන IP) මත පරීක්ෂා කළ විට, සියලු විජට් ටෝකන (timeline, related‑searches) සාර්ථකව ලැබුණි. එත් Apify මධ්යස්ථානයේ දත්ත මධ්යස්ථානයේ (datacenter proxy) ධාවනය කළ විට, explore ඉල්ලීම සාර්ථකව, timeline ටෝකනය සාර්ථකව, නමුත් සම්බන්ධිත සෙවුම් (related queries) ඉල්ලීම් කිසිවක් ප්රතිචාර නොදෙනවා.
ඉන්පසු residential proxy භාවිතා කරද්දී, timeline ටෝකනත් බ්ලොක් වී, සියලුම ඉල්ලීම් අසාර්ථක වුණි. මේ සිදුවීමේ මූලික හේතුව වන්නේ, Google Trends විසින් ලබා දෙන විජට් ටෝකන, ඒවා ලබා ගත් IP ලිපිනයට සම්බන්ධව තිබීමයි. දෙවන පියවරේ (multiline / relatedsearches) ඉල්ලීම් වෙනත් IP එකකින් පැමිණි විට, Google ටෝකනය අවලංගු ලෙස සැලකෙයි.
ආකාරය:
- Datacenter proxy: IP පූල කුඩා, සමහර විට එක IP එකෙන් explore සහ timeline යන දෙකම සිදු වේ, නමුත් related queries වෙනත් IP එකෙන් යැවීම නිසා බ්ලොක් වේ.
- Residential proxy: IP පූල විශාල, ඉල්ලීම් අතර IP එක වෙනස් වීම ඉක්මනින් සිදු වේ, එබැවින් සියලු ඉල්ලීම් බ්ලොක් වේ.
මෙම ගැටළුව විසඳීමට, එක් ධාවනයක සියලු HTTP ඉල්ලීම් එක IP එකක් (sticky session) භාවිතා කිරීම අවශ්ය විය. Apify හි proxy configuration එකේ sessionId සකසා, ඒ sessionId සමඟ නව proxy URL එක ලබා ගනිමින්, explore, timeline, related‑searches සියල්ල එකම IP එකෙන් යැවිය හැකි විය.
සැකසූ පසු, 2‑පද සසඳුමක් සඳහා 16 සෙකන්ඩ් තුළ 53 දත්ත අංක, 25 ඉහල සම්බන්ධිත සෙවුම්, 18 උදාවන සෙවුම් ලබා ගත හැකි විය. මෙය Google Trends API නොමැතිව, ඉතා වේගවත්, පාරිභෝගික‑මිතුරා වූ විසඳුමක් බවට පත්වේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ ශිෂ්යයන්, ස්ථානික් ව්යාපාරිකයන්, සහ startups සඳහා මෙම නව scraper එක විශාල අවස්ථාවක් වේ. පළමු වශයෙන්, උසස් ගැඹුරු දත්ත (trend) ලබා ගැනීමේ වේගය වැඩිවීම නිසා, AI මෝඩල හෝ වෙළඳ ප්රචාරණ තීරණ ගැනීමේ කාලය අඩු වේ. දෙවැනි වශයෙන්, token‑IP බැඳීමේ ගැටළුව අවලංගු කර, ප්රාදේශීය proxy සේවා භාවිතා කරමින් පවා සාර්ථකව දත්ත ගත හැකිය. තෙවැනි වශයෙන්, “pay‑as‑you‑go” ආකාරය නිසා, අඩු ප්රතිඵල ලබා දුන් පදවලට ගාස්තුවක් නොයෙදෙයි – එයින් ව්යාපාරිකයන්ට ආර්ථික බර අඩු වේ.
ඉදිරියේදී, IP‑බැඳී ඇති token‑වල සැලැස්ම වෙනත් දෙ-පියවර API (උදා: සමාජ මාධ්ය analytics) සඳහාද වැදගත් පාඩම් ලබා දෙනු ඇත. එබැවින්, ශ්රී ලංකාවේ තාක්ෂණික පරිසරය තුළ තොරතුරු සංග්රහණය හා විශ්ලේෂණය වඩාත් විශ්වාසනීය හා කාර්යක්ෂම වේ.
අවසන් වශයෙන්, Google Trends සදහා නිර්මාණය කළ මෙම නව scraper එක, Sri Lankan developers සඳහා අධික වේගය, අඩු පිරිවැය, සහ IP‑බැඳී token ගැටළුව විසඳුම් සමඟ, තොරතුරු‑ආශ්රිත නිර්මාණයට නව දොරටුවක් විවර කරයි.
