ජාවාස්ක්රිප්ට් බරපතල වෙබ් පිටු ගවේෂණය කරන විට බොහෝ සංවර්ධකයින් පළමුවෙන්ම Headless Chrome හෝ Puppeteer භාවිතා කරයි. එය ක්රමවේදය ක්රියාත්මක වුවත්, RAM පරිභෝගය සිය ගණනකට වැඩි වීම, පිටුවක් රෙන්ඩර් වීමට තත්පර ගණනාවක් ගත වීම, සහ ප්රොක්සි වියදම වැනි ගාස්තු අතිශය වේ.
ඇත්ත වශයෙන්ම, බොහෝ වෙබ් අඩවිවල දත්ත සෘජුවම JSON API එකක් මගින් ලබා ගත හැකිය. එම API එක සෘජුවම ඇමතුම් කරන්නේ නම්, බ්රවුසරයක්, රෙන්ඩරින් කාලය, සහ අධික වියදම ඉවත් කරගත හැකිය. උදාහරණයක් ලෙස, SHEIN වෙළඳසලේ ස්ක්රැපර් එකක් Apify මත ක්රියාත්මක කරමින්, ප්රොක්සි නැතිවම ඉතා හොඳ ප්රතිඵල ලැබුණි.
API එක සොයාගැනීමේ ක්රියාමාර්ග
- සාමාන්ය බ්රවුසරයක් විවෘත කර DevTools (F12) අරඹන්න.
- Network ටැබ් එකට ගොස්, Filter → Fetch/XHR තෝරන්න. මෙයින් රූප, ෆොන්ට්, ස්ක්රිප්ට් වැනි අයිතම ඉවත් වේ.
- පිටුව නැවුම් කර හෝ නිශ්චිත ක්ලික් එකක් කරමින්, දත්ත ඇමතුම් නිරීක්ෂණය කරන්න.
- ආපසු ලැබෙන ඉල්ලීමක් තෝරා Preview ටැබ් එකේ JSON ආකාරයේ ප්රතිචාරය පරීක්ෂා කරන්න.
- URL, query parameters, body, සහ වැදගත් headers (user-agent, accept) සටහන් කර ගන්න.
- අවශ්ය නම්, mobile site හෝ app එකේ API පරීක්ෂා කරන්න; එය සාමාන්යයෙන් සරල හා අඩු ආරක්ෂණය ඇති JSON ලබා දෙයි.
- ඉල්ලීම “Copy as cURL” කර terminal එකේ පරීක්ෂා කරන්න. 200 OK ලැබේ නම්, ඔබට ස්ක්රැපර් සාර්ථකයි.
ඉදිරිපත් කරන කේත උදාහරණය මෙසේය:
const res = await fetch(endpoint, { headers: { "user-agent": MOBILE_UA, "accept": "application/json" } }); const json = await res.json(); const products = json.data.items.map(it => ({ id: it.goods_id, title: it.goods_name, price: it.retail_price.amount, currency: it.retail_price.currency }));ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලාංකීය සංවර්ධකයින්ට, API මඟින් දත්ත ලබා ගැනීම මඟින් වඩාත් කාර්යක්ෂම, අඩු වියදම් සහිත විසඳුම් නිර්මාණය කළ හැකිය. ඉන්පසු, සීමිත RAM සහ මන්දගාමී සර්වර් පරිසරයන්හිද, සරල fetch ඇමතුම් මගින් බොහෝ වෙළඳපොළ දත්ත, මිල, සහ නිෂ්පාදන විස්තර ලබා ගත හැකිය. ඒ අනුව, තාක්ෂණික ආරම්භකයන්, සිසුන්, සහ කුඩා ව්යාපාරිකයන්ට API භාවිතය ඉගෙන ගැනීම, වෙබ් ස්ක්රැපින්ග් වියදම අඩු කර, ත්වරණයෙන් නිෂ්පාදන තොරතුරු ලබා ගත හැකි වේ.
අවසන් වශයෙන්, බ්රවුසරයක් භාවිතා කිරීම අවශ්ය නැති අවස්ථා බොහොමයක් තිබේ. Network ටැබ් එකේ API සොයාගෙන, mobile endpoint එකක් භාවිතා කර, සරල fetch ඇමතුම් සකස් කිරීම ඔබේ වැඩ පිළිවෙළේ කාර්යක්ෂමතාවය ගුණාත්මකව වැඩි කරයි.
