ඔබට තවත් 50ක් පමණ e‑commerce වෙබ් අඩවිවල මිල ගණන් පැයකින් එක් වරක් පරීක්ෂා කරගත යුතු නම්, හෝ සතක් පමණ බ්ලොග් අඩවිවලින් ලිපි එකතු කර ප්රවණතා පුවරුවක් සකස් කරගත යුතු නම්, මනුෂ්ය ශක්තියෙන් ඒක කරන්න බැහැ. මෙවැනි වැඩකට Scrapy නම් Python පදනම්වූ අති උසස් වෙබ් ක්රෝලර් ෆ්රේම්වර්ක් එක හොඳම විසඳුමයි.
පළමුව Python 3.8 හෝ ඊට ඉහළ සංස්කරණයක් ස්ථාපනය කර, pip install scrapy හෝ Anaconda භාවිතයෙන් අවශ්ය පසුබැසීම් ස්ථාපනය කරන්න. පසුදින scrapy startproject web_crawler යන කමාන්ඩ් එකෙන් නව ව්යාපෘතියක් ආරම්භ කර, spiders ෆෝල්ඩරයට quotes_spider.py නමින් ගොනුවක් තනන්න. එහිදී Spider එකක් නිර්මාණය කර, start_urls වලින් ආරම්භක පිටුව නියම කර, CSS selector භාවිතයෙන් උපුටා ගැනීම, සහ Next පේජ් ලින්ක් අනුගමනය කිරීම ආදිය සිදු කරයි. මෙම කේත කැබැල්ල තුනක්ම – ආරම්භක URL, CSS selector, pagination – අඩවියක් පුරා තොරතුරු සොයාගැනීමට ප්රමාණවත් වේ.
Scrapy භාවිතය ඔබේ වැඩබලන හැකියාව වැඩිදියුණු කරයි. ඉල්ලීම් සැලසුම් කිරීම, පිටු බහුලව අනුගමනය කිරීම, දත්ත පයිප්ලයින් මඟින් CSV, JSON වැනි ආකාර වලට සුරැකීම—all එකම පද්ධතියක් තුළම. ඒ නිසා කේතය නව අඩවි එකතු කිරීමේදී අඩුම පරිශීලන පූර්ණතාවයක් තිබේ, නමුත් වැඩි පරිමාණයේ ක්රෝලරයක් රැඳවීමට හැකිවේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
- සිසුන් – Python සහ වෙබ් සෙවුම් තාක්ෂණය ඉගෙන ගන්නා තරුණ දැනුම්කරුන්ට, Scrapy ප්රායෝගික ව්යාපෘති මඟින් රියල්-ටයිම් දත්ත එකතු කිරීමේ අත්දැකීම ලබාදේ.
- ඩෙවලපර් – ස්ථානීය e‑commerce හෝ පුවත් අඩවි වලින් තොරතුරු ගෙන, මිල තරඟකාරීත්වය, පාරිභෝගික ප්රවණතා වැනි වාර්තා සකස් කර, ව්යාපාරික තීරණ ගැනීමට මූලික දත්ත ලබාදේ.
- ව්යාපාර – ස්වයංක්රියව වෙබ් අඩවි මගින් මිල, ප්රචාරණ, පාරිභෝගික ප්රතිචාර ඇදගැනීමෙන්, වෙළඳපල විශ්ලේෂණය වේගවත් කර, පිරිවැය ඉතිරි කර, තරඟකාරීත්වය වැඩි කරයි.
ඉතින්, Scrapy එකක් භාවිතා කර ඔබේ ව්යාපෘතියේ දත්ත ගබඩා කිරීම, විශ්ලේෂණය, සහ ව්යාපාරික ප්රතිඵල ලබා ගැනීම සරල, වේගවත්, හා විශ්වාසනීය වේ. අදම Scrapy සමඟ ඔබේම වෙබ් ක්රෝලර් එක පටන් ගන්න!
