Python කේතයක් ලියලා වෙබ් පිටුවකින් නිෂ්පාදන නාම, මිල වැනි තොරතුරු ගෙන ඒවා Excel හෝ Google Sheets වලට අදාළ CSV ගොනුවක් ලෙස සුරකින්න පුළුවන්. මේ ලිපියෙන් ඔබට පියවරෙන් පියවර ක්රියා කරන ආකාරය, අවශ්ය පසුබැසි උපාංග, සහ මුල සිට අවසානය දක්වා සම්පූර්ණ කේත උදාහරණයක් ලබා දෙනවා.
ආරම්භයට පෙර අවශ්ය දේ:
- Python 3 (අලුත්ම අනුවාදය)
- VS Code වැනි කේත සකස්කරු (code editor)
- Terminal (command line) එකක්
- Python මූලික දැනුම (variable, for loop)
ඉදිරියට යාමට pip install requests beautifulsoup4 pandas යන කමන්ඩ් එකක් ටර්මිනලයේ දාන්න. requests වෙබ් අඩවියට ගොස් HTML අන්තර්ගතය ලබා දේ, BeautifulSoup එම HTML පරීක්ෂා කර අවශ්ය තොරතුරු හඳුනා ගනී, pandas එකතු කළ දත්ත ටේබලයක් කර CSV ගොනුවක් ලෙස සුරකින්න භාවිතා වේ.
කේතයේ මුලින් requests.get භාවිතා කර වෙබ් පිටුවක් බාගත කරනවා. මෙහි User-Agent ශීර්ෂකය එකතු කිරීම වැදගත් – එය බ්රවුසරයක් ලෙස හැසිරෙන්න කියා දෙයි, නැතිනම් සයිට් එක ඔබේ ස්ක්රිප්ට් එක රොබෝ ලෙස හඳුනාගෙන අවහිර කරයි. බාගත කිරීම සාර්ථක නම් "Page downloaded successfully!" පණිවිඩයක් පෙන්වයි.
පසුබැසිය HTML පේළිය BeautifulSoup සමඟ පාර්ස් කර, නිෂ්පාදන කාඩ් එකක් හැඳින්වෙන <article class="product_pod"> ටැග් සොයයි. Chrome හෝ Firefox හි Inspect මෙවලම භාවිතා කර මෙම class නාමය සොයා ගත හැක. සොයාගත් නිෂ්පාදන ගණන ප්රින්ට් කර පරීක්ෂා කරනවා.
එතැන් සිට එක් එක් නිෂ්පාදනයේ නාමය, මිල ලබාගෙන ලැයිස්තුවකට එක් කරයි. නාමය title ගුණාංගයෙන්, මිල price_color class එකෙන් ගනී. අවසානයේ pandas DataFrame එකක් සාදා products.csv ලෙස සුරකින්න. "✅ Done! X products saved to products.csv" යන පණිවිඩය ඔබට ලැබේ.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම පද්ධතිය ශ්රී ලංකාවේ ඉගෙනුම, ව්යාපාර, සහ තාක්ෂණික කාර්යයන් සඳහා විශාල වාසියක් ගෙන දෙයි:
- ඉගෙනුම් අත්හදා බැලීම: විශ්වවිද්යාල සිසුන්ට Python වෙබ් ස්ක්රැප් කිරීමේ මූලිකතා ඉගෙන ගත හැක, ඉදිරි වැඩසටහන් සඳහා පදනමක් වේ.
- ව්යාපාරික අවශ්යතා: ස්ථානීය වෙළඳපොළේ මිල තොරතුරු හෝ නිෂ්පාදන ලැයිස්තුවක් ස්වයංක්රීයව ලබාගෙන, මිල අනුමාන හෝ තරඟකාරී විශ්ලේෂණය කරගත හැක.
- දත්ත විශ්ලේෂණය: pandas භාවිතා කර ලැබූ CSV ගොනුව Excel හෝ Google Sheets තුළ විශ්ලේෂණාත්මක රූප රචනා කිරීමේ හැකියාව ලැබේ.
අවසානයේ, ඔබේ කේතය වෙනත් වෙබ් අඩවි සඳහා සකස් කර, විවිධ වර්ගයේ තොරතුරු (උදා: ගෘහස්ථ උපාංග, කාර්ය සාධන දත්ත) එකතු කරගත හැක. මෙය ශ්රී ලංකාවේ තාක්ෂණික නවෝත්පාදන හා ඩිජිටල් පරිවර්තනයේ ප්රධාන පියවරක් වනු ඇත.
අදම Python ස්ක්රැප් කිරීමේ මෙවලම් ඉගෙන ගෙන, ඔබේ ව්යාපාරය හෝ අධ්යයන ව්යාපෘතියට නව දත්ත අරමුනක් එක් කරමු.
