ඇමසන්, වෝල්මාර්ට් වගේ බොහොමයක් රැකවරණය කරන ඩිජිටල් වෙළඳසැල්වල මිල නිරීක්ෂණය කරන්න හිතුවට වඩා බරපතළයි. සාමාන්යයෙන් වෙබ් පිටුවක් අරගෙන, LLM (Large Language Model) එකකට මිල ගණන් ඉස්සර කරලා, දත්ත ගබඩා කරන පරිදි වැඩ කරලා ඉවරයි කියලා සිතෙනවා. නමුත් අන්තර්ජාලයේ නිරන්තරයෙන් ඉල්ලීම් කරන විට, පිටු බ්ලොක් වීම, ජාවාස්ක්රිප්ට් කෝඩ් පමණක් ලැබීම වගේ ගැටළු බොහොමයක් එනවා.
පද්ධතියේ දෙකේ වැරදි – retrieval (දත්ත ලබාගැනීම) සහ extraction (දත්ත ගැලවීම) – පවා නිරීක්ෂණ පයිප්ලයින් එකේ වැරදි සෑදෙන්න ඉඩ දෙයි. Retrieval අසාර්ථක වීමේදී HTTP 200 පරීක්ෂා කරලා “සාර්ථකයි” කියලා හිතුවත්, පිටුවේ මිල තොරතුරු නොමැතිව “Just a moment…” පේජ් එකක් ලැබෙයි. Extraction අසාර්ථක වීමේදී LLM එකෙන් ලැබෙන මිල වර්ගය එකම නොවේ – කවරෝ වරක් 29.99 ලෙස float, තවත් වරක් $29.99 ලෙස string ආදී.
මෙම ගැටළු විසඳීමට ZenRows සහ Pydantic AI එකතු කරලා නිර්මාණය කළ නව පයිප්ලයින් එක ඉතා ප්රයෝජනවත්. ZenRows, රැකවරණය කරන වෙබ් අඩවි වලට ඉල්ලීම් යවන විට 99.93% සාර්ථකත්වය ලබා දෙයි. එමෙන්ම, Pydantic AI, LLM එකෙන් ලැබෙන ප්රතිඵලය ඔබේ නිර්වචිත schema එකට ගැළපෙනවාද කියා පරීක්ෂා කර, වැරදි වර්ගයන් හෝ අස්ථානගත දත්ත පැන නැගෙන්නේ නැතිව කරයි.
මෙම ක්රියා පටිපාටිය පහත පියවර 2කින් ගොඩනඟයි:
- ZenRows API භාවිතයෙන් Amazon, Walmart වැනි වෙබ් පිටු ලබාගැනීම.
- Pydantic AI සමඟ LLM ප්රතිඵලය schema එකට ගැළපෙනවාද කියා validate කර, අවශ්ය නම් fallback logic එකක් ක්රියාත්මක කිරීම.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ උපාධි සිසුන්, ස්වයංක්රීය වෙළඳපොළ විශ්ලේෂණය, මිල නිරීක්ෂණ වැනි ව්යාපාරික අවශ්යතා ඉටු කිරීම සඳහා මෙවැනි පද්ධතිය ඉතා වැදගත්. පරිගණක විද්යා ශිෂ්යයන්ට real‑world AI + web‑scraping project එකක් ලෙස අත්හදා බැලීමට, දත්ත සත්යාපනයේ වැදගත්කම තේරුම් ගැනීමට හොඳ අවස්ථාවක්. එමෙන්ම, කුඩා ව්යාපාරිකයන්ට තරඟකාරී මිල තොරතුරු රියල්‑ටයිම් එකට ලබා ගත හැකිවීමෙන්, මිල ගණන් සැලසුම් කිරීම, ප්රචාරණ කාර්යයන් සැලසුම් කිරීම වැනි තීරණ ගැනීමේ ගුණාත්මකතාව වැඩි වේ.
අවසන් වශයෙන්, ZenRows සහ Pydantic AI එකතු කරලා ඔබේ මිල නිරීක්ෂණ බොට් එක තවත් අඩු වැරදි, ඉහල විශ්වාසනීයතාව සහිතව නිර්මාණය කරගත හැකිය. මෙය ශ්රී ලංකාවේ තාක්ෂණික පරිසරයට නව අවස්ථා ගෙන එන අතර, AI‑driven data pipelines ගැන අවබෝධය වැඩි කිරීමට හොඳ උදාහරණයක් වේ.
