ML (Artificial Intelligence) ක්ෂේත්රයට අලුත් වශයෙන් පියනගත් අයෙක් නම්, මොඩලයක් පුහුණු කරලා ප්රතිඵල බලන්න ඉක්මනින් යාමට උනන්දු වෙන්න පුළුවන්. නමුත්, මට පළමු වරට Kaggle වෙතින් ඩේටා සෙට් එකක් බාගත කරලා, සරල classification මොඩලයක් තෝරා පුහුණු කළාම, ප්රතිඵල අමුතුම වුණා.
ආකාරශීලීව accuracy සහ ROC‑AUC අගයන් බලාගත්තාම, ඒවා බොහොම අඩුව තිබුණා. “මොඩලය වැරදිද?” කියලා මොළය ගොඩක් වුනා. නමුත්, එම ගැටලුව මොඩලයට පෙර, දත්ත සූදානමට අමතර වශයෙන් අවධානය නොදීම නිසා උදාවුණා.
මම පළමුව df.info() කියලා ඩේටා ෆ්රේම් එකේ තීරු, ඩේටා වර්ග සහ null ගණන බැලුවා. ඊළඟට df.isna().sum() මගින් අස්ථානගත වටිනාකම් කොහේද කියලා හඳුනාගත්තා. මෙහිදී “අස්ථානගත වටිනාකම් සොයා ගැනීම” සහ “ඇයි ඒවා පිරවීමට හෝ ඉවත් කිරීමට යෝජනා කරනවා” යන දෙක වෙනස් බවට අවධානය යොමු වුණා.
ඉලක්කම් තීරුවකට median (df["column"].median()) භාවිතා කර පිරවීම, අධික අගයන්ට අඩුවෙන් බලපාන නිසා සුදුසුයි. වර්ගීකරණ තීරුවකට mode (df["column"].mode()[0]) පිරවීම හොඳ තේරීමක්. අවශ්ය නම් df.dropna() මඟින් අස්ථානගත පේළි ඉවත් කළ හැකිය.
දත්ත වර්ගය නිවැරදි කිරීමද අත්යවශ්ය. df.convert_dtypes(), df["column"].astype("string"), pd.to_datetime(df["date"]) වැනි ක්රම භාවිතා කර තීරු වර්ගයන් සැකසීමෙන් පසු මොඩලයට පවතින “Garbage In, Garbage Out” සිද්ධිය වැළැක්විය හැකිය.
ශ්රී ලංකාවට ඇති වැදගත්කම
ශ්රී ලංකාවේ තාක්ෂණ උපාධි අධ්යයන කරුවන්, data science පාඨමාලා ගන්නා මිතුරන්, සහ කුඩා ව්යාපාරිකයින්ට මේ පාඩම ඉතාම ප්රයෝජනවත්. දත්ත පිරිසිදු කිරීමේ පියවර අනුගමනය කිරීමෙන්:
- ඉගෙනුම් ආකාරය වඩාත් සාර්ථක වේ.
- AI හෝ ML විසඳුම් නිර්මාණය කරන විට අඩු වැරදි සහ ඉහළ කාර්යක්ෂමතාව ලැබේ.
- දේශීය වෙළඳපොළේ තත්ත්වය හඳුනාගෙන, නිවැරදි දත්ත මත පදනම් වූ තීරණ ගත හැකිය.
ඉදිරියට, “Dataset → Understand → Clean → Prepare → Train → Evaluate” යන පියවර අනුගමනය කිරීම මගින් අපේ තාක්ෂණික ප්රජාවට ගුණාත්මක AI නිෂ්පාදන නිර්මාණය කිරීමේ පදනමක් සපයයි.
දත්ත පිරිසිදු කිරීම බොහෝ වෙලාවට “නොරසන” කොටසක් වුවද, එය මොඩලයක් සාර්ථක කර ගැනීමට අත්යවශ්ය පදක්කමක්. එක තීරුවක්, එක අස්ථානගත වටිනාකම හෝ වර්ගය නිවැරදි කිරීමෙන් ඔබේ AI ව්යාපෘතිය අලුත් මට්ටමකට ගෙන යන්න.
