Apple Silicon උපාංගවල AI ප්රතිචාර වේගය අඩු කිරීමේ නව ගමනක් Swift 6 හි ඉදිරිපත් කරයි. MLX GPU සහ Core ML ANE දෙකම එකම යෙදුමේ අභ්යන්තරයෙන් සම්බන්ධ කරමින්, ප්රධාන UI තාරකාව (MainActor) කිසිදාත් බ්ලොක් නොවෙන ආකාරයක් නිර්මාණය කරයි.
මෙම ආකෘතියේ මූලික අදහස “එක් එක් ගණනයකරණ පසුබැසීමකට වෙනම actor එකක්” යන නීතියයි. MLX GPU actor එක මොඩලයේ ග්රැෆ් සහ KV cache පවත්වාගෙන යයි, Core ML ANE actor එක සංග්රහිත .mlmodelc ගොනුව සහ ANE scheduler භාවිතා කරයි. දෙකම @globalActor ලෙස නිර්වචනය කර, MainActor සමඟ කිසිදු බෙදාගත් mutable state එකක් නොමැතිව ක්රියා කරයි. UI පාර්ශ්වය AsyncStream
අවශ්ය පෙරදසුනක් Xcode 16+ (Swift 6 mode), macOS 15+ සහ M‑series (M1 හෝ ඊට පසු) යන්ත්රයක් වේ. Llama 3.2 3B 4‑bit AWQ මොඩලයක් භාවිතා කර, M3 Pro (18 GB unified memory) උපාංගයේ 20 වාරයක් මත මධ්යකාලීන පරීක්ෂණයක් සිදු කළේය. ප්රථම token latency මීටරයක් 48 ms පමණට පත් වූ අතර, එය පසුගිය “latency cliff” එකක් නොමැතිව සාර්ථකව පසුබැසීමෙන් පසු පමණක් පවතින බව තහවුරු කළා.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම තාක්ෂණය ශ්රී ලංකාවේ මෘදුකාංග සංවර්ධකයින්, විද්යාඥයින් සහ ව්යාපාරිකයින්ට විශාල වාසියක් ලබා දෙයි.
- වියදම් ඉතිරිය: Cloud API භාවිතයෙන් සම්බන්ධ වීමේ අවශ්යතාව අඩුවීම නිසා සේවා ගාස්තු අඩුවේ.
- දත්ත රහස්යතාව: දත්ත උපාංගයේම රඳා පවතින බැවින් පෞද්ගලික තොරතුරු බාහිර සේවාදායකයන්ට යැවීම අවශ්ය නොවේ.
- වේගවත් ප්රතිචාර: 50 ms කට අඩු latency මගින් රියල්‑ටයිම් chat‑bot, පරිවර්තක සහ අන්තර්ක්රියාකාරී AI යෙදුම් නිර්මාණය කළ හැක.
- දේශීය AI පදනම: විශාල භාෂා මාදිලි (LLM) දේශීය භාෂාවෙන් පවා දැනුම්දීමේ හැකියාව, අධ්යාපන, සෞඛ්ය සහ කර්මාන්ත ක්ෂේත්රවල නවෝත්පාදන අවස්ථා සලසයි.
ඉදිරියට, Swift 6 නව actor පද්ධතිය සහ MLX‑Core ML ANE සම්බන්ධකය භාවිතා කර, iOS, iPadOS සහ macOS යෙදුම් සඳහා AI හැකියාවන් වැඩි දියුණු කරගත හැක. මෙය තරඟකාරී තාක්ෂණ පරිසරයක ශ්රී ලංකාවට පවා සාර්ථකව පිවිසීමට මාර්ගයක් වේ.
ඉතිහාසයේ පළමු වරට, Apple Silicon උපාංගයේ AI inference වේගය “latency cliff” නොමැතිව sub‑50 ms දක්වා ලැබීම, දේශීය සංවර්ධකයින්ට නව අවස්ථා විවර කරයි.
