Databricks හි බිලියන ගණනක රෙෆරන්ස් දත්ත සමුදායක් Salesforce පේජ් එකෙන් සෘජුවම පරීක්ෂා කරන්න අවශ්ය වුණා. සාමාන්යයෙන් එවැනි දත්ත සමුදාය Salesforce කස්ටම් ඔබ්ජෙක්ට් එකකට සින්ක් කරලා භාවිතා කරනවා, නමුත් ඒ ක්රමය ගණනාවත් ගැටළු ගෙන එනවා.
Salesforce හි ගබඩා පිරිවැය ව්යාපාරික වාර්තා සඳහා ගණන් කරන බැවින් රෙෆරන්ස් දත්ත සමුදායක් සඳහා එය අධික විය. තවද, සම්පූර්ණ දත්ත සමුදාය මාසිකව අලුත් කරන්නේ නම්, එක් මසකට බිලියන ගණනක පේළි නැවත-ලෝඩ් කිරීම අතිශය කාර්යක්ෂම නොවේ. එම නිසා, දත්ත සමුදායෙහි සජීවීව HTTP ඇමතුමකින් පේළි සොයා ගන්නා ක්රමයක් හඳුන්වා දීමට තීරණය කළා.
මෙම විසඳුමේ මූලික අදහස වන්නේ, පරිශීලකයා සෙවීමේ යතුරක් ඇතුළත් කරන විට Apex Controller එක Databricks REST API වෙත POST ඉල්ලීමක් එවා, අවශ්ය පේළි JSON ආකාරයෙන් ලබා ගෙන, ඒවා UI එකේ පෙන්වීමයි. මෙය කරගෙන යන විට සැලකිල්ලට ගත යුතු “ගොට්චා” (gotchas) හතරක් ලේඛනයේ විස්තර කරලා ඇත.
ශ්රී ලංකාවට ඇති වැදගත්කම
මෙම තාක්ෂණික සම්බන්ධතාවය ශ්රී ලංකාවේ ඉගෙනුම, සංවර්ධන, ව්යාපාරික පරිසරය තුළ විශාල ප්රයෝජන ලබා දෙයි:
- ඉගෙනුම් අඩවිය: දත්ත විශ්ලේෂණය, API භාවිතය, Apex ප්රොග්රෑමීං වැනි නවතම තාක්ෂණික හැකියාවන් සිසුන්ට ප්රායෝගික උදාහරණයක් ලෙස ඉගැන්විය හැක.
- සංවර්ධකයින්ට: Apex තුළ HTTP callout, Named Credential, External Credential යනාදිය භාවිතා කරමින් තෙවන පාර්ශව API සමඟ සම්බන්ධ වීමට නව මාර්ගයක් ලැබේ. මෙය Salesforce-කේන්ද්රිත යෙදුම් වලට Databricks වැනි බිග් ඩේටා ව්යුහයන් එක් කිරීමේ හැකියාව වැඩි කරයි.
- ව්යාපාරිකයින්ට: රෙෆරන්ස් දත්ත සමුදාය සජීවීව පරීක්ෂා කිරීමෙන්, ලාභදායී තීරණ ගැනීමට අවශ්ය තොරතුරු කාලයකින් කාලයට ලබා ගත හැක. ගබඩා වියදම අඩු කරමින්, පද්ධතියේ ප්රතිචාර වේගය වැඩි කරයි.
මෙම ක්රමය ඉතා සරල – Databricks workspace URL, warehouse ID, access token ත්රිත්වයක් ලබා ගෙන, Salesforce Setup තුළ Named Credential සහ External Credential සකස් කිරීමයි. සූදානම් කිරීමේදී “Allow Formulas in HTTP Header” කොටුව සක්රිය කරන්නේ වැදගත්, නැතිනම් 403 දෝෂයක් ලැබේ.
අවසන් වශයෙන්, Apex class එක asynchronous ලෙස POST කර, අවශ්ය නම් statement_id මගින් polling කිරීමෙන් අවසන් ප්රතිඵල ලබා ගනී. මෙම පියවරයන් සියල්ල සමඟින්, බිලියන ගොනු නකල නොකර, Salesforce පේජ් එකෙන් Databricks දත්ත සජීවීව පරීක්ෂා කළ හැකිය.
ඉදිරියට, මේ ආකාරයේ සම්බන්ධතා තවත් ව්යාපාරික හා විද්යාත්මක පරිසරයන්ටත් අත්යවශ්ය වේ. ඔබේ ආයතනයේ දත්ත ප්රවේශය වඩාත් කාර්යක්ෂම කර ගැනීමට මේ ක්රමය අත්හදා බලන්න.
