Apple සමාගම වඩාත් බලවත් Artificial Intelligence models සම්පූර්ණයෙන්ම iPhone එක තුළ ධාවනය කළ හැකි තාක්ෂණයක් පිළිබඳව Silicon Valley AI startup එකක් වන PrismML සමඟ මූලික සාකච්ඡා පවත්වමින් සිටින බව CNBC වාර්තා කර තිබේ.
PrismML සමාගමේ ප්රධාන විධායක නිලධාරී Babak Hassibi පවසන්නේ Apple සමාගම මේ වනවිට ඔවුන්ගේ AI model compression තාක්ෂණය වේගය, බලශක්ති භාවිතය සහ ජංගම උපාංග මත ක්රියාකරන ආකාරය ඇතුළු අංශ කිහිපයකින් පරීක්ෂා කරමින් සිටින බවයි.
කෙසේ වෙතත් මෙය තවමත් මූලික මට්ටමේ සාකච්ඡාවක් පමණක් වන අතර Apple සහ PrismML අතර නිල ගිවිසුමක් හෝ partnership එකක් නිවේදනය කර නොමැත.
54GB AI model එකක් 4GBටත් අඩු කරයි
PrismML විසින් මෑතකදී හඳුන්වා දුන් Bonsai 27B model එක මෙම තාක්ෂණයේ ප්රධාන උදාහරණය ලෙස පෙන්වා දී තිබේ.
Alibaba සමාගමේ open-source Qwen model එක පදනම් කරගෙන නිර්මාණය කර ඇති මෙහි parameters බිලියන 27කට වඩා අඩංගු වේ. සාමාන්යයෙන් එවැනි model එකක් ගබඩා කිරීමට ආසන්න වශයෙන් 54GB memory ප්රමාණයක් අවශ්ය විය හැකිය.
නමුත් PrismML සමාගම සිය compression ක්රමය භාවිතයෙන් එම model එකේ ප්රමාණය 3.9GB පමණ දක්වා අඩු කිරීමට සමත්ව ඇති බව පවසයි. එම නිසා විශාල data center එකක් හෝ cloud server එකක් භාවිත නොකර, iPhone එකක් මතම model එක ධාවනය කිරීමට හැකි බව සමාගම සඳහන් කරයි.
AI model එකක් මෙතරම් කුඩා කරන්නේ කොහොමද?
සාමාන්ය AI model එකක එක් එක් weight හෙවත් model එක ඉගෙනගත් අගයන් ගබඩා කිරීම සඳහා සාමාන්යයෙන් 16-bit වැනි ඉහළ precision එකක් භාවිත වේ.
PrismML තාක්ෂණය මඟින් එම අගයන් 1-bit හෝ සීමිත අගයන් තුනක් පමණක් භාවිත කරන Ternary format එකකට පරිවර්තනය කරයි. මෙම ක්රියාවලිය quantization ලෙස හඳුන්වන අතර එමඟින් model එකට අවශ්ය storage සහ RAM ප්රමාණය විශාල ලෙස අඩු කළ හැකිය.
Bonsai 27B model එක ප්රධාන versions දෙකකින් ලබාදී තිබේ.
1-bit version එක 3.9GB පමණ වන අතර, හැකි උපරිම මට්ටමින් model එක කුඩා කිරීම සඳහා නිර්මාණය කර තිබේ.
Ternary version එක 5.9GB පමණ වන අතර, 1-bit version එකට වඩා වැඩි ගුණාත්මකභාවයක් සහ නිවැරදිභාවයක් ලබාදීම ඉලක්ක කරගෙන තිබේ.
වේගය සහ battery භාවිතයත් අඩු විය හැකියි
PrismML සමාගම පවසන ආකාරයට එහි compressed AI models සාමාන්ය versions සමඟ සංසන්දනය කිරීමේදී 10 සිට 15 ගුණයක් දක්වා අඩු memory ප්රමාණයක් භාවිත කළ හැකිය.
එම models හය සිට අට ගුණයක් දක්වා වේගයෙන් ක්රියාකළ හැකි අතර, බලශක්ති භාවිතයද තුන් ගුණයක සිට හය ගුණයක් දක්වා අඩු කළ හැකි බව සමාගම කියා සිටියි.
කෙසේ වෙතත් මේවා PrismML විසින් ඉදිරිපත් කරන ලද පරීක්ෂණ ප්රතිඵල වන අතර, මිලියන ගණනක් iPhone පරිශීලකයන් භාවිත කරන සැබෑ පරිසරයකදී ලැබෙන performance එක තවමත් සම්පූර්ණයෙන් තහවුරු කර නොමැත.
Compression කිරීමෙන් ගුණාත්මකභාවයට බලපෑමක් තිබේද?
AI model එකක් මෙතරම් විශාල මට්ටමකින් සංකෝචනය කිරීමේදී එහි performance එකේ සුළු අඩුවීමක් ඇතිවිය හැකි බව PrismML ප්රධාන විධායක නිලධාරියා පිළිගෙන තිබේ.
විශේෂයෙන්ම model එකේ factual knowledge හෙවත් නිශ්චිත තොරතුරු මතක තබාගෙන නිවැරදිව පිළිතුරු ලබාදීමේ හැකියාවට බලපෑමක් ඇතිවිය හැකිය.
එහෙත් reasoning, coding සහ පියවර කිහිපයකින් යුත් ගැටලු විසඳීම වැනි හැකියාවන් සාපේක්ෂව හොඳ මට්ටමක පවතින බව සමාගම පවසයි. Ternary version එක සාමාන්ය full-precision model එකක benchmark performance එකෙන් සියයට 95කට වැඩි ප්රමාණයක් ලබාගන්නා බවද PrismML සඳහන් කරයි.
Apple සමාගමට මෙය වැදගත් වන්නේ ඇයි?
දැනට භාවිත වන බලවත් AI සේවාවන් බොහොමයක් user request එකක් cloud server එකකට යවා එහිදී process කර ප්රතිඵලය නැවත device එකට එවයි.
මෙහිදී internet connection එකක් අවශ්ය වීම, response ලබාගැනීමට වැඩි කාලයක් ගතවීම සහ පරිශීලක දත්ත server වෙත යැවීමට සිදුවීම වැනි අවාසි තිබේ.
විශාල AI models සෘජුවම iPhone එක තුළ ධාවනය කළ හැකි වුවහොත් Apple සමාගමට වාසි කිහිපයක් ලබාගත හැකිය.
පරිශීලකයාගේ දත්ත device එකෙන් පිටතට නොයවා process කළ හැකි නිසා privacy තවදුරටත් වැඩි කළ හැකිය. Internet connection එකක් නොමැති අවස්ථාවලදීත් ඇතැම් AI features භාවිත කළ හැකි අතර, cloud server වෙත request යැවීමට අවශ්ය නොවන නිසා responses වේගවත් විය හැකිය.
ඒ සමඟම Apple සමාගමට AI සේවා පවත්වාගෙන යාම සඳහා අවශ්ය data center සහ cloud infrastructure වියදම්ද අඩු කරගත හැකිය.
Siri සඳහා මෙය වැදගත් වෙනසක් විය හැකියි
Apple සමාගම Siri වඩාත් බලවත් සහ තරඟකාරී AI assistant එකක් බවට පත් කිරීමට උත්සාහ කරමින් සිටියි.
විශාල language model එකක් iPhone එකේම ධාවනය කිරීමට හැකි වුවහොත්, Siri හට සරල voice commands වලට පිළිතුරු ලබාදීමෙන් ඔබ්බට ගොස් සංකීර්ණ ප්රශ්න තේරුම් ගැනීම, පියවර කිහිපයකින් යුත් කාර්යයන් සිදු කිරීම සහ apps අතර තොරතුරු භාවිත කිරීම වැනි දේ වඩාත් වේගයෙන් සිදු කළ හැකි වනු ඇත.
Apple දැනටමත් සිය on-device Apple Intelligence model සඳහා parameters බිලියන තුනක් පමණ භාවිත කරන model architecture එකක් යොදාගෙන තිබේ. PrismML වැනි තාක්ෂණයක් භාවිත කළහොත් ඒ හා සැසඳීමේදී බොහෝ ගුණයකින් විශාල models ජංගම උපාංග මත ධාවනය කිරීමේ හැකියාව ලැබිය හැකිය.
