Apple хочет наделить каждый iPhone собственной большой языковой моделью. Компания работает над оптимизацией таких систем

Компания Apple не спешит присоединяться в общей гонке чат-ботов и искусственного интеллекта нового поколения, но работает в этом направлении. В частности, Apple исследует возможности размещения больших языковых моделей непосредственно на мобильных устройствах пользователей. 

создано DALL-E

Apple считает, что такой вариант будет лучше для пользователей, чем онлайн-доступ.

Правда, большие языковые модели не зря называются большими — они требуют огромных вычислительных ресурсов и большого объёма оперативной памяти.  

Идея купертинцев заключается в том, чтобы хранить языковые модели на флеш-памяти, объём которой на порядок-два больше, чем объём ОЗУ. Метод под названием Windowing подразумевает в том числе повторное использование моделью некоторых данных, которые она уже обработала, что снижает потребность в непрерывной выборке данных из памяти и ускоряет весь процесс. Метод Row-Column Bundling, в свою очередь, заключается в более эффективной группировке данных, что позволяет модели …