Microsoft представила Magma — ИИ-систему для самостоятельного управления роботами и интерфейсами

Microsoft представила модель искусственного интеллекта Magma, способную одновременно обрабатывать визуальные данные, текст и управлять физическими объектами. Разработка стала результатом совместных усилий исследователей из Microsoft, KAIST, Университета Мэриленда, Университета Висконсин-Мэдисон и Университета Вашингтона.

В отличие от существующих систем, таких как PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft, которые используют отдельные модели для восприятия и управления, Magma объединяет эти возможности в единую основу. Система способна не только анализировать мультимодальные данные, но и самостоятельно действовать на их основе – будь то навигация по пользовательскому интерфейсу или манипуляции с физическими предметами.

Скриншот видео, на котором Magma управляет роботизированной рукой. Источник: Microsoft Research

Модель основана на двух ключевых компонентах. Первый – Set-of-Mark – идентифицирует объекты, с которыми можно взаимодействовать, присваивая числовые …