Apple объединила данные людей и роботов для обучения нейросетей — новый метод задействовал AR-гарнитуры вместо дорогого оборудования

Apple представила новую методику обучения человекоподобных роботов, объединяющую данные от людей и машин. Подход, названный PH2D, описан в исследовании Humanoid Policy ~ Human Policy, опубликованном через неделю после анонса нейросетевых моделей Matrix3D и StreamBridge.

Исследователи акцентируют внимание на недостатках традиционных методов, где обучение роботов строится исключительно на их собственных демонстрациях.

Такие подходы требуют дорогостоящего оборудования для телеуправления и сложны в масштабировании. PH2D решает проблему за счёт интеграции данных от людей, что снижает затраты.

Для сбора информации использовались модифицированные потребительские устройства. Гарнитура Apple Vision Pro применялась в урезанном формате: только нижняя левая камера обеспечивала визуальное наблюдение, а ARKit фиксировал позы головы и рук. В качестве бюджетной альтернативы задействовали Meta* Quest со стереокамерами ZED Mini. Участники экспериментов, используя эти гарнитуры, выполняли задачи вроде …