Доступно даже на смартфонах: в Сбере научили легковесные модели ИИ распознавать эмоции в сложных условиях

Учёные лаборатории искусственного интеллекта Сбербанка предложили новый подход к распознаванию эмоций в реальных условиях. Специалисты показали, как комбинация визуальных, акустических и текстовых данных повышает точность эмоционального анализа на основе моделей искусственного интеллекта.

Сгенерировано нейросетью Dall-E

На практике системы распознавания эмоций часто сталкиваются с несколькими проблемами.

Во-первых, это низкая точность в условиях изменяющегося освещения, ракурсов или фонового шума. Во-вторых, высокие вычислительные затраты современных алгоритмов, затрудняющие возможность обработки чувствительной персональной информации (видео лиц) на пользовательских устройствах. Наконец, для обучения моделей необходимы большие объёмы данных, при этом качественная разметка несколькими экспертами эмоций на видео обычно занимает много времени.

Решение исследователей Сбера основано на трёх ключевых аспектах. Эксперты предложили использовать обученные на открытых наборах фотографий …