Рост галлюцинаций до 48% ставит под сомнение будущее LLM

Несмотря на заявления разработчиков о прогрессе, большие языковые модели (LLM) демонстрируют тревожный рост ошибок. Отчёт OpenAI, опубликованный в апреле, показал, что модели o3 и o4-mini выдавали галлюцинации в 33% и 48% случаев соответственно. Для сравнения: модель o1, выпущенная в конце 2024 года, ошибалась лишь в 16% случаев.

Аналогичные данные приводит рейтинговая платформа Vectara — модель DeepSeek-R1 с «улучшенным логическим выводом» продемонстрировала двузначный рост галлюцинаций.

OpenAI отрицает связь между обновлениями логического вывода и ростом ошибок. Представители компании заявили, что работают над снижением галлюцинаций в актуальных версиях. Однако эксперты сомневаются в эффективности текущих методов. Например, рейтинг Vectara, оценивающий согласованность при суммировании текстов, выявил, что модели с логическим выводом и без него имеют почти одинаковый уровень галлюцинаций. При этом, как отметил Форрест Шэн Бао из Vectara, многие ошибки DeepSeek-R1 были «безвредными» — …