На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

iXBT.com

34 подписчика

Свежие комментарии

  • Иван Николаев
    Японцы одновременно выпустили три лимитированных серии. Вот кросстрек, плюс импреза, плюс леворг. Кросстрек, конечно,...Представлен новый...
  • Юрий Стенякин
    А если учесть что компания официально ушла с российского рынка то преимущества спорныПредставлена нова...
  • Mikhail Stepanov
    Ха-ха! В то время, как российская гиперзвуковой ракета летит со скоростью около 20 тыс. км. В час!США успешно испыт...

Рост галлюцинаций до 48% ставит под сомнение будущее LLM

Несмотря на заявления разработчиков о прогрессе, большие языковые модели (LLM) демонстрируют тревожный рост ошибок. Отчёт OpenAI, опубликованный в апреле, показал, что модели o3 и o4-mini выдавали галлюцинации в 33% и 48% случаев соответственно. Для сравнения: модель o1, выпущенная в конце 2024 года, ошибалась лишь в 16% случаев.

Аналогичные данные приводит рейтинговая платформа Vectara — модель DeepSeek-R1 с «улучшенным логическим выводом» продемонстрировала двузначный рост галлюцинаций.

OpenAI отрицает связь между обновлениями логического вывода и ростом ошибок. Представители компании заявили, что работают над снижением галлюцинаций в актуальных версиях. Однако эксперты сомневаются в эффективности текущих методов. Например, рейтинг Vectara, оценивающий согласованность при суммировании текстов, выявил, что модели с логическим выводом и без него имеют почти одинаковый уровень галлюцинаций. При этом, как отметил Форрест Шэн Бао из Vectara, многие ошибки DeepSeek-R1 были «безвредными» — …

Ссылка на первоисточник
наверх