Компания OpenAI объявила о внедрении новой системы безопасности для своих моделей o3 и o4-mini, направленной на предотвращение их использования в создании биологических и химических угроз. Разработанный монитор анализирует запросы пользователей в реальном времени и блокирует те, что связаны с рискованными сценариями, такими как разработка биологического оружия.
Согласно внутреннему отчёту OpenAI, система основана на алгоритме, который отслеживает «рассуждения» моделей, чтобы выявлять нарушения политик контента. В рамках тестирования специальная группа по проверкам на уязвимости (так называемая «красная команда») потратила более 1000 часов на симулирование опасных диалогов. В 98,7% случаев o3 и o4-mini отказывались предоставлять информацию, связанную с биоугрозами. Однако компания признаёт, что тесты не учитывали ситуации, когда пользователи повторно формулируют запрещённые запросы после блокировки. Поэтому часть ответственности по-прежнему возложена на человеческий контроль.
Свежие комментарии