ИИ научился ловить скрытую дискриминацию

Команда исследователей из Университета Лугано и Женевского университета разработала способ использовать большие языковые модели — такие как GPT-4o — для оценки справедливости поисковых систем. Новая методика позволяет выявлять гендерные перекосы в ранжировании результатов поиска, даже если они не выражены напрямую в тексте и остаются незаметны традиционным метрикам.

Это может быть особенно важно в тех случаях, когда алгоритмы влияют на социально значимые решения — например, при приёме на работу, выборе медицинской информации или образовательных рекомендаций.

Авторы представили новую метрику CWEx (Class-wise Weighted Exposure), которая учитывает не только, сколько документов в выдаче относятся к разным гендерным категориям, но и насколько высоко они находятся в списке. Предыдущие подходы измеряли баланс, просто подсчитывая ключевые слова, связанные с мужчиной или женщиной. CWEx же использует семантическую оценку контекста с помощью языковых моделей, способных понимать общий смысл и …