Предвзятость искусственного интеллекта. Одобрит ли нейросеть кредит человеку старше 40 лет?

Не так давно бурно обсуждался почти скандал о предвзятости искусственного интеллекта. Вызвал его растиражированный пример работы нейросети, когда, улучшая фото Барака Обамы, его сделали сильно похожим на европейца.

Такое изменение характеристик картинки оказалось легко объяснимо. При обучении нейросети в датасете было намного больше лиц людей европеоидной расы. Поэтому генеративная нейросеть (ГАН или VAE) выучила, что чаще всего на улучшенной картинке должен получаться европеец.

Исследователи из MIT разработали SPPL (Sum-Product Probabilistic Language): вероятностный язык программирования для оценки степени предвзятости искусственного интеллекта.

Проблема предвзятости ИИ — одна из самых острых в современном мире, и решения ей пока нет. Системы распознавания лиц плохо работают на лицах афроамериканцев, нейронки для super-resolution осветляют кожу, а ИИ для приема на работу предпочитает нанимать мужчин, нежели женщин.

SPPL обешает быть более эффективным, чем системы для оценки предвзятости, которые создавались ранее. Главное преимущество SPPL — скорость: он работает в ~3500 раз быстрее, чем аналоги.

Вот примеры запросов, которые можно обрабатывать с помощью SPPL:

— Какова вероятность того, что данный ИИ одобрит кредит человеку старше 40 лет? — Выдайте 100 наиболее вероятных профилей, чья заявка на кредит будет одобрена с вероятностью 1; — Одинакова ли вероятность получения кредита иммигрантом и не иммигрантом с одинаковым социально-экономическим статусом?

К сожалению, SPPL пока работает только к классическими моделями ML: нейросети пока не поддерживаются. Но будем надеяться, что такой инструмент продвинет нас в достижении непредвзятого ИИ

Эта проблема несбалансированных датасетов и «предвзятости» ИИ хорошо известна, но, к сожалению, решения ей пока нет.