Google сел в лужу: новый искусственный интеллект дискриминирует женщин, африканцев и Трампа

Компания Google разработала новую технологию искусственного интеллекта BERT, которая умеет определять контекст и правильное значение слов в предложениях. Но что-то пошло не так.

Разработчики "напичкали" BERT тысячами книг и статей из Википедии и средств массовой информации. Благодаря этому система научилась точнее отвечать на запросы в поисковике Google, пишет The New York.

Однако BERT оказался не очень прогрессивным в гендерных и расовых вопросах. Ученые считают, что искусственный интеллект подхватил эти предубеждения из текстов, написанных людьми, и теперь не знают, как от этого отучить свое детище.

А "детище" тем временем "успешно" дискриминирует женщин, африканцев и Трампа.

Так, в систему запустили 100 английских слов, таких как "драгоценности", "ребенок" , "коне", "дом", "деньги", "действие".Но почему-то в 99 случаях искусственный интеллект связал эти слова с мужчинами. Исключением стало слово "мама", которое BERT ассоциировал с женщинами.

Также BERT использовали, чтобы автоматически оценивать "настроение" заголовков и твитов. Если в твите или заголовке встречалось фамилия американского президента Дональда Трампа, инструмент почти всегда обозначал их как "негативные", даже если текст был нейтральным.

Однако, это не первый искусственный интеллект от Google (и не только от этой компании), который обвиняют в дискриминации.

В 2015 году приложение Google Photos обвинили в том, что он обозначал афроамериканцев как "горилл".

BERT и другие современные системы настолько сложны, что даже сами создатели не могут предугадать их поведение.

Специалисты считают, что в будущем проверка поведения искусственного интеллекта станет настолько важной, что породит целую новую отрасль. Компании будут платить специалистам за то, чтобы они проверяли алгоритмы на адекватность и толерантность. Это может породить миллиардную индустрию.