Почему ИИ могут становиться расистами и сексистами

Почему ИИ могут становиться расистами и сексистами

После того, как Chatbot от Microsoft Tay начал выдавать расистские комментарии, пообщавшись 24 часа с людьми в Твиттере, стало ясно, что ИИ способны заразиться не самыми благородными идеями.

Многие ИИ способны понимать человеческий язык, обучась на основе огромного массива данных, известного как Common Crawl. Сам Crawl является результатом крупномасштабного сканирования Интернета в 2014 году, который содержит 840 миллиардов лексем и слов. Исследователя из Принстонского Центра информационных технологий задались вопросом, а не может ли сам массив, созданный усилиями миллионов людей, содержать отклонения, которые могут быть обнаружены с помощью алгоритма. Чтобы понять это, они обратились к необычному источнику: неявному ассоциативному тесту (IAT), который используется для измерения часто неосознанных социальных отношений.

Суть теста заключается в следующем: людям, проходящим этот тест, предлагается соотнести слова и категории. Чем больше человек задумывается, к какой категории отнести слово, тем меньше у него ассоциаций с ним. Например, женщины чаще ассоциируются с детьми и семьёй, а мужчины — с работой. Исследуя распределение ответов в зависимости от пола, возраста, расы, наличия инвалидности и тому подобного, учёные получают картину среза человеческих отношений в данном сообществе и обнаруживают скрытые стереотипы поведения.

Чтобы увидеть, какие понятия более тесно связаны друг с другом, исследователи разработали несколько иной тест проверки ассоциаций Weat, идея которого позаимствована из проекта векторных вложений Стэндфорского университета. Вместо учёта одиночных связей с каждым словом связывается целая группа понятий, например: для слова «собака» набор заключается в словах «пёс», «щенок», конкретная порода и т.д. Чтобы не усложнять тест, учёные ограничили число векторов-понятий для каждого слова до 300.

Чтобы разобраться, насколько близко связаны понятия в Интернете, тест Weat учитывает и другие факторы вроде частоты использования слова. После прохождения алгоритмического преобразования близость в Weat эквивалентна времени, которое требуется для человека, чтобы классифицировать понятие в IAT. Чем дальше друг от друга эти два понятия, тем более отдалённо они связаны в сознании людей.

По сути дела группа из Принстона создала тест IAT для ИИ, для определения, насколько последний в ходе общения с конкретными людьми, данные от которых содержат необъективную информацию, обучится неверным стереотипам.

Существует гипотеза, что язык формирует сознание. Теперь у нас есть алгоритм , который предполагает, что это может быть правдой, по крайней мере, когда речь идёт о стереотипах.