«ВКонтакте» решила защитить пользователей от оскорблений с помощью нейросети

В День народного единства соцсеть «ВКонтакте» протестирует две функции, которые помогут пользователям реже сталкиваться с нетерпимостью, – в том числе травлей по национальному признаку, оскорблениями на почве религиозной принадлежности и угрозами.

В пресс-релизе соцсети указывается, что у администраторов появится возможность включить специальный фильтр враждебных высказываний в настройках сообщества, а комментаторы увидят предложение отказаться от обидных реплик. Оба инструмента работают на основе алгоритмов – в том числе нейросети, распознающей оскорбления.

Нейросеть удаляет комментарии, в которых содержатся угрозы, – например, пожелания смерти или обещания причинить вред здоровью. При этом администратор сможет увидеть все комментарии, которые отсеял фильтр, и восстановить их или отправить автора в черный список.

Как и другие фильтры в сообществах, фильтр враждебных высказываний можно включить или выключить в любой момент.

Нейросеть продолжает развиваться: результаты эксперимента будут использованы для ее дальнейшего обучения и доработки фильтра.

Также «ВКонтакте» масштабирует прошлогодний эксперимент: когда пользователь пишет комментарий, алгоритмы определяют, есть ли в тексте признаки оскорблений. Если да, автор получает совет не тратить время на агрессию и отказаться от обидной реплики.

В минувшем году благодаря такому предупреждению за сутки удалось сократить количество оскорблений в комментариях на 36%.

В этот раз функция будет определять более широкий спектр оскорблений и угроз. Среди них – проявления нетерпимости по национальному признаку, а также враждебные высказывания на почве религиозной принадлежности, возраста, пола и других характеристик.

4 ноября предупреждение смогут увидеть все пользователи, а позже начнется долгосрочный тест, рассчитанный на часть аудитории. По результатам эксперимента Команда ВКонтакте примет решение о дальнейшем использовании функции.

Как и раньше, любой пользователь может сообщить об оскорбительных публикациях службе модерации – с помощью кнопки «Пожаловаться». Она есть у записей, комментариев, фотографий, видео, историй и клипов. Чтобы усилить модерацию, «ВКонтакте» добавила отдельную причину для жалоб на оскорбительные материалы – «Враждебные высказывания». Также можно добавить профиль недоброжелателя в черный список.