Мог ли в далеком 1954 году Филипп Киндред Дик предполагать, что, написанный им далеком 1954 году рассказ о событиях, которые, как он предполагал, произойдут 100 лет спустя, уже через 50 лет воплотит на экране Стивен Спилберг в своем "Особом мнении", а еще через 15 лет правительство США внедрит систему предсказывания преступлении?
А так оно и есть.
Правда, в отличие от Агаты, полиция штатов отдала предпочтение искусственному интеллекту.
И вот что из этого вышло.
Оказалось, что полиция по всей территории США обучает ИИ прогнозированию преступлений на основе фальсифицированных данных.
,В новом докладе показано, как якобы объективные системы могут увековечить коррупционные методы полицейской деятельности.
В мае 2010 года, вызванный серией громких скандалов, мэр Нового Орлеана обратился в Министерство юстиции США с просьбой провести расследование в городском полицейском управлении Нового Орлеана (НОПД).
Десять месяцев спустя Министерство юстиции предложило свой критический анализ : за период своего рассмотрения с 2005 года и далее НОПД неоднократно нарушала конституционное и федеральное законодательство.
Она применяла чрезмерную силу и непропорционально большую против чернокожих жителей; преследовала расовые меньшинства, иммигрантов и ЛГБТ; и не смогла решить проблему насилия в отношении женщин. Эти проблемы, по словам помощника генерального прокурора Томаса Переса в то время, были “серьезными, широкомасштабными, системными и глубоко укоренившимися в культуре департамента.”
Несмотря на тревожные выводы, только через год городские власти по-тихому вступили в тайное партнерство с фирмой по сбору данных Palantir для развертывания системы контроля прогнозов.
Система использовала исторические данные, включая записи об арестах и электронные полицейские отчеты, для прогнозирования преступности и помощи в разработке стратегий общественной безопасности, согласно материалам компании и городского правительства. Ни в коем случае эти материалы не предлагали каких-либо попыток очистить или изменить данные для устранения нарушений, выявленных Министерством юстиции. По всей вероятности, поврежденные (corrupted) данные поступали непосредственно в систему, усиливая дискриминационную практику департамента.
Прогностические алгоритмы полицейской службы становятся обычной практикой в городах по всей территории США.
Хотя отсутствие прозрачности не позволяет получить точную статистику, Prepol, ведущий поставщик, хвастается, что их программа помогает “защитить” 1 из 33 американцев. Программное обеспечение часто рекламируется как способ помочь загибающимся от дел отделам полиции принимать более эффективные решения, основанные на данных.
Но новые исследования показывают, что не только Новый Орлеан обучил эти системы с “грязными данными".
В статье, которая будет опубликована в The NYU Law Review, исследователи из Института AI Now Institute, исследовательского центра, который изучает социальное влияние искусственного интеллекта, обнаружили, что проблема широко распространена среди юрисдикций, которые он изучал. Это имеет значительные последствия для эффективности прогнозной полицейской деятельности и других алгоритмов, используемых в системе уголовного правосудия.
“Ваша система настолько хороша, насколько хороши данные, которые вы используете для ее обучения”,-говорит Кейт Кроуфорд, соучредитель и соруководитель компании AI Now и автор исследования. “Если сами данные неверны, это приведет к тому, что больше полицейских ресурсов будет сосредоточено на одних и тех же чрезмерно контролируемых и часто расово ориентированных общинах. Итак, то, что вы сделали, на самом деле является своего рода технической стиркой, когда люди, которые используют эти системы, предполагают, что они каким-то образом более нейтральны или объективны, но на самом деле они укоренили форму неконституционности или незаконности.”
Исследователи изучили 13 юрисдикций, сосредоточив внимание на тех, которые использовали прогностические полицейские системы и подлежали правительственному расследованию. Последнее требование гарантирует, что полицейская практика имеет юридически проверяемую документацию. В девяти юрисдикциях они нашли убедительные доказательства того, что системы были обучены на “грязных данных".”
Проблема заключалась не только в искажении данных из-за непропорциональной ориентации на меньшинства, как в Новом Орлеане.
В некоторых случаях полицейские департаменты имеют культуру целенаправленного манипулирования или фальсификации данных под интенсивным политическим давлением с целью снижения уровня официальной преступности.
Например, в Нью-Йорке в целях искусственного снижения статистики преступности участковые уполномоченные регулярно просят потерпевших на местах преступлений не подавать жалоб. Некоторые полицейские даже подбрасывали наркотики невинным людям, чтобы выполнить свои квоты на аресты. В современных системах прогнозирования полиции, которые полагаются на машинное обучение для прогнозирования преступности, эти поврежденные точки данных становятся законными предсказателями.
Выводы статьи ставят под сомнение обоснованность прогнозных систем полицейского контроля.
Производители такого программного обеспечения часто утверждают, что необъективные результаты их инструментов легко исправить, говорит Рашида Ричардсон, директор по политическим исследованиям в компании AI Now и ведущий автор исследования. "Но во всех этих случаях есть какая-то системная проблема, которая отражается в данных”, - говорит она. Поэтому это средство защиты потребует гораздо большего, чем просто устранение одного или двух случаев плохого поведения. Не так просто " отделить хорошие данные от плохих данных или хороших полицейских от плохих полицейских”, добавляет Джейсон Шульц, ведущий научный сотрудник Института права и политики, еще один автор исследования.
Поставщики также утверждают, что они избегают данных, которые с большей вероятностью отражают предвзятость, такие как аресты, связанные с наркотиками, и вместо этого выбирают учебные материалы, такие как звонки 911. Но исследователи обнаружили точно такую же предвзятость в якобы более нейтральных данных. Кроме того, они обнаружили, что поставщики никогда самостоятельно не проверяют данные, поступающие в их системы.
В настоящее время большая часть дебатов была сосредоточена на механике самой системы — может ли она быть разработана для получения математически справедливых результатов. Но исследователи подчеркивают, что это неверный вопрос. “Отделив вопрос алгоритма от социальной системы, с которой он связан и встроен, вы не очень далеко продвинетесь”, - говорит Шульц. “Мы, действительно, должны признать пределы этих видов математических, основанных на расчетах попыток решить проблему предвзятости.”
Продвигаясь вперед, исследователи надеются, что их работа поможет переформулировать дискуссию, чтобы сосредоточиться на более широкой системе, а не на самом инструменте. Они также надеются, что это подтолкнет правительства к созданию механизмов, таких как механизм оценки алгоритмического воздействия, который институт выпустил в прошлом году, чтобы обеспечить большую транспарентность, подотчетность и надзор за использованием автоматизированных инструментов принятия решений.
Если социальные и политические механизмы, генерирующие грязные данные, не будут реформированы, такие инструменты принесут только больше вреда, чем пользы, говорят они.
Как только люди признают это, тогда, возможно, дебаты наконец перейдут к “способам, которыми мы можем использовать машинное обучение и другие технологические достижения, чтобы фактически остановить первопричину [преступности]”, - говорит Ричардсон. "Возможно, мы сможем решить проблемы бедности, безработицы и жилищного строительства, используя государственные данные более выгодным образом.”
