В дебатах о влиянии искусственного интеллекта (ИИ) доминируют две темы. Первая – это боязнь точки невозврата, когда ИИ превзойдет человеческий разум и выйдет из-под контроля человека, возможно, с катастрофическими последствиями. Вторая связана с опасениями, что новая промышленная революция позволит машинам заменить людей во всех или почти всех сферах деятельности – от транспорта и военной отрасли до здравоохранения.
Есть и третий аспект воздействия ИИ на мир. Позволив властям тщательно отслеживать, понимать и контролировать действия своих граждан, ИИ превратит авторитаризм в жизнеспособную альтернативу либеральной демократии, впервые после окончания холодной войны. Это вызовет новый виток соперничества между социальными системами.
На протяжении десятилетий большинство политологов полагало, что либеральная демократия является единственным путем к устойчивому экономическому успеху. Либо правительства будут подавлять своих граждан и останутся бедными, либо сделают их свободными и получат экономические блага. Некоторым репрессивным режимам удавалось добиться роста экономики на какой-то период, но в долгосрочной перспективе авторитаризм всегда означал стагнацию. Искусственный интеллект может перевернуть эту дихотомию. Он предоставляет крупным, экономически развитым странам сделать своих граждан богатыми и при этом обеспечивает контроль над ними.
Некоторые страны уже пошли по этому направлению. Китай начал строить цифровое авторитарное государство, используя инструменты наблюдения и машинного обучения, чтобы контролировать недовольных граждан, и создавая систему «социального кредита». Некоторые аналогично настроенные страны покупают китайские системы или подражают им. Соперничество между либерально-демократической, фашистской и коммунистической системами определило историю XX века, теперь борьба между либеральной демократией и цифровым авторитаризмом может определить судьбы XXI столетия.
Цифровой авторитаризм
Новые технологии обеспечат высокий уровень социального контроля при разумных затратах. Власти смогут избирательно цензурировать темы обсуждения и поведение, обеспечивая свободный поток информации об экономически продуктивной деятельности и при этом не допуская вредные для режима политические дискуссии. Так называемый «великий китайский файрвол» можно считать примером подобного избирательного цензурирования.
Помимо цензурирования задним числом, ИИ и большие данные позволят прогнозировать и контролировать возможное недовольство. Система сможет работать по аналогии с таргетированием потребителей Amazon или Google, но будет более эффективной, поскольку в отличие от либеральных демократий использование данных в авторитарных государствах не ограничивается. Amazon и Google имеют доступ только к некоторым аккаунтам и устройствам, ИИ, разработанный для социального контроля, будет собирать данные со всех устройств, которыми человек пользуется ежедневно. Более того, авторитарные структуры с легкостью могут сопоставить эти данные с информацией налоговой службы, медицинских учреждений, правоохранительных органов, банков, результатами генетического скрининга и физическими параметрами (местонахождение, биометрия, изображение с камер наблюдения с помощью программ распознавания лиц), а также со сведениями, полученными от родственников и друзей. Эффективность ИИ будет зависеть от того, насколько широким окажется доступ к данным. К сожалению, количества и качества данных о каждом гражданине, доступных властям, будет достаточно, чтобы разработать отличные ИИ-системы.
Само по себе существование прогностического контроля поможет авторитарным режимам. Самоцензуру, пожалуй, можно считать самым важным дисциплинарным механизмом Штази. С помощью ИИ тактика станет еще более эффективной. Зная о вездесущем мониторинге своей физической и цифровой жизни, люди постараются избегать нежелательного поведения, даже если речь идет о рассматривании чего-то. С технической точки зрения подобное прогнозирование ничем не отличается от использования ИИ в медицине, когда до появления симптомов у человека прогнозируется развитие серьезного заболевания.
Чтобы система не давала негативных прогнозов, многие люди будут имитировать поведение «ответственного члена общества». Значение будут иметь нюансы, например, как долго человек смотрит на элементы экрана своего телефона. В результате социальный контроль повысится: люди не просто будут вынуждены вести себя определенным образом, изменится их мышление. Изучая влияние, когнитивная наука пришла к выводу, что принуждение людей к определенному поведению меняет их отношение и вырабатывает усиливающиеся привычки. Если людей заставляют разъяснять позицию, они, скорее всего, будут ее поддерживать. Такую тактику китайцы применяли против американских заключенных во время Корейской войны. Продавцы прекрасно знают: заставив потенциального покупателя немного изменить свое поведение, можно изменить и его отношение к дальнейшим, более крупным покупкам. Более 60 лет лабораторных и полевых исследований доказали невероятную способность человека рационализировать свое поведение.
Помимо повышения эффективности контроля, ИИ улучшит централизованное экономическое планирование. Как утверждает Джек Ма, основатель китайского технологического гиганта Alibaba, обладая необходимой информацией, центральные власти смогут управлять экономикой, планируя и прогнозируя рыночные силы. Вместо медленного, закостенелого, шаблонного планирования ИИ обещает быструю, детализированную реакцию на нужды потребителей.
Никто не даст гарантии, что подобный цифровой авторитаризм сможет функционировать долгое время, но это может и не потребоваться, если он станет эффективной моделью, к которой будут стремиться другие страны. Этого достаточно, чтобы спровоцировать новое идеологическое соперничество. Если правительства посчитают цифровой авторитаризм жизнеспособной альтернативой либеральной демократии, у них исчезнет стимул к либерализации. Даже если в конце концов модель провалится, попытки ее повторить будут продолжаться. Коммунистическая и фашистская модели потеряли популярность только после провала многочисленных попыток осуществить их в реальном мире.
Создание и экспорт всевидящего государства
Независимо от того, насколько полезной режиму окажется система социального контроля, построить ее будет непросто. Крупные IT-проекты тяжело довести до конца. Требуется высокий уровень координации, щедрое финансирование и много специалистов. Принесет ли система плоды? Для ответа на этот вопрос стоит взглянуть на Китай, самую влиятельную незападную страну, которая в состоянии построить такую систему.
Китай доказал свое умение реализовывать масштабные социально значимые IT-проекты, взять хотя бы уже упомянутый «великий файрвол». У него также достаточно средств для создания новых систем. В прошлом году расходы на внутреннюю безопасность выросли на 12% - до $196 млрд. Увеличение скорее всего было обусловлено необходимостью создавать новые платформы больших данных. Кроме того, у Китая есть специалисты по искусственному интеллекту. Китайские компании являются мировыми лидерами в ИИ-исследованиях, а китайские инженеры-программисты нередко опережают своих американских коллег на международных соревнованиях. Наконец, уже получившие широкое распространение технологии, например, смартфоны, могут стать основой системы персонального мониторинга. Количество владельцев смартфонов в Китае сопоставимо с показателями западных стран, а по мобильным платежам Китай является мировым лидером.
Китай уже работает над созданием ключевых элементов цифровой авторитарной системы. «Великий файрвол» совершенствуется и за последний год контроль ужесточился. По оценкам Freedom House, в Китае сложилась наихудшая ситуация с Интернет-свободами. Китай также вводит масштабную систему наблюдения в физическом мире. В 2014 г. было объявлено о схеме социального кредита, которая позволит создать интегрированную шкалу поведения каждого гражданина. Дальше всего пошли в Синьцзян-Уйгурском автономном районе, где ведется наблюдение за мусульманами-уйгурами. Те, кого система посчитала «неблагонадежным», лишаются привычной жизни, многих посылают на переобучение. Пекин может распространить действие системы на всю страну, если захочет.
Конечно, способность и готовность – разные вещи. Но Китай, по-видимому, движется к авторитаризму, отдаляясь от какой-либо либерализации. Руководство страны считает, что ИИ и «большие данные» помогут двигаться в заданном направлении. В плане развития ИИ 2017 г. отмечается, что способность прогнозировать и понимать мышление групп означает новые возможности, которые ИИ открывает для социального строительства.
Цифровой авторитаризм не ограничивается Китаем. Пекин экспортирует свою модель. Подход к Интернету, аналогичный «великому файрволу» используется в Таиланде и Вьетнаме. По данным СМИ, китайские эксперты помогали государственным цензорам на Шри-Ланке, а также поставляли оборудование для наблюдения и цензурирования в Эфиопию, Иран, Россию, Замбию и Зимбабве. Ранее в этом году китайская ИИ-фирма Yitu продала мобильные камеры с технологией распознавания лиц правоохранительным органам Малайзии.
КНР и Россия не согласны с американской концепцией свободного глобального Интернета без границ. Китай использует дипломатические и рыночные рычаги, чтобы воздействовать на глобальные технические стандарты и сделать нормой государственный контроль в Интернете, несмотря на ограничение личной свободы. После ожесточенной борьбы за влияние на новом форуме, который должен установить международные стандарты для ИИ, США создали секретариат, который поможет выработать решения, а его первое заседание состоялось в Пекине в апреле этого года. Один из директоров Huawei стал председателем комитета. Для правительств, использующих технологии слежения, эти меры могут казаться оборонительными – необходимыми для обеспечения контроля внутри страны – другие государства считают эти действия равносильными атакам на их образ жизни.
Демократический ответ
Укрепление авторитарной технологической модели управления, как ни странно, может способствовать обновлению либеральной демократии. Как либеральные демократии ответят на вызовы ИИ зависит от того, как они будут справляться с ними на внутреннем уровне и будут противодействовать авторитарной альтернативе на внешнем уровне. И там, и там есть основания для сдержанного оптимизма.
На внутреннем уровне демократиям придется предпринять скоординированные усилия, чтобы управлять новыми технологиями, но в прошлом им удавалось справляться и с более серьезными вызовами. Одна из причин оптимизма – зависимость от пути развития. В случае с новыми технологиями страны, имеющие прочные традиции индивидуальной свободы, пойдут в одном направлении, те, у кого таких традиций нет, – выберут другое направление. Влиятельные силы в американском обществе уже давно выступают против государственных программ массового наблюдения, хотя не всегда добиваются успеха. В начале 2000-х гг., например, Агентство перспективных оборонных исследовательских проектов (DARPA) приступило к созданию «Тотальной информационной прозрачности» – внутренней системы наблюдения, которая должна была объединить медицинские, финансовые, физические и другие данные. Под давлением СМИ и правозащитников Конгресс прекратил финансирование программы, хотя некоторые ее разработки оставались закрытыми для общественности на тот момент. Большинство граждан либеральных демократий признает необходимость шпионажа за рубежом и контртеррористического наблюдения внутри страны, но мощная система сдержек и противовесов ограничивает деятельность аппарата государственной безопасности. Эти сдержки и противовесы сегодня находятся под ударом и нуждаются в укреплении, но в данном случае речь идет о повторении прошлых усилий, а не о фундаментально новом вызове.
На Западе угроза индивидуальным свободам исходит не только от правительств. Олигополистические технологические компании концентрируют в своих руках власть, поглощая конкурентов и лоббируя принятие удобных норм регулирования их деятельности. Однако общество уже справлялось с подобными вызовами после предыдущих технологических революций. Вспомним антитрестовские законы Теодора Рузвельта, раздел AT&T в 1980-х гг. и ограничительные меры против Microsoft в 1990-х годах.
Цифровые гиганты также вредят медиа-разнообразию и выступают за сдерживание интересов общества и правила «Дикого Запада» в политической рекламе. Но и предыдущие радикально новые технологии – радио и телевидение подразумевали аналогичные проблемы, и обществу удалось с ними справиться. В конце концов нормативное регулирование выйдет на новый уровень и дополнит определения «медиа» и «публикатора» с учетом изменений, произошедших благодаря Интернету. Глава Facebook Марк Цукерберг сопротивлялся специальному обозначению политической рекламы, но в прошлом году под давлением изменил свою позицию.
Либеральные демократии вряд ли уступят цифровому авторитаризму. Последние опросы в странах Запада демонстрируют снижение доли тех, кто считает демократию «самым главным», но говорить о реальном ослаблении западной демократии преждевременно.
Внешний вызов со стороны нового авторитарного соперника может усилить западные демократии. Человечество склонно загонять соперничество в определенные рамки: «мы» против «них», в результате западные страны, возможно, заново определят свое отношение к цензуре и наблюдению. Большинство людей не вникает в детали политики в сфере данных и не обращает внимания на риски. Но когда эти детали превратятся в основу режима в реальном мире, они перестанут казаться скучными и абстрактными. Правительствам и технологическим компаниям придется объяснять, в чем разница.
Уроки для Запада
Запад не может изменить траекторию такой мощной и уверенной в себе страны, как Китай. Цифровые авторитарные государства, скорее всего, просуществуют некоторое время. Чтобы конкурировать с ними, либеральным демократиям понадобятся четкие стратегии.
Во-первых, власти и общество должны жестко ограничить внутреннее наблюдение и манипулирование. Необходимы антимонопольные меры против технологических гигантов. Правительства должны обеспечить многообразие и здоровый медиа-климат, в частности, противодействуя попыткам таких влиятельных гигантов, как Facebook, ограничить плюрализм, обеспечивая финансирование социально значимых медиа и своевременно обновляя нормы регулирования политической рекламы в онлайн-сфере. Нужно законодательно запретить технологическим компаниям использовать другие источники персональных данных (например, медицинские учреждения) и кардинально сократить сбор этих данных платформами, с которыми люди взаимодействуют каждый день. Даже правительства смогут использовать эти данные только в исключительных случаях, например, в ходе контртеррористических операций.
Во-вторых, Запад должен влиять на использование ИИ и «больших данных» в странах, которые не являются ни демократическими, ни авторитарными. Необходимо оказать этим странам содействие в разработке физической инфраструктуры и нормативной базы, а также не допустить использования полученных данных властями. Нужно разработать международные нормы, которые обеспечат уважение частной жизни и государственного суверенитета. Кроме того, необходимо разграничить использования ИИ и метаданных в целях обеспечения национальной безопасности и их использование в нарушение прав человека.
Наконец, западным странам нужно подготовиться к противодействию цифровому авторитаризму. Огромные ИИ-системы будут уязвимы, и поскольку режимы будут все больше опираться на них, необходимо следить, чтобы ответные меры не вышли из-под контроля. Системы избирательного цензурирования будут способствовать экономической креативности, но неизбежно откроют внешний мир. Победить в соперничестве с цифровыми авторитарными режимами можно, если либеральным демократиям удастся собрать политическую волю для совместной борьбы.
Опубликовано в журнале Foreign Affairs.
