Принципиально новые риски

За последнее десятилетие в мире ускорилось появление технологий, способных придать традиционным вооружениям уникальные возможности, присущие боевым роботам. На площадке ООН для таких вооружений определили термин — смертоносные автономные системы (САС). Так называют оружие, способное поражать цели на земле, в воздухе, на воде и под водой без участия человека.

Автономные ударные системы с использованием искусственного интеллекта создают угрозы, которые можно разделить на три группы:

Первая группа включает риски, связанные с исключением человека из цикла принятия решений на применение оружия — так называемая «проблема значимого человеческого контроля». Представители мировой общественности (неправительственные организации «Stop Killer Robots», «Article 36», «International Committee for Robot Arms Control», бизнесмены и ученые, в частности, Стивен Хокинг, Илон Маск, Стив Возняк) считают, что полностью автономное оружие с большой вероятностью не будет в состоянии соответствовать международному гуманитарному праву и правам человека, создаст проблему с определением ответственных лиц в случае противоправных действий автономных аппаратов. Боевым роботам ставится в вину неспособность испытывать сочувствие, то есть то человеческое чувство, которое нередко выступает сдерживающим фактором в отношении применения оружия. Еще один аргумент против САС — их использование противоречит принципу гуманности и требованиям общественного сознания.

1. Вторая группа угроз связана с риском нарушения стратегической стабильности. Элементы автономности и искусственного интеллекта приходят во все сферы военного противостояния. Так, в ядерной сфере появляются высокоточные тактические ядерные бомбы и гиперзвуковые аппараты с новыми ядерными боеголовками; в космической области — беспилотные космические дроны, системы низкоорбитальных спутников наблюдения и связи; в сфере ПРО — связка системы слежения и наблюдения с системой управления и связи; в киберсфере — кибероружие и автоматизированная система ответного киберудара. Некоторые из этих видов вооружений, как, например, гиперзвуковые ракеты или средства кибернападения, могут служить инструментом стратегического сдерживания наряду с ядерным оружием. То есть даже у неядерных стран возникает возможность резкого наращивания как потенциала сдерживания, так и ударных возможностей. За этими тенденциями стоит серия рисков:

• риск установления технологического и военного глобального превосходства одной из стран;
• новая гонка вооружений;
• повышение региональной и международной напряженности;
• сокращение транспарентности военных программ;
• игнорирование международного права;
• распространение опасных технологий среди негосударственных субъектов.

Основываясь на опыте военного использования военных и коммерческих дистанционно управляемых беспилотных летательных аппаратов (БПЛА), исследователи делают вывод о том, что технологии производства САС, их компоненты и программное обеспечение получат значительное распространение в мире, что станет толчком для гонки вооружений, приводящей к усилению нестабильности и эскалации разнообразных рисков.

Некоторые эксперты полагают, что поддержание стратегической стабильности в ближайшие десятилетия потребует пересмотра основ теории сдерживания в многополярном мире.

1. Третья группа угроз вытекает из радикального сокращения времени на принятие стратегических решений в рамках системы сбора и анализа разведывательной информации (Intelligence, Surveillance & Reconnaissance (ISR)) и военного управления и связи (Communications, Command and Control (C3)). Главный недостаток человека в сравнении с машиной состоит в том, что человеческому мозгу необходимо слишком много времени для оценки ситуации и принятия верного решения. Целый ряд военных программ в ведущих государствах мира (в частности программы Пентагона Maven, COMPASS, Diamond Shield) нацелен на то, чтобы суперкомпьютеры взяли на себя работу по анализу различных данных и подготовке сценариев для политического и военного руководства.

С этим связаны, как минимум, такие риски:

• нехватка времени для принятия осмысленных решений.
• недостаточный контроль над ситуацией со стороны человека.
• принятие стратегических решений на основе математических алгоритмов и систем машинного обучения, а не человеческой логики.
• отсутствие взаимопонимания между машиной и человеком. Нейронные сети пока не в состоянии объяснить закономерности своей работы на человеческом языке.

Справедливости ради следует отметить, что глобализация и развитие трансграничных проектов, социальных сетей, транснациональных корпораций, международной кооперации, спутников наблюдения, радиоэлектронных средств слежения сделали мир более прозрачным. В мире появилось много сигнальных датчиков, которые сообщают о появлении новых угроз еще до того, как они материализуются.

Рассмотрим все три группы угроз более подробно. 

 

Проблема значимого человеческого контроля

 

21 декабря 2016 г. 5-я Обзорная конференция Конвенции по «негуманному» оружию приняла решение сформировать группу правительственных экспертов с полномочиями «изучить и согласовать возможные рекомендации в отношении вариантов, связанных с новыми технологиями в области САС». По мнению наблюдателей, несмотря на заметные терминологические разногласия, участники конференции в целом были согласны в том, что применение силы должно всегда находиться под «значимым человеческим контролем».

Некоторые эксперты видят в этой проблеме четыре составляющих:

1. Риски для гражданских лиц со стороны САС.
2. Риски нарушения прав человека и человеческого достоинства.
3. Неспособность САС соблюдать законы ведения войны.
4. Неопределенность в отношении юридической ответственности за намеренные и непреднамеренные последствия использования таких систем.

Было бы неверно думать, что появление САС обнаружило в международном праве чистые страницы, которые необходимо немедленно заполнить.  Государства и их граждане обязаны соблюдать действующие нормы и принципы международного права, которые содержат исчерпывающий перечень правил и ограничений при ведении войны.

Международное гуманитарное право (МГП) было создано для защиты человеческих ценностей, и, по мнениюряда экспертов, некоторые его документы имеют прямое отношение к проблеме САС:

• Оговорка Мартенса — сформулированное русским юристом и дипломатом Ф. Мартенсом в 1899 г. правило о том, что даже если то или иное положение прямо не предусмотрено статьями действующего права, в ситуациях вооружённых конфликтов сторонам необходимо в первую очередь руководствоваться принципами гуманности, человечности и здравого смысла. 
• «Принципы гуманности», вытекающие из Всеобщей декларации прав человека 1948 г. и Международного пакта о гражданских и политических правах 1966 г.
• Статья 36 Дополнительного протокола I 1977 г. к Женевским Конвенциям 1949 г. о новых видах оружия.
• Различные документы, формирующие право вооруженных конфликтов с его основными принципами:

1. Различие между гражданским населением и комбатантами.
2. Принцип пропорциональности (соразмерности) применения силы.
3. Принцип военной необходимости.
4. Ограничения средств и методов ведения войны (запрет на излишние разрушения или причинение чрезмерных страданий).

Поскольку действующие международные документы возлагают обязанность по толкованию обязательств на национальные правительства, международные эксперты опасаются, что те будут толковать их в свою пользу, пренебрегая понятиями морали и человеческого достоинства. Из этого они делают вывод о том, что есть необходимость в более детальном изложении норм МГП применительно к САС.

Так или иначе, последние консультации о будущем смертоносных автономных систем 27–31 августа 2018 г. в Женеве на площадке Конвенции по негуманному оружию (КНО) завершились согласованием десяти потенциальных принципов, на которых в будущем мог бы базироваться подход международного сообщества к САС. Ключевые из них — все разработки в сфере искусственного интеллекта военного назначения должны вестись в соответствии с международным гуманитарным правом, а ответственность за применение подобных систем в любом случае должен нести человек. Окончательное решение о будущем Группы правительственных экспертов, вероятно, будет принято 23 ноября 2018 г. на встрече стран-подписантов КНО. 

 

САС и стратегическая стабильность

В июне 1990 г. в ходе Вашингтонского саммита СССР и США сделали совместное заявление относительно ядерных и космических вооружений. В нем стороны изложили теоретические основы стратегической стабильности, которую определили как состояние стратегических отношений между двумя державами, при котором ни у одной из них нет стимулов для первого удара. Стороны выделяли в стратегической стабильности два понятия — кризисная стабильность и стабильность гонки вооружений. Кризисная стабильность понималась как ситуация, при которой даже в условиях кризиса ни одна из сторон не имела серьезных возможностей и стимулов для первого ядерного удара. Стабильность гонки вооружений определялась в зависимости от наличия стимулов для наращивания собственного стратегического потенциала страны.

Принципы стратегической стабильности, закрепленные в заявлении 1990 г., рассматривались в качестве руководящих принципов контроля над вооружениями. Позже появились понятия «стабильность по отношению к первому удару» и даже «кросс-доменная стратегическая стабильность».

Военный искусственный интеллект обладает потенциалом для нарушения стабильности в рамках любых концепций. Некоторые высокопоставленные стратеги Пентагона уже сделали заявления о том, что автономные роботы могут обеспечить военное доминирование на планете. Они полагают, что боевые дроны заменят ядерное оружие и высокоточные боеприпасы и позволят реализовать так называемую «третью стратегию компенсации» (third offset strategy).

Очевидно, технологии машинного обучения и автономности открывают возможность использовать ядерные боеприпасы (например, высокоточные ядерные бомбы пониженной мощности B61-12) для выполнения тактических задач и наоборот — решать задачи стратегического характера с применением нестратегических вооружений.

Например, появление гиперзвуковых аппаратов с высокой способностью преодоления ПРО ведет к понижению порога начала ядерного конфликта.

Беспилотные космические дроны Boeing X-37B Orbital Test Vehicle и XS-1 Spaceplane или гиперзвуковой беспилотник X-43A Hypersonic Experimental Vehicle изменят модель космической конфронтации. Объединение системы слежения и наблюдения Space Tracking and Surveillance System (STSS) с системой управления и связи Command and Control, Battle Management, and Communications (C2BMC) демонстрирует совершенно новые возможности поражения баллистических ракет. Стратегия нейтрализации ракетных систем прямо на пусковых установках кибер- и радиоэлектронными средствами «Left-of-Launch» открывает новую дорожную карту для ПРО. Программа QUANTUM и автоматизированная система ответного киберудара  (automated hacking-back cyber weapon) могут привести в положение «Огонь» разрушительные компьютерные программы.

Вызывает тревогу быстрое распространение технологий БПЛА в мире, а также начавшаяся конкуренция между основными производителями ударных дронов за мировой рынок беспилотников. Соединенные Штаты сегодня располагают более 20 тысяч БПЛА, среди которых несколько сотен ударных боевых дронов. Ведутся разработки малых ударных дронов, которые в перспективе смогут наносить удары в составе роя в автономном режиме, распределяя функции без участия оператора. Официальный Китай не раскрывает количество беспилотников на вооружении НОАК, но, по мнению некоторых специалистов, оно примерно равно количеству дронов у Пентагона. Китай не только производит, но и активно экспортирует стратегические беспилотники, способные выполнять как разведывательные, так и ударные миссии. Вслед за США с их программой MQ-25 Stingray Китай ведет разработки БПЛА палубного размещения, а также беспилотников, способных взаимодействовать с пилотируемыми самолетами.

Великобритания, Израиль, Турция, Иран, Япония также претендуют на место среди ведущих производителей БПЛА в мире. Военные стратеги больших и малых государств считают, что в будущем беспилотники составят основу ВВС. Еще в 2015 г. главком ВМС США Рей Мабус заявлял, что самолет F-35, вероятно, станет последним пилотируемым истребителем ВМС, а беспилотные летательные аппараты станут «новой реальностью во все расширяющихся сферах». 

 

Аутсорсинг C3ISR и стратегический цейтнот

Использование искусственного интеллекта (ИИ) в военной сфере приобретает все больший размах. Как правило, программа по автоматическому сбору и анализу данных открывает возможности для новых проектов в смежных областях. Применение того, что принято называть «искусственным интеллектом» в военном деле в ближайшие годы с большой вероятностью будет увеличиваться в геометрической прогрессии.

Не в последнюю очередь за счет ИИ появились или в ближайшее время появятся новые виды вооружений и соответствующие новые воинские подразделения — киберкомандование, противоракетная оборона, космические войска, средства разведки на основе ИИ, средства информационной войны, РЭБ с использованием ИИ, лазерное оружие, автономные транспортные средства, робототехнические подразделения, БПЛА, средства борьбы с БПЛА, гиперзвуковые летательные аппараты, подводные дроны и подразделения гидронавтов.

В будущем традиционные рода вооруженных сил будут изменять свой облик, образуя различные сочетания для использования преимуществ новых систем на основе ИИ. Так, исследования показали двукратное повышение эффективности противовоздушной и противоракетной обороны при работе совместно с системами радиоэлектронной борьбы.

Использование ИИ в военной сфере приведет к тому, что постепенно будет автоматизировано и роботизировано все, что возможно, и в первую очередь — материально-техническое снабжение, логистика. Логистика будущего способна серьезно повлиять на стратегическую стабильность через высокую автоматизацию процессов снабжения вплоть до автономных поставок боеприпасов на поле боя.

Будет развит обмен информацией между родами войск в вертикальном и горизонтальном направлениях — от пилота в воздухе к командиру взвода на земле, и наоборот, причем, искусственный интеллект отфильтрует информацию, чтобы каждый получал только полезные данные, очищенные от информационного шума. Именно так задумано в системе управления Diamond Shield, которую сегодня строит компания Lockheed Martin. Данные, собранные на земле, на воде, в воздухе и в космосе, в том числе с участием программы Пентагона MAVEN, после обработки в нейронных сетях будут раздаваться в режиме реального времени командирам всех уровней. Искусственный интеллект будет дирижировать действиями подразделений, формируя т.н. «алгоритмический способ ведений боевых действий» (Algorithmic warfare).

ИИ будет следить и за тайными действиями в мирное время. Примером подобных проектов может служить программа COMPASS (Collection and Monitoring via Planning for Active Situational Scenarios ) — «Сбор и мониторинг через планирование активных ситуационных сценариев». Ее цель — анализ ситуации и поведения действующих лиц в условиях «серой зоны», где «серая зона» понимается как «ограниченный конфликт на грани между “обычной” конкуренцией государств и тем, что традиционно считается войной». Стратегический цейтнот будет вести к тому, что оценка национальных угроз и применение оружия будут также автоматизированы и переданы на аутсорсинг командно-аналитическим системам с использованием искусственного интеллекта.

Симбиоз аналитических и командных программ на основе нейронных сетей повышает риск того, что в модели взаимодействия «человек-машина» (Human-Machine Interaction) для человека останется слишком мало места, и в его распоряжении сохранится только одна кнопка для одобрения решений, принимаемых машиной.

Очертания аналитических систем и систем управления на основе ИИ будут храниться под большим секретом, что станет дополнительным поводом для беспокойства общественности.

В аллегорическом смысле человеческая цивилизация находится перед дверью в мир, где военные решают свои задачи с использованием искусственного интеллекта и автономных боевых роботов. Пока мы не знаем точно, насколько это опасно. Возможно, худшие ожидания по этому поводу не оправдаются. Но при худшем развитии событий откроется ящик Пандоры, несущий страхи и страдания. Предупредить такой сценарий заранее — самое правильное решение.