Роботы-убийцы LARS как зеркало человеческой морали

Мы все чаще сталкиваемся с фактами, свидетельствующими об активных разработках автономных систем, способных вести бой без участия человека. Эксперты называют их LARS (Lethal autonomous robotics — смертельные автономные роботы). Среди перспективных направлений военные называют разработку биомиметических систем подводного слежения, малых роботов-дронов, действующих совместно (эта технология на базе "роевого интеллекта" известна как Proliferated Autonomous Weapons); тяжелых безэкипажных наземных машин и т. д.

По мнению аналитиков Пентагона, к 20-му году продукты военных разработок достигнут уровня "полной автономии" от человека при ведении боевых действий, а к 30-му году вырастут до такой степени, что люди окажутся в этой системе самым слабым компонентом.

Проблема в том, за действия этих машин никто не будет нести прямой юридической ответственности. Об этом еще весной нынешнего года заявил представитель Управления Верховного комиссара ООН по правам человека, южноафриканский профессор Кристоф Хайнс. Он не одинок в своей озабоченности ― опасения профессора разделяют эксперты из Международного комитета по контролю за роботами военного назначения (ICRAC). А ведущая правозащитная организация Human Rights Watch даже запустила специальную кампанию "Остановить роботов-убийц".

Оппоненты отвечают правозащитникам, что технический прогресс остановить невозможно. По большому счету, появление боевых роботов было запрограммировано самим ходом человеческой истории. Эпоха массовых армий и масштабных войн сопровождалась резким снижением эффективности одиночного военнослужащего. Во время русско-японской войны боец с винтовкой попадал в противника один раз из нескольких десятков выстрелов. Во время Второй мировой эта пропорция, по некоторым данным, изменилась до одного попадания на 10 тысяч выстрелов.

Фото: EPA

Иное дело роботизированные системы. Уже при нынешнем уровне развития они убивают настолько хорошо, насколько им позволяет оружие, программное обеспечение и погода. Как говорится, "одна цель – один выстрел" (что приводит к огромным потерям среди личного состава противника). И никакой опасности для собственных солдат. Правда, техническое несовершенство и человеческий фактор являются причинами трагических сбоев. Но даже при этом технологически развитое государство получает подавляющее, неоспоримое преимущество на любом театре военных действий. Многие эксперты считают, что это преимущество нуждается в юридическом регулировании. Говорит футуролог, разработчик программы Punto Switcher Сергей Москалев:

"Мы должны признать юридически то, что уже существует на самом деле. Уже давно существуют самонаводящиеся ракеты, самостоятельно принимающие решения о выборе режима полета, о методике противодействия ПРО противника. Эти ракеты после старта действуют автономно".

Правда, до "искусственного интеллекта" этим системам еще далеко. Но "ящик Пандоры" уже открыт: создание полностью автономных боевых роботов является только вопросом времени. И прежде чем запускать их в производство, эксперты призывают сосредоточиться на вопросах, имеющих нравственно-философское измерение, ответы на которые человеку имеет смысл поискать в самом себе.

К примеру, аналитики сомневаются в том, что LARS смогут отличить человека одной национальности в зоне боевых действий от представителя другой, мирного гражданина — от комбатанта. И это вполне естественное опасение, поскольку мы сами часто не в состоянии дать событиям верную оценку. Отсюда, кстати говоря, произрастают причины трагических сбоев в боевом использовании беспилотников, когда операторы не успевали верно интерпретировать информацию.

Разработчики боевых роботов считают их полную независимость от человека главным плюсом. LARS способны в доли секунды принимать решения, на которые оператору потребовалось бы куда больше времени. А отсутствие "человеческого фактора" снижает вероятность ошибки и к тому же исключает человеческие эмоции вроде страха или ненависти. Иными словами, LARS в меньшей степени основывают свои действия на "наиболее вероятном сценарии" — как это делает человек. Просто потому что имеют в распоряжении значительно больший объем информации. И в этом вроде бы их исключительное достоинство.

С другой стороны, если LARS и не способны совершать человеческие ошибки, то они не обладают и той свободой воли, которой от природы наделены люди. Лишенные человеческих чувств, они лишены человеческого опыта. Роботы ограничены той информацией, которую поставляют им их сенсоры. А "человеческие существа хрупки, несовершенны и в самом деле могут вести себя "не по-человечески", но в то же время они способны возвыситься над минимально предъявляемыми требованиями к узаконенному убийству", ― считает профессор Кристоф Хайнс. По его мнению, "война без раздумий – это механическая бойня".

Главный риск использования LARS ― это потенциальное нарушение правил и обычаев ведения войны. К примеру, роботы не смогут предугадывать последствия тех или иных действий человека и, следовательно, не сумеют распознать перелом в настроении противника, если он в бою с роботом захочет, например, сдаться в плен. В результате роботы будут убивать раненых и сложивших оружие противников. Ведь они свободны не только от ненависти, но и от жалости.

Ученые уже относительно давно пытаются привить культурные императивы бездушному компьютеру. Может ли машина поступать и оценивать свои поступки с точки зрения нравственности? – на этот вопрос пока нет однозначного ответа. Можно вспомнить о знаменитых трех законах робототехники Айзека Азимова, которые, по сути, накладывают на поведение роботов человеческую сетку моральных координат. Но здесь разработчики сталкиваются с фундаментальным противоречием. Мы до сих пор толком не разобрались в самих себе.

Несколько лет назад в журнале International Journal of Reasoning-based Intelligent Systems была опубликована статья, авторы которой обратили внимание общественности на так называемую проблему вагонетки. Ученые моделировали типичную моральную дилемму – возможно ли навредить одному или нескольким людям, чтобы спасти жизни других людей.

Один из экспериментов назывался "свидетель": вагонетка тянется вверх из туннеля автоматическим тросом. Когда она почти достигает вершины, трос обрывался и тележка летит вниз, при этом на ее пути находится 5 человек, которые никак не успевают убежать. Но есть возможность перевести стрелку и пустить вагонетку на запасной путь. При этом погибает шестой человек, который не в курсе происходящего и элементарно не успевает сообразить что к чему. Большинство участников опроса соглашалось с тем, что стрелку перевести необходимо, пожертвовав одним ради пяти.

Второй эксперимент назывался "Пешеходный мост". Ситуация та же, что и в эксперименте "Свидетель", только нет запасного пути. Теперь человек стоит на мосту, под которым проходит путь, по которому несется вагонетка. Можно толкнуть человека на пути перед вагонеткой, тогда она остановится, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже. В этой ситуации вердикт большинства был противоположным: участники сочли недопустимым жертвовать одним ради пяти.

Авторы экспериментов подчеркивают: при одинаковом соотношении жертв и спасенных в казалось бы аналогичных случаях человек принимает два противоречащих друг другу решения. Все решают обстоятельства и моральный императив.

Возникает вопрос, как научить машину мыслить по-человечески, имитировать искания человеческой души (притом что даже среди участников экспериментов не наблюдалось единства мнений при выборе одного из двух вариантов). Говорит генеральный директор практического Центра научной политической мысли и идеологии Степан Сулакшин:

"Этот вопрос прежде всего относится к самому человеку: что есть нравственно в его решении о лишении жизни другого? А уже следующий шаг – использование для этого различных технических устройств. До конца не решены вопросы эвтаназии, абортов, смертной казни.

Думать, что мы в состоянии найти решение для проблемы машинной этики, пока преждевременно. Это поле для дискуссий. Технически эта проблема ставится не в первый раз. А вот этически и морально – она нова.

Общие подходы кажутся очевидными. Человек должен становиться более человечным. Новый вызов, который заключается в предоставлении права техническим устройствам самим миловать или казнить, весьма актуален. Его решение, мне кажется, в том, чтобы задать высший критерий – гуманистичность. Даже в пограничных и неоднозначных проблемах".

Получается, что во многом от нас самих зависит, какими будут роботы вообще, и боевые роботы в частности. Как и любое другое оружие, они сами по себе не представляют угрозы. Угрозу таит в себе человек, полный неразрешимых моральных дилемм. И все то, что он создает своими руками, может быть с одинаковой эффективностью использовано как во имя смерти, так и во имя жизни. Робототехника здесь не исключение.