— Господин Бустрём, вы философ и автор книг о том, что ждёт нас в будущем. В них среди прочего вы выдвинули гипотезу уязвимого мира. Поправьте, если я ошибаюсь, но, исходя из неё, рано или поздно технологический прорыв может обречь нас на гибель, и поэтому будет необходима глобальная система слежения.

— Это чрезмерное упрощение, но гипотеза уязвимого мира состоит в том, что на определённом этапе технологического развития породить мощнейшую разрушительную силу станет слишком легко. Как только цивилизация выйдет на такой уровень развития, она самоуничтожится. Представьте, если бы для создания ядерного оружия, например, вместо использования такого труднодоступного сырья, как плутоний или обогащённый уран, достаточно было бы, скажем, лишь разогреть песок в микроволновке. Вероятно, тогда цивилизации пришёл бы конец...

— Но с помощью тотального контроля будущее не предугадать. Конечно, можно отслеживать все действия людей, но и под наблюдением они будут изобретать вещи, о разрушительности которых ты не будешь и подозревать, пока не произойдёт что-то ужасное. Сам факт слежения ничего не предотвратит…

— Если предположить, что на определённом этапе технологического развития мир станет уязвим, возникнет вопрос, что можно предпринять в этой ситуации, чтобы предотвратить уничтожение всего живого. И похоже, что при некоторых сценариях единственно возможным решением будет повсеместное наблюдение.

Но достаточно ли будет даже такого? Это зависит от конкретных обстоятельств. Например, от того, с какой лёгкостью можно будет сеять разрушение. Если для того, чтобы уничтожить планету, достаточно будет щелкнуть пальцами или сказать волшебное слово, тогда, очевидно, слежки будет недостаточно. Но если говорить о мире, в котором на сооружение разрушительного устройства у себя дома потребуются несколько недель и какие-то навыки, то можно предположить, что предельно выверенная система массового наблюдения позволит предотвратить катастрофу.

Конечно, само по себе тотальное наблюдение ― тоже источник риска для человеческой цивилизации, поскольку позволит различным тоталитарным режимам действовать ещё эффективнее.

• Ник Бустрём
• © fhi.ox.ac.uk

— Постоянная слежка сама по себе — атрибут тоталитарного режима.

— Смотря в каких целях используется полученная информация. Если её будут собирать для того, чтобы централизованная власть всецело контролировала жизни всех и каждого, тогда — да, получится тоталитаризм беспрецедентного уровня. Но, скажем, при пассивном наблюдении люди продолжили бы вести свою обычную жизнь. Меры принимались бы лишь в том случае, если кто-нибудь попытается создать оружие массового поражения. При таком раскладе это не воспринималось бы как ужасный тоталитаризм.

— Но осуществимо ли это? У людей, стоящих во главе такой программы, возникнет соблазн воспользоваться ею в своих целях. Такова природа человека…

— Да. Полагаю, что в той или иной степени, в разных странах существуют системы сдерживания и противовесов. Сейчас мы располагаем множеством мощных инструментов, которыми пользуются как деспоты, так и демократические и либеральные правительства. Всё зависит от государства.

Конечно же, в случае создания даже очень выверенной системы массового наблюдения теоретически возникнет угроза того, что сразу же или в скором времени она окажется в руках неблагонамеренных граждан и будет использоваться ими для всевозможных притеснений.

Это одна из главных причин подозрительного отношения к технологиям наблюдения, что, в принципе, обоснованно. Но такое решение всё равно может быть оправданным. Ведь это не вопрос нашего выбора — мир так устроен, что на определённом этапе технологического развития уничтожать становится заметно проще, чем созидать или защищать. И в такой ситуации может оказаться, что единственным способом предотвратить самоуничтожение будет очень выверенное массовое наблюдение.

— Я своими глазами видела, как человеческие пороки и неорганизованность берут верх над любыми ограничениями и нормами. Это как с травой, прорастающей через асфальт…

— По мере того, как процесс производства оружия будет упрощаться и требовать всё меньше труднодоступного сырья, людских ресурсов и площадей, обнаружить угрозу с помощью нынешних технологий будет всё сложнее и сложнее. Однако и эта область стремительно развивается. Скажем, программное обеспечение для распознавания лиц позволяет с помощью камер наблюдать за кем угодно. Можно даже представить (это, если хотите, крайний случай, но просто чтобы продемонстрировать теоретическую возможность), что все будут одеваться в определённые цвета и носить на себе камеры и микрофоны — тогда система искусственного интеллекта сможет отслеживать и классифицировать все ваши действия. А в случае незаконных действий могла бы звучать сирена или оповещались бы люди поблизости.

— Лично меня искусственный интеллект смущает тем, что он создан людьми — по сути, несовершенными существами. По-моему, если несовершенные существа изобрели искусственный интеллект, подражающий своему создателю, то этот продукт тоже несовершенен, а значит, рано или поздно что-то да упустит.

— Во-первых, бы не сказал, что он подражает человеку. А во-вторых, в зависимости от конкретной ситуации, может быть необязательно следить абсолютно за всем.

Нынешние возможности правоохранительных органов, конечно, сильно ограничены. Но мы уже наблюдаем серьёзные прорывы в использовании искусственного интеллекта для распознавания чего-либо — лиц или определённых действий. Можно предположить, что через 10—20 лет эти технологии превратятся в довольно серьёзный инструмент.

— То есть это не будет добровольной передачей человечества под контроль машин? Вот что меня волнует...

— Понимаю. Но я лишь говорю о том, что существуют варианты развития событий, при которых уязвимый мир будет либо уничтожен, либо объят системой слежения. В зависимости от используемой технологии наблюдения могут иметь место и разные режимы работы этой системы. В том числе она может быть максимально автоматизирована. Однако в ближайшее время определённо не обойдётся без человеческого участия. Например, для контроля результатов работы системы и определения мер реагирования.

• Система тотального слежения поначалу определённо не обойдётся без участия человека
• Gettyimages.ru
• © Colin Anderson Productions pty ltd

— Станет ли искусственный интеллект умнее нас?

— В конечном счёте, думаю, да. И к тому моменту нам нужно будет как-то гарантировать, что эти системы продолжат работать в соответствии с нашим замыслом. Даже когда превзойдут нас интеллектуально. Это техническая проблема, которую нужно решить техническими же средствами.

Но даже если она будет решена, остаётся проблема политическая, или же организационная — называйте как хотите. Допустим, люди смогут заставить искусственный интеллект делать то, что им нужно. Но как обеспечить использование этих новых мощных технологий во благо, а не в качестве орудия войны и притеснения? Это ведь, согласитесь, проблема уже не техническая, а политическая.

— До гипотезы уязвимого мира у вас была другая гипотеза, согласно которой мы все, возможно, живём внутри некой матрицы…

— Да, гипотеза симуляции. Цель рассуждения — показать верность одного из трёх утверждений. Утверждение номер один: «Все цивилизации на нашем нынешнем этапе технологического развития вымирают до достижения технологической зрелости». Может быть, существуют какие-то далёкие, иные, инопланетные цивилизации, но ни одна из них технологической зрелости так и не достигла.

Второй вариант — все цивилизации, достигшие технологической зрелости, теряют интерес к созданию того, что я называю «симуляция предков». Подробной компьютерной симуляции со степенью детализации достаточной для того, чтобы у людей в этом случае были сознание и переживания, подобные нашим. 

Третий вариант (на мой взгляд, наиболее вероятный) — сейчас мы почти наверняка живём в компьютерной симуляции, которую создала некая продвинутая цивилизация.

• На определённом этапе технологической зрелости можно запустить десятки тысяч симуляций всей истории человечества
• Gettyimages.ru
• © gremlin

— Но если мы живём в симуляции, зачем «нам будущим» в принципе такую симуляцию запускать? Просто ради интереса?

— Причин множество. Возможно, ради научного исследования, желания рассмотреть альтернативную историю: «Что было бы, если бы всё пошло иначе?» Это может представлять теоретический интерес, а может помочь понять другие, внеземные цивилизации при контакте с ними.

Может быть, ради развлечения. Мы же сейчас пишем романы, погружающие читателя в художественный мир. Ставим пьесы в театре, снимаем кино, делаем компьютерные игры, зачастую достигая максимально возможного для нас реализма. Конечно, сейчас мы не можем сделать их идеально реалистичными. Но, возможно, делали бы, будь у нас соответствующие возможности. Вот вам ещё один пример. 

Может быть, ради какого-то «исторического туризма»: если настоящие путешествия во времени невозможны, можно выстроить точную симуляцию прошлого и взаимодействовать с ней — а ощущение будет, как если бы ты действительно отправился в прошлое.

— Главный вопрос, пожалуй, таков: даже если мы живём в симуляции, действительно ли нам это важно? По мнению тех же буддистов, весь мир — это иллюзия. И что с того? Отменяет ли это факт нашего существования, хорошее и плохое, любовь, чувства, различные проблемы?

— Едва ли. Если вы поверите, что живёте в симуляции, наверное, вам стоит продолжать жить так, будто вы в ней не живёте, то есть заниматься повседневными делами. Кроме того, мне кажется, в симуляции перспектив больше — по сравнению с существованием в реальном мире.

К примеру, мы убеждены, что Вселенная не может внезапно прекратить своё существование. Ведь действует закон сохранения энергии, импульса и так далее. Но если вы живёте в симуляции и кто-то вдруг её отключил, разумеется, вся модель тут же канет в небытие. 

Можно предположить, что в симуляции очевидным образом возможна загробная жизнь, ведь одного и того же человека можно просто перезапустить в другой симуляции.

— Теперь всё прояснилось… При этом очевидно, что всё это так или иначе связано с искусственным интеллектом. Ведь кому, если не ему, суждено управлять симуляцией? 

— Да, верно.

— Во множество современных прогнозов заложено наступление «судного дня» — момента, когда искусственный интеллект поработит человечество. Но есть и те, кто уверен, что он, наоборот, поможет нам решить множество проблем, таких как голод, неравенство, глобальное потепление… А как считаете вы?

— Истина где-то посередине. Это как врата, через которые необходимо пройти. Ведь по ту сторону — дорога, которая приведёт нас к поистине великому будущему. Если мы к тому моменту не самоуничтожимся, то этот переход состоится. Поэтому наша задача заключается в том, чтобы в оставшееся время изо всех сил сосредоточиться на исследованиях, поиске масштабируемых методов контроля над искусственным интеллектом, приведении миропорядка к максимально достижимой адекватности, активизации сотрудничества. Особенно важно, чтобы те же специалисты по искусственному интеллекту выработали единые нормы. С пониманием того, что это делается для общего блага. В общем, за оставшиеся годы нам нужно стать рассудительнее.