©  public domain United States Department of Energy

Увлеченные шумихой по поводу современных «кризисов», с которыми сталкивается человечество, мы забываем о большом количестве поколений, которые, как мы надеемся, придут к нам на смену. Речь идет не о тех людях, которые будут жить через 200 лет после нас, а о тех, который будут жить через тысячу или 10 тысяч лет после нас. Я использую слово «надеюсь», поскольку мы сталкиваемся с рисками, которые называются экзистенциальными и которые могут уничтожить человечество. Эти риски связаны не просто с крупными катастрофами, а с такими катастрофами, которые способны положить конец истории.

Однако не все игнорируют отдаленное будущее. Мистики вроде Нострадамуса регулярно пытаются определить дату конца мира. Герберт Уэллс попытался разработать науку предсказаний и, как известно, описал будущее человечества в книге «Машина времени». Другие писатели придумывали иные варианты отдаленного будущего для того, чтобы предупредить, развлечь или пофантазировать.

Но даже если бы все эти первопроходцы и футурологи не задумывались о будущем человечества, результат бы все равно остался прежним. Не так много мог раньше сделать человек для того, чтобы спасти нас от экзистенциального кризиса, или даже для того, чтобы вызвать его.

Сегодня мы находимся в более привилегированном положении. Человеческая активность постепенно формирует будущее нашей планеты. И хотя мы еще далеки от того, чтобы контролировать катастрофы, мы уже разрабатываем технологии, способные смягчить их последствия или, по крайней мере, что-то делать в этом отношении.

Будущее несовершенное

Однако эти риски все еще недостаточно изучены. Есть бессилие и фатализм относительно перечисленных проблем. Люди говорят об апокалипсисах в течение тысячелетий, однако мало кто пытался их предотвратить. Человеческие существа, кроме того, не столь сильны в том, что касается еще не появившихся проблем (в особенности из-за воздействия эвристики доступности (availability heuristic) — тенденции переоценивать вероятность тех событий, примеры которых нам знакомы, и недооценивать те события, которые мы не сразу можем вспомнить).

Если человечество перестанет существовать, то подобного рода утрата будет, как минимум, эквивалентом утраты всех живущих индивидов, а также крушением всех их целей. Однако на самом деле подобная потеря, вероятно, будет намного больше. Исчезновение человека означает потерю смысла, созданного предыдущими поколениями, утрату жизни всех будущих поколений (а количество будущих жизней может быть астрономическим), а также всех тех ценностей, которые они, вероятно, могли бы создать. Если сознания и разума больше нет, то это, возможно, означает, что ценность сама по себе перестает существовать во вселенной. Это весьма серьезная моральная причина для того, чтобы неустанно работать для предотвращения экзистенциальных угроз. И на этом пути мы не должны совершить ни единой ошибки.

С учетом сказанного, я выбрал пять самых серьезных угроз человеческому существованию. Однако следует учитывать некоторые дополнительные обстоятельства, постольку этот список еще не окончательный.

В течение последних нескольких столетий мы открывали для себя или сами создали новые экзистенциальные риски: в начале 1970-х годов были открыты супервулканы, а до манхэттенского проекта ядерная война была невозможна. Поэтому нам следует ожидать появления и других угроз. Кроме того, некоторые риски, которые сегодня кажутся серьезными, могут исчезнуть по мере накопления знаний. Вероятность определенных событий также со временем меняется. Иногда это происходит потому, что мы проявляем озабоченность по поводу существующих рисков и устраняем их причины.

И, наконец, тот факт, что нечто является возможным и потенциально рискованным, не означает, что по этому поводу стоит проявлять беспокойство. Существует такие риски, с которыми мы вообще ничего не можем сделать — например, потоки гамма-излучений, возникающие при взрыве галактик. Но если мы узнаем, что мы способны что-то сделать, то приоритеты меняются. Так, например, с улучшением санитарных условий, появлением вакцин и антибиотиков чума стала восприниматься не как проявление божественной кары, а как результат плохого состояния здравоохранения.

1. Ядерная война

Хотя пока были использованы всего две атомные бомбы — в Хиросиме и Нагасаки во время Второй мировой войны, — а запасы ядерных зарядов сократились в сравнении с пиковыми показателями периода холодной войны, было бы ошибкой считать, что ядерная война невозможна. На самом деле, она, судя по всему, не является невероятной.

Кубинский ракетный кризис был очень близок к тому, чтобы превратиться в ядерный. Если мы будем исходить из того, что подобный кризис возникает каждые 69 лет и существует один шанс из трех, что он может привести к развязыванию ядерной войны, то возможность такого рода катастрофы повышается и соответствующий коэффициент составит 1 к 200 в год.

Еще хуже то, что Кубинский ракетный кризис является лишь наиболее известным случаем. История советско-американского ядерного устрашения изобилует кризисными ситуациями и опасными ошибками. Действительная вероятность теперь уже не зависит от международной напряженности, однако, вряд ли вероятность возникновения ядерного конфликта окажется ниже коэффициента 1 к 1000 в год.

Полномасштабная ядерная война между главными державами привела бы к гибели сотен миллионов людей непосредственно в момент обмена ударами или в результате их последствий — это была бы немыслимая катастрофа. Однако для экзистенционального риска этого еще недостаточно.

То же самое следует сказать о рисках, связанных с последствиями ядерных взрывов, — часто они преувеличиваются. На локальном уровне они являются смертельными, однако в глобальном масштабе это относительно ограниченная проблема. Кобальтовые бомбы были предложены как гипотетическое оружие конца света, способное уничтожить все в результате последствий, связанных с их использованием, однако на практике они очень сложны в изготовлении и дороги. И их создание, по сути, невозможно.

Реальную угрозу представляет собой ядерная зима — то есть частицы копоти, которые могут подняться в стратосферу и вызвать тем самым долговременное понижение температуры и обезвоживание планеты. Современные климатические симуляции показывают, что в подобном случае будет невозможно заниматься сельским хозяйством на большей части планеты в течение многих лет. В случае реализации подобного сценария миллиарды людей умрут от голода, а небольшое количество оставшихся в живых будут подвержены другим угрозам, в том числе болезням. Главная неопределенность состоит в том, как будут себя вести поднявшиеся в небо частицы копоти: в зависимости от их состава результат может быть отличными, и пока у нас нет надежного способа измерения такого рода последствий.

2. Пандемии, вызванные биоинженерией

Естественные пандемии стали причиной гибели большего количества людей, чем войны. Однако естественные пандемии вряд ли представляют собой экзистенциальную угрозу. Обычно существуют люди, невосприимчивые к болезнетворным микроорганизмам, а потомки выживших становятся еще более защищенными. Эволюция также не особенно благосклонна к тем паразитам, которые уничтожают организмы-носители, вот почему сифилис по мере своего распространения в Европе превратился из злобного убийцы и хроническое заболевание.

К сожалению, в настоящее время мы сами способны сделать заболевания более губительными. Один из наиболее известных примеров состоит в том, как включение дополнительного гена в мышиную оспу — мышиный вариант оспы — сделал ее намного более опасной для жизни и способной заражать уже привитых особей. Недавние работы с птичьим гриппом показали, что заразность заболевания может быть целенаправленно увеличена.

В настоящее время риск того, что кто-то будет умышленно распространять какую-то вредоносную инфекцию, является незначительным. Однако по мере того, как биотехнологии совершенствуются и становятся дешевле, все большее количество группировок будут способны сделать заболевание еще более опасным.

Большинство работ в области биологического оружия проводятся государствами, которые хотят получить нечто контролируемое, поскольку уничтожение человечества не является полезным в военном отношении. Однако всегда найдутся люди, которые заходят делать какие-то вещи просто потому, что они в состоянии это сделать. У других могут быть более возвышенные цели. Так, например, члены религиозной группировки Аум Синрике пытались ускорить наступление апокалипсиса за счет использования биологического оружия, а не только с помощью их более успешно проведенного нападения с применением нервно-паралитического газа. Некоторые люди полагают, что ситуация на Земле улучшится, если на ней больше не будет человеческих существ и так далее.

Количество смертных случаев в результате применения биологического оружия и эпидемических заболеваний заставляет подумать о том, что они развиваются по степенному закону — в большом количестве случаев жертв немного, но в небольшом количестве случаев жертв оказывается много. С учетом имеющихся в настоящее время данных риск возникновения глобальной пандемии в результате биотерроризма, судя по всему, является небольшим. Но это относится лишь к биотерроризму: правительства с помощью биологического оружия убили значительно больше людей, чем биотеррористы (около 400 тысяч человек стали жертвами японской программы по проведению биологической войны во время Второй мировой войны). Технологии становятся более действенными, и поэтому создание в будущем еще более болезнетворных микроорганизмов будет более простым.

3. Суперинтеллект

Интеллект обладает большой силой. Незначительное увеличение способности решать проблемы и координировать поведение в группе является причиной того, почему остальные виды обезьян оказались не у дел. В настоящее время их существование зависит от принимаемых человеком решений, а не от того, что они делают. Быть умным — это настоящее превосходство для людей и организаций, и поэтому много усилий направляется на совершенствование нашего индивидуального и коллективного интеллекта: от препаратов для улучшения познавательных способностей до разработки программ, связанных с искусственным интеллектом.

Проблема состоит в том, что интеллектуальные системы демонстрируют хорошие результаты в достижении своих целей, но если эти цели плохо определены, то они имеют возможность использовать свою власть для достижения умным способом своих катастрофических целей. Нет оснований думать о том, что сам по себе интеллект способен заставить что-то или кого-то действовать правильно и морально. На самом деле существует вероятность того, что некоторые типы суперинтеллектуальных систем не будут подчиняться моральным правилам даже в том случае, если бы они были возможны.

Еще большее беспокойство вызывает тот факт, что, пытаясь объяснить какие-то вещи искусственному интеллекту, мы сталкиваемся с глубокими практическими и философскими проблемами. Человеческие ценности расплывчаты, это сложные проблемы, которые мы еще не можем хорошо определить, и даже если бы мы могли это сделать, мы, возможно, не понимали бы всех последствий того, что мы пытаемся создать.

Основанный на программном обеспечении интеллект может очень быстро ликвидировать отставание от человека, и возможности машины могут стать опасными. Проблема состоит в том, что искусственный интеллект может по-разному соотноситься с биологическим интеллектом: он может работать быстрее на более быстрых компьютерах, его части могут быть расположены на большем количестве компьютеров, некоторые его версии могут быть протестированы и обновлены в процессе работы, а также существует возможность внедрения новых алгоритмов, способных резко увеличить производительность.

Сегодня многие исходят из того, что «прорыв в области интеллекта» является вероятным, если сами программы будут иметь достаточные возможности для производства более совершенных программ. Если такого рода скачок произойдет, то тогда будет существовать большое различие между умной системой (или людьми, говорящими ей, что надо делать), и остальным миром. Подобная ситуация вполне может привести к катастрофе, если цели будут неправильно установлены.

Необычная вещь относительно суперинтеллекта состоит в том, что мы не знаем, возможен ли быстрый и мощный прорыв в развитии интеллекта: может быть, наша нынешняя цивилизация в целом совершенствует себя с самой высокой скоростью. Однако есть достаточно оснований полагать, что некоторые технологии способны двигать вперед определенные вещи значительно быстрее, чем возможности совершенствования их контроля со стороны современного общества. Кроме того, мы еще не в состоянии понять, насколько опасными могут быть некоторые формы суперинтеллекта и каким образом будут работать стратегии смягчения рисков (mitigation strategies). Очень сложно рассуждать о будущих технологиях, которых у нас еще нет, или об интеллекте, который превосходит то, чем мы обладаем. Среди перечисленных рисков именно у этого больше есть всего шансов стать либо по-настоящему масштабным, либо остаться просто миражом.

Вообще эта область еще недостаточно изучена, что вызывает удивление. Даже в 1950-х и 1960-х годах люди были полностью уверены в том, что суперинтеллект может быть создан «в течение жизни одного поколения», однако в то время вопросам безопасности не уделялось должного внимания. Возможно, люди тогда просто несерьезно относились к своим предсказаниям, и, вероятнее всего, считали это проблемой отдаленного будущего.

4. Нанотехнологии

Нанотехнологии — это контроль над материей с атомной или молекулярной точностью. Сама по себе она не представляет опасности и, напротив, может быть весьма хорошей новостью для многих вариантов ее применения. Проблема состоит в том, что, как и в области биотехнологии, растущие возможности также увеличивают потенциал для злоупотреблений, от которых очень сложно защититься.

Большая проблема состоит не в пресловутой «серой слизи» (grey goo) самореплицирующихся наномашин, пожирающих все на свете. Для этой цели потребуется создание весьма изощренных устройств. Сложно создать машину, способную себя воспроизводить: биология, по определению, лучше справляется с такого рода задачами. Возможно, каким-то маньякам удастся это сделать, однако существуют более доступные плоды на древе деструктивных технологий.

Наиболее очевидный риск состоит в том, что автоматически точное производство представляется идеальным вариантом для дешевого изготовления таких вещей как, например, оружие. В мире, в котором многие правительства будут обладать возможностью «распечатать» большое количество автономных или полуавтономных систем вооружений (включая возможность увеличения их производства), гонка вооружений может стать очень интенсивной — и в результате возрастет нестабильность, и поэтому весьма соблазнительным может показаться нанесение первого удара до того момента, когда неприятель получит большое преимущество.

Оружие также может быть очень небольшим по размеру и очень точными: это может быть «умный яд», способный действовать не только как нервнопаралитический газ, но еще и выбирать своих жертв, или всепроникающие микророботы (gnatbots), миниатюрные системы наблюдения для держания населения в повиновении — все это вполне возможно. Кроме того, ядерное оружие и установки, оказывающие воздействие на климат, могут попасть в руки злоумышленников.

Мы не можем оценить вероятность экзистенциального риска, исходящую от будущих нанотехнологий, но, судя по всему, они могут быть вполне деструктивны просто потому, что способны дать все, что бы мы ни захотели.

5. Таинственное неизвестное

Наиболее тревожная вероятность состоит в том, что в мире существует нечто смертельно опасное, но мы не знаем, что это такое.

Молчание на небе может быть свидетельством этого. Объясняется ли отсутствие инопланетян тем, что жизнь и интеллект очень редки, или тем, что умная жизнь имеет тенденцию быть уничтоженной? Если существует будущий Великий Фильтр (Great Filter), то его должны были бы заметить и другие цивилизации, но даже это не помогло.

Какой бы ни была подобная угроза, она была бы почти неизбежной даже в том случае, если бы вам было известно о ее существовании, независимо от того, кто вы и что вы есть на самом деле. Нам ничего не известно о подобного рода угрозах (так не действует ни одна из перечисленных выше угроз), однако они могут существовать.

Заметьте, что наличие чего-то неизвестного не означает, что мы не можем об этом рассуждать. В замечательной статье http://arxiv.org/abs/astro-ph/0512204 Макса Тегмарка (Max Tegmark) и Ника Бострома (Nick Bostrom) показано, что определенный набор рисков должен иметь коэффициент менее показателя один к миллиарду в год, если брать за основу относительный возраст Земли.

Вас может удивить то обстоятельство, что изменение климата и падение метеоров не вошли в составленный список. Изменение климата, каким бы оно ни было ужасным, вряд ли сделает всю планету непригодной для обитания (однако оно может содержать дополнительные угрозы, если наши варианты защиты окажутся неэффективными). Метеоры, конечно же, способны стереть нас с лица Земли, но в таком случае мы должны быть очень большими неудачниками. Обычно определенный вид млекопитающих существует в течение примерно миллиона лет. Таким образом, основной коэффициент естественного исчезновения составляет приблизительно один к миллиону в год. Это значительно ниже, чем риск возникновения ядерной войны, которая спустя 70 лет все еще остается самой большой угрозой продолжению нашего существования.

Эвристика доступности заставляют нас переоценивать риски, которые часто обсуждаются в средствах массовой информации, и приуменьшать значения тех из них, с которыми человечество еще не сталкивалось. Если мы хотим продолжать существовать и через миллион лет, то нам следует исправить эту ситуацию.