Алексей Турчин: Структура глобальной катастрофы.

3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ.

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н.Бострома и в книге Дж. Лесли, с незначительными отличиями. Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой нанороботы, а третий вымрет от голода?

3.1. Интеграция различных технологий, создающие ситуации риска.

Сам факт быстрого развития сильных технологий создаёт зону риска. Технологии имеют тенденцию помогать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno. Эта конвергенция является примером нелинейной интерференции, когда два слабых фактора, складываясь, вместе дают нелинейно сильный всплеск. Нелинейная интерференция возникает, когда взаимодействуют два принципиально разных, но направленных к одной цели механизма. Например, если двое мужчин толкают камень, то это линейная сложение. Но если мужчина и женщина создают семью, то они обретают принципиально новое качество – рождение детей. Или когда человек заболевает одновременно СПИДом и туберкулёзом – обе болезни относительно хронические, но вместе они сжигают человека очень быстро. Можно также отметить, что конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. В центре конвергенции NBIC начинает вырисовываться нечто, объединяющее достижение всех этих технологий – Искусственный Разум.

Нелинейная интерференция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)

Часто имеющие прогнозы будущего и фантастика описывают его как настоящие плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.

При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический кризис – война – применение биологического оружия.

3.2. Парные сценарии.

Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, то есть разные варианты взаимоусиления основных факторов, взятых парами, - при этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования.

При этом дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. При этом каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.

ИИ и биотехнологии.

Последовательная конвергенция (цепочка событий):

1. Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.

2. ИИ создаст сверх вирус как оружие.

3. Люди вымрут от вируса, и придётся вводить вместо них роботов.

Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:

4. Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.

5. Специальные вирусы будут устанавливать созданные самим ИИ программы в мозг людям.

6. ИИ будут создавать непосредственно из биоматериалов – нейронов, ДНК.

ИИ и сверхнаркотик.

Последовательные сценарии:

1. Например, ИИ захочет обрадовать всех людей и создаст им такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).

2. По мере смерти людей от сверхнаркотика придётся заменять их на ИИ.

3. Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ.

4. Сверхнаркотик будет оружием враждебного ИИ против людей.

Параллелная конвергенция:

5. ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.

Сверхнаркотик и биотехнологии.

1. Производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.

2. Потребность общества в наркотиках приведёт к рассвету чёрного рынка биотехнологий, который попутно сделает доступными и изготовление биооружие массового поражения.

3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг.

4. Некая заразная болезнь будет одним из своих симптомов иметь эйфорию и стремление её распространять.

Сверхнаркотик и нанотехнологии.

Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов.) Однако в целом здесь действуют те же сценарии, что и с биотехнологиями.

ИИ и нанотехнологии.

1. Нанороботы позволят считать детали устройства человеческого мозга, что ускорит развитие ИИ.

2. ИИ поможет разработать и выпустить сверхэффективных нанороботов.

3. Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.

4. Нанороботы и будут носителями ИИ – получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.

5. Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.

ИИ и ядерное оружие.

1. ИИ придумает, как сделать ЯО проще, быстрее и дешевле.

2. Сценарий, в духе предложенного в фильме «Терминатор» - ИИ использует ЯО, чтобы избавится от людей.

3. Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.

Нано и биотехнологии.

1. Живые клетки будут собирать детали нанороботов (синтезировать в спец.рибосомах).

2. Появятся «аниматы» – искусственная жизнь, содержащая элементы как живого, так и нанороботов.

3. Только нанороботы дадут окончательную защиту от биологического оружия.

Нанотехнологии и ядерное оружие.

1. Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО.

2. Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению Земли.

Ядерное оружия и биотехнологии.

1. Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств.

2. Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива. Или дезактивации территории.

3. Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены.

ЯО и супервулканы.

С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.

ЯО и астероиды.

1. С помощью ЯО можно отклонить астероид от Земли, или наоборот направить его на Землю.

2. Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны.

3. Астероид может также разрушить атомную станцию и вызвать заражение.

ИИ и системный кризис.

1.Применение сверхкомпьютеров создаст некий новый тип нестабильности – быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии).

2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ.

3. Весь мир оказывается зависим от глобальной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении.

ЯО и системный кризис.

1. Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки.

2. Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.

ЯО и климат.

1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.

2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.

3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).

3.3. Исторические аналогии глобальной катастрофе.

Глобальная окончательная катастрофа технологической цивилизации – уникальное явление, которого никогда не было в истории. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Я предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это будут:

• Вымирание динозавров

• Вымирание неандертальцев

• Крах Римской империи

• Распад СССР

• Кризис на острове Пасхи

• Крах индейских цивилизаций Америки после открытия её Колумбом.

• Взрыв в Чернобыле.

• Гибель «Титаника»

• Взрыв сверхновой звезды

• Возникновение человечества с точки зрения биосферы

• Начало Первой Мировой войны.

• Рак как болезнь

Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии.

По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем больше видим, что было множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. По каждой из этих катастроф написаны книги, и значителен разброс мнений, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда. О вымирании динозавров стоит посмотреть соответствующую главу в книге К.Еськова «История Земли и жизни на ней».

Общим во всех этих случаях является то, что присутствовала сложная система причин как внешнего, так и внутреннего характера. Именно сложность системы этих причин создаёт проблемы, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.

Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Человек заболевает раком не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к Колумбу.)

Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней может случится, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.

Итак, из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки».

С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это стало «поздно», а не «рано».

Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по своей логике, падение астероида и извержение вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было бы, то система могла бы не перескочить в другое русло своего развития.

В-третьих, во всех случаях, где речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. То есть управление совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого количества разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.

Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Это ядерные реакторы, космические корабли «Шаттл», сверхзвуковые «Конкорды». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была на грани.

Представляется продуктивным дальнейшее изучение аналогов глобальных катастроф на совокупности примеров.

3.4. Неизбежность достижения устойчивого состояния.

Можно сформулировать следующее верное высказывание:

Скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала.

Это произойдёт в следующих случаях:

а) Мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.

б) Мы найдём способ контролировать все риски.

в) Катастрофа всё-таки произойдёт, и гибнуть больше будет некому.

г) Мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет все ждали Конца Света, и даже радовались его близости).

Вместе с тем, пока что мы наблюдаем противоположное явление – способность людей к созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы постоянно растёт. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн и увидеть, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 60-70 годам реально можно было уничтожить миллиарды людей (в реальной войне погибло бы меньше, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент количеством населения. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.

Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения превосходят, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временного фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения, только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.

3.5. Рекуррентные риски.

Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 процентов, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего - только один человек. Если их будут тысячи, то гарантированно никого не останется. Даже если летальность каждого отдельного вируса будет только 10-20 процентов.

Тоже самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.

Разумеется, тут надо учесть способность человечества приспособиться к какой-то одной угрозе. То есть можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты конечны. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.

Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)

3.6. Глобальные риски и проблема темпа.

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над опасными технологиями, но создать такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – исчерпания тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом.) Темп этот будет в случае глобального риска ошеломительным, чтобы люди не могли успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

3.7. Сравнительная сила разных опасных технологий.

Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.

2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание - годы и десятилетия.

3. Биотехнологии – годы или десятки лет.

4. Нанороботы – от нескольких дней до нескольких лет.

5. Искусственный интеллект – от часов до нескольких лет

6. Взрыв на ускорителе – со скоростью света.

Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии позиции будет позволят минимизировать последствия катастрофы на более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

3.8. Последовательность возникновения различных технологий во времени.

Приведённый выше список «силы» технологий в целом похож на ожидаемую временнyю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение.

Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидают следующую последовательность созревания технологий: био-нано-ИИ. Но я полагаю, что нанотехнологии возникнут скорее после ИИ, то есть будут созданы им. Разумеется, это только моё мнение, могущее содержать ошибку.

Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий.

Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – на пути создания синтетических организмов.

3.9. Сопоставление факторов риска разных технологий.

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала.

Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения.

Для ИИ эти величины нам неизвестны.

Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ управлять прогрессом и применением его плодов безопасным образом.

Качественно обобщая, можно сказать, что биотехнологии получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ оказывается «двухсторонним джокером» - он может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории способной к самосовершенствованию машины и нацеливание её на захват власти на Земле. В этом случае она скорее создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Э.Юдковски метафорически так выражает эту мысль: «Закон Мура в отношении ИИ – с каждым годом IQ человека, необходимый для его создания, падает на одну единицу» (сверить цитату).

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое ослабит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» - см. далее.

Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет, хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

3.10. Цели создания.

Опасный фактор может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества.

1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружие, вирусах и химических веществах. (Впрочем, есть разные теории о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно закончит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправится со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп, от христианских, до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света: свидетели Иеговы и мормоны.)

2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement. http://www.vhemt.org/ - они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество - не без оснований - раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев - «веганов», для которых жизнь животных не менее важна, чем человеческая.

3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский). Цель: возвращение в «совершенное» ранне-человеческое общество.

4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а несколько дней обычно. Хотя можно представить себе человека, который сошёл с ума на идее отомстить миру или Богу.

5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды нарокомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев, собака, умирающая от одиночества, алкоголизм от одиночества).

6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.

7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, вдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.

8) Универсальное оборонительное оружие последнего выбора. Вместо того, чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы Стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более, что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».

9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.

10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.

11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.

12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы их спасти нам, пришлось их уничтожить».

13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.

14) Шизофреники, испытывающие навязчивые идеи. Например, один человек в середине ХХ века в США, обнаружив, что дата его рождения совпадает с датой землетрясения в Сан-Франциско, пришёл к выводу, что если он будет убивать людей, то таким образом будет предотвращать землетрясения. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Кроме того, они часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, что делают невозможной реализации долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.

Человеком всегда действует несколько побуждений, только часть из которых осознана. По моим подсчётам, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.

3.11. Социальные группы, готовые рискнуть судьбой планеты.

Вероятно, надо отдельно составить список социальных групп, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган предпринял Крестовый поход против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.

1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.

2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.

3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.

4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.

5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действие, которые приносят благо в краткосрочной перспективе, но несёт колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующем у каждого человека, и особенно обостряющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)

В качестве отдельной графы следовало бы выделить человеческую склонность ошибаться в оценках глобальных рисках, подробнее на эту тему см. статью Е.Юдковски и мою статью о недооценке глобальных рисков.

3.12. Обобщающий коэффициент, связанный с человеческим фактором.

Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей, в пересчёте на одни сутки. Мы так же не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, которые нуждаются в точном пересчёте), оно может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять один случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент k в пересчёте на человека на день будет примерно одна миллионная. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное adware могут производить и больше людей).

Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная, как лежащая по середине.

Не следует думать, что если мы раздадим ключи от запуска нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно. (Кларк) То есть системы запуска можно обойти хитростью.

Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть совокупность очень логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.

Выводы: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.

3.13. Принятие решения о ядерном ударе.

Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия и технологий и машин судного дня.

При этом возникает вопрос, в чьих руках находится «красная кнопка» - только высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.

Имеется следующая противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренно запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар.

Реальные системы, устройство которых – в настоящий момент - является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 0000000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.

Вряд ли может случиться ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.

Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция создаётся тоже людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор так же не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается и становятся возможными решениями, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили Корейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту команду ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который взял эту смену относительно случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.

3.14. Цена вопроса.

Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некого вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле адскую машинку захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ. Но вряд ли бы они могли создать сами такой арсенал ракет.

Понятно, что важен также фактор времени – если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.

Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют многих лет. В то же время тысячи биолабораторий в мире могут работать над генетические модифицированными вирусами, и проекты эти могут быть гораздо быстрее. По мере накопления знаний и стандартизации оборудования это число растёт, а время на разработку сокращается. По оценкам моего знакомого биолога, для создания опасного вируса требуется сейчас бюджет порядка миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехе падает гораздо быстрее, так как не требует больших капитальных вложений, и скорее зависит от доступности информации.

Можно ввести фактор риска A, прямо пропорциональный количеству мест на Земле, где опасный проект может осуществляться - L, и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 процентов.

(1)

Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000.

При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать.

Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших» - см. соответствующую главу) из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)

Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии, благодаря чему число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день.

Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства.

Далее, надо добавить вероятностный фактор в отношении того сработает ли данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты конца света на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут давать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)

Ещё интересная тема - каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди.

4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА.

4.1. Определение и общие соображения.

Будем называть глобальным риском второго рода любое событие, которое значительно повышает вероятность вымирания человечества. Сочетание таких событий создаёт окно уязвимости.

Исторически известно, что вымерло 99 процентов видов живых существ, живших на Земле, и сейчас каждый день продолжают вымирать виды. Очевидно, что вымирание этих видов произошло без применения сверхтехнологий. Наиболее знамениты вымирания динозавров и неандертальцев. Среди причин вымирания, по мнению палеонтологов, в первую очередь стоят изменения экологической ситуации – то есть разрушение пищевых цепочек и появление конкурентов, тогда как природные катаклизмы выступают только спусковым событием, добивающим ослабшие виды. От астероида вымерли именно динозавры, ибо именно на них давили мелкие хищники-млекопитающие, питающиеся молодняком и яйцами. От последнего оледенения вымерли именно неандертальцы, так как им противостояли более организованные homo sapiens. Всё же трудно использовать гипотезы о прошлых вымираниях для обоснования последующих, так как тут много неясного. Однако в качестве более достоверного примера можно взять случаи гибели традиционных обществ и культур. Например, русское крестьянство со всей своей культурой, каковым оно было в 19 веке, исчезло целиком и безвозвратно (если не сказать вымерло) в процессе урбанизации– притом, что исторически оно могло противостоять и войнам, и эпидемиям. Но его погубили новые возможности, которая дала городская цивилизация и новая экономическая ситуация. Такова же судьба австралийских аборигенов и других сообществ, столкнувшихся с более высокоразвитой цивилизацией. То есть отдельные люди живы, а от культуры остались только фольклорные ансамбли. Это можно описать и на примере отдельного существа. Когда организм болеет, уязвимость его к любым внешним толчкам (или обострениям самой болезни) возрастает.

В силу этого мы можем представить себе следующий двухфазный сценарий:

1. В начале из-за крупной катастрофы население Земли резко сократилось, производство и наука деградировали. Назовём это пространство «постапокалиптическим миром». В кино или литературе такой мир описывается обычно как возникающий после ядерной войны (фаза гибели цивилизации, но не людей).

2. Уцелевшие люди, оставшиеся в этом мире, оказываются гораздо более уязвимы к любым рискам, вроде падения небольшого астероида, исчерпания ресурсов, извержения вулканов. Более того, они вынуждены бороться со всеми остатками цивилизации – заражением, исчерпанием ресурсов, утратой навыков, генетической деградацией, наличием опасного оружия или опасных процессов, начавшихся при цивилизации (необратимое потепление).

Что из этого следует:

А) Такие двухфазные сценарии заставляют нас рассматривать как опасные те риски, которые мы ранее отбросили, как не могущие погубить цивилизацию.

Б) В некотором смысле двухфазный сценарий подобен нелинейной интерференции, о которой речь шла выше, но здесь стыковка происходит во времени, причём важен порядок событий.

В) Двухфазный сценарий может стать и трёх- и более фазным, где каждая следующая фаза деградации делает человечество уязвимым к следующим формам риска.

Г) При этом может не быть прямой связи между первой и второй катастрофами. Например, попасть в постапокалиптический мир люди могут в силу ядерной войны, а вымереть от извержения супервулкана. Но точно также они могли бы попасть в это состояние уязвимости к супервулкану из-за эпидемии или экономического спада.

Д) Рассмотрение многофазных сценариев носит принципиально вероятностный характер. Эпоха слабости человечества, когда оно уязвимо, можно назвать окном уязвимости, которое характеризуется плотностью вероятности и продолжительностью. Это определяет то, что такое окно уязвимости конечно во времени. Сейчас мы живём в эпоху окна уязвимости к сверхтехнологиям.

4.2. События, которые могут открыть окно уязвимости.

Здесь есть два типа событий. Первые – это события, которые неизбежно наступят в 21 веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):

1. Исчерпание нефти

2. Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо

3. Исчерпание водных ресурсов

4. Крах мировой финансовой пирамиды долгов

5. Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания.

Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность создаёт «период полураспада» - то есть время, за которое это событие, скорее всего, случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов.

1. Крупный теракт, масштаба взрыва атомной бомбы в важном городе.

2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара – пока таких катастроф не происходило. Самый близкий пример – авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас.

3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе.

Следующие фазы разрастания окна уязвимости включают в себя мировую войну и разработку и применение оружия судного дня.

4.3. Системные кризисы.

Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть, не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее, есть модели, где системный кризис истребляет всю популяцию.

Простейшей такой моделью является экологическая система хищник-жертва, допустим, волков и лосей на острове. В ней, в случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей. Известные примеры – олени и трава на канадском острове – на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в 8 веке, создали развитое общество, которое, однако, постепенно изводило леса, особенно, на транспортировку знаменитых статуй. Утрата леса некоторым образом приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало – и в этот момент остров был открыт европейцами.

Итак, системный кризис способен «провести популяцию через ноль», то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было, или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия.

Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить.

Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 процентов культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если отрезать полрастения, то из пня вырастут побеги и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже самую малую часть человека, особенно его мозга, то он умрёт весь раз и навсегда до самой последней клетки, коих сотни триллионов – трудно уничтожить штамм бактерий с такой эффективностью. Также и цивилизация – достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричество на несколько часов, и от этого гибнут люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные постройки не могут существовать без непрерывного подвода энергии: шахты затопит, ажурные конструкции торговых центров развалятся за одну зиму без уборки снега и отопления и т д.)

Чем системнее некая структура, тем в больше степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами – и тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире перетасовать в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также и если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом – мертво.

Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий – конечно, не всех, а тех, которые попали в «фокус её внимания». Остаточно крупные катастрофы обычно попадают, поскольку перехлётывают через порог устойчивости. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов. И к войне в Ирке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс например, то что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов). Похоже описал Лев Толстой то, как последствия ущерба, который потерпела французская армия под Бородино, нарастал в последующей цепочке событий – пожар в Москве, зима, Березина, крах империи. При этом информационные составляющие ущерба во всех этих случаях превышала физическую. То есть эти события спровоцировали цепочку неправильных решений и разрушили структуру управления – то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним.

Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации.

1. Избыток хищников – этот пример мы уже обсуждали выше на примере волков и лосей.

2. Пример из экономики – Великая депрессия. Замкнутый цикл сокращения производства – увольнений – падения спроса – сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль. Только внеэкономические событий, вроде войны и экспроприации золота, смогли его разорвать.

3. Другим примеров самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.

4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс, ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты.

5. Трещина. Эскалация раскола в неком обществе приводит к всё более открытой борьбе между двумя силами, всё большим преступлениям, всё большей поляризации остальных членов общества, которые вынуждены выбирать на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)

6. Структурный кризис, когда все всё знают. (Как в фильме «Особое мнение», где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация, где если два противника не знают, в каком состоянии другой, они находятся в покое. А если один знает, что другой начал выдвигать войска, это его провоцирует выдвигать свои; если он знает, что тот не выдвигает войска, это тоже его провоцирует напасть первым. То есть информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным – и с большой скоростью.

7. Структурный кризис «Кампучия», когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть – тоже структурный кризис, который может поедать сообщества.

8. Концепция о том, что уничтожать других – это способ «решить проблему». Но это только путь к разрастанию конфликта. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более «добрая» проиграет. Иначе говоря, патологическая самоогранизация может происходить даже тогда, когда большинство против неё. Например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован. Однако не помешал самому процессу.

9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, которые делают этот объект абсолютно непредсказуемым - что имеет место при спекуляциях на рынке. (См. книгу Дж. Сороса о кризисе мирового капитализма.) Эта непредсказуемость заставляет тренды выходить на самые невероятные режимы работы, среди которых могут быть и катастрофические. Иначе говоря, тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, это динамический хаос.) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.

10. Другой вариант экономического структурного кризиса - бесконечное откладывание рецессии путём накачки экономики деньгами - может пройти точку необратимости, когда мягко выйти из этого невозможно. Это описывается в теории кредитных циклов Мински. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно, и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема ponzi), (см. подробнее http://ie.boom.ru/Rozmainsky/fragilation.htm). Первый тип заёмщиков свободен, и может целиком выплатить долг. Второй тип заёмщиков вынужден выплачивать долг вечно и не может выйти из этого состояния. Третий тип вынужден непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени. Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США , находится где-то между вторым третьим типом. Объём разного вида долгов, созданных только внутри США имеет порядок 100 триллионов долларов (сюда входит 7 трлн государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медобсулуживанию пенсионеров Medicare. При этом ВВП США – 13 трлн. долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они размазаны по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он, скорее, описывает, кто, что и когда будет делать и получать. То есть это финансовая машина планирования будущего. Однако, когда она переходит на третий режим (схема ponzi), она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже. Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Кризис 1929 года был крупнейшим системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975,1982 и начала 90-х. Но в этом есть новая опасность, называемая «моральный вред», состоящая в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в делании долгов, так как уверены, что их выкупят и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во много опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.

11. Общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили и врезались в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были «непреодолимые силы природы» (шторм, медведь), то к 20 веку они были вытеснены основной – человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу 20 века сложность технических и социальных сетей стала столь велика, что их сбои стали не локальными, а системными (по сценариям, обнаружение которых требовало невычислимой сложности). Примером тому является Чернобыльская катастрофа, где персонал следовал по букве инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека.

12. Текущая ситуация в мире, с его основным противоречием между множеством вооружённых стран и единством мировой экономики.

13.Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).

14.Самоподдерживающаяся моральная деградация (крах Римской империи).

15. Эффект домино (например, наркоман, который подсаживает других, чтобы достать деньги на новую дозу или эффект когда банкротство одного банка вызывает банкротство всех его кредиторов по цепочке)

16. «Естественный» отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют добрых.)

17. Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) То есть, встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли.

18. Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха Перестройки).

19. Кризис нарастающего неверия - нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи – кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины – эксперимент, а результат эксперимента – новая технология, а её ценность – это деньги, то постепенно промежуточные ступени опускаются.

20. Теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору – то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория «нормальной аварии» (Perrow 1984), которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей.

21. Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с саморганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает, когда концентрация неустойчивых элементов достигает некого порогового уровня, так, что он они начинают устанавливать связи друг с другом, и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают.

Можно сказать и по-другому. Катастрофический процесс возникает, когда оказывюется исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди – террористы, - которые тщательно выискивают разные скрытые уязвимости и хотят их применить.

22. Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов.

Структурные кризисы малопонятны людям, ибо их ум заточен мыслить в категориях объектов и субъектов действий. И в силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разгорается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение.

Далее, возможны более сложные структурные кризисы, которые мне пока не приходят в голову.

4.4. Кризис кризисов.

В современном мире присутствуют все названные виды кризисов, но в целом система держится стабильной, потому что силы эти тянут в разные стороны. (Например, авторитаризму свойственная тенденция к расколам – СССР и Китай, сунниты и шииты, Сталин и Троцкий – которая создаёт кризис типа трещины и уравновешивает однополярную кристаллизацию.) То есть отдельные процессы уравновешивают друг друга: авторитаризм – дезорганизацию итд. Кроме того, действует принцип гомеостаза в духе принципа Ле Шателье-Брауна.

Опасно, однако, если все эти отдельные кризисы самоогранизуются, то получится некий кризис кризисов. Системы стремятся удерживаться в равновесии, но при достаточно сильном точке переходят в равновесное состояние движения, иначе говоря, в систему процесса разрушения, которая тоже обладает своей устойчивостью. Это верно для армии, переходящей в наступление: до какого-то момента она вынуждена преодолевать сопротивление врага и собственной инерции, однако затем она входит в состояние наступление, которое обладает своей устойчивой структурой. Из обычной жизни пример: для того, чтобы выйти из дому, надо приложить иногда некое усилие, чтобы «раскачаться», однако когда процесс путешествия пошёл, он уже обладает собственной динамикой, инерцией и структурой.

В настоящий момент все кризисные проявления в человеческом развитии сорганизованы так, чтобы удерживать человечество в русле постепенного экономического, научно-технического и популяционного роста. В случае кризиса кризисов все те же факторы могут сорганизоваться так, чтобы непрерывно работать на уничтожение человеческой цивилизации.

Свойства кризиса кризисов: его невозможно понять, потому что, начав о нём думать, втягиваешься в него и усиливаешь его (так работает, скажем, арабо-израильский конфликт). И потому что его понимание не имеет никакой ценности, из-за плотного информационного шума. Потому что, на самом деле, он сложнее, чем может понять один человек, но имеет ряд очевидных неверных упрощённых пониманий. (Закон Мёрфи: любая сложная проблема имеет простое, очевидное и неверное решение.)

Элементами кризиса кризисов являются не события и взаимодействия в мире, а кризисы более низкого порядка, которые структурируются не без помощи человеческого ума. И особенно здесь играет роль понимание, что сейчас происходит кризис, которое ведёт к двум, по крайней мере, моделям – или к стремлению поскорее избавиться от кризиса, или к стремлению кризисом воспользоваться. Обе могут только усиливать кризис. Хотя бы, потому что у разных сторон – разные идеи о том, как закончить кризис и как получить выгоду от него.

Поскольку понимание кризиса отдельными игроками – часть кризиса, то этот кризис будет сложнее любого понимания его. Даже когда он закончиться, понимания того, что же с нами произошло – не будет. Именно поэтому так много разных мнений и дискуссий о том, что же произошло в 1941 году или «почему распался СССР».

Ещё одной метафорой кризиса кризисов является следующее рассуждение, которое я слышал применительно к финансовым рынкам. Есть большая разница между кризисом на рынке, и кризисом рынка. В первом случае наблюдаются резкие скачки цен и изменение торговой ситуации. Во втором – прекращается сама торговля. В этом смысле глобальная катастрофа не есть очередной кризис на пути развития, где новое побеждает старое. Она есть прекращение самого развития.

4.5. Технологическая Сингулярность.

Одно из глубоких наблюдений в духе «кризиса кризисов» изложено в статье А.Д.Панова «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии». Рассматривая периодичность различных ключевых моментов с возникновения жизни на Земле, он обнаруживает закономерность, которая говорит о том, что плотность этих переходных эпох непрерывно возрастает по гиперболическому закону, а следовательно, имеет «сингулярную точку», в которой она обращается в бесконечность. Это означает, что происходит не просто очередной кризис, а кризис всей модели, которая описывает процесс эволюции от зарождения жизни до наших дней. И эта модель ничего не говорит о том, что будет после сингулярной точки.

Эта точка находится в районе 2027 года. Интересно, что несколько принципиально разных прогностических моделей указывают на окрестности 2030 года как на точку «Сингулярности», где их прогностические кривые обращаются в бесконечность. Очевидно, что глобальные риски группируются вокруг этой точки, так как она является классическим «режимом с обострением». Однако они могут произойти и гораздо раньше этой точки, поскольку будут кризисы и до неё.

В модели Панова каждый следующий кризис отделён от предыдущего промежутком времени, в 2,42 меньшем. Если последний кризис приходится на начало 1990-х, а предпоследний – на вторую мировую войну, то следующий кризис (момент выхода из него) по модели Панова будет в районе 2014 год, а после следующие – на 2022, 2025, 2026, а дальше их плотность будет непрерывно нарастать. Конечно, точные значения этих цифр неверны, но общая тенденция в этом есть. При этом последний кризис – распад старого и творение нового – был в начале 90-х годов и состоял в распаде СССР и возникновении Интернета.

Это значит, что в период с настоящего момента до 2014 года мы должны пережить ещё один кризис сопоставимого масштаба, то есть мы можем наблюдать его зарождение уже сейчас внутри пятилетнего горизонта предсказаний – однако этот кризис вовсе не будет той окончательной глобальной катастрофой, о которой мы говорим, и между ним и кризисом самой модели в 2020-е годы возможен «островок стабильности» в несколько лет.

Несколько независимых исследователей пришли к мысли о возможности технологической сингулярности в районе 2030 года, экстраполируя различные тенденции – от уровня миниатюризации устройств до мощностей компьютеров, необходимых, чтобы симулировать человеческий мозг. Сингулярность не отличается математически от режима с обострением, то есть катастрофы, и как завершение огромной исторической эпохи она, безусловно, будет катастрофой. Однако Сингулярность может быть позитивной, если она сохранит людей и значительно расширит их потенциал, и соответственно, негативной, если в результате этого процесса люди погибнут или лишатся того большого будущего, которое у них могло бы быть. С точки зрения нашего исследования мы будем считать позитивным любой исход Сингулярности, после которого люди продолжаю жить.

Наиболее быстрым, сложным и непредсказуемым процессом, который часто отождествляется с Технологичной Сингулярностью, является возникновение универсального, способного к самосовершенствованию ИИ и его гиперболический рост. (Можно показать, что само ускорение развития, которое имело место в прошлом, связано именно с ускорением и улучшением способов решение задач – от простого перебора, к половому отбору, появлению человека, языка, письменности, науки, компьютеров, венчурного инвестирования – каждый следующий шаг был шагом в развитии интеллекта и возможный в будущем самосовершенствующийся ИИ только продолжает эту тенденцию.)

В отношении Сингулярности можно сформулировать несколько кажущихся достоверными высказываний.

Во-первых, Сингулярность формирует абсолютный горизонт прогноза. Мы точно не можем сказать, что будет после Сингулярности, поскольку речь идёт о бесконечно сложном процессе. Более того, мы не можем сказать ничего ни о самом моменте Сингулярности, ни об определённом промежутке времени перед ней. Мы можем высказывать только определённые предположения о том, когда будет Сингулярность, однако и здесь есть большой разброс. На самом деле, ничего не мешает наступить Сингулярности прямо завтра в случае неожиданного прорыва в исследовании ИИ.

Во-вторых, с точки зрения наших современных воззрений, актуальная бесконечность не может быть достигнута. В силу этого абсолютная Сингулярность не достижима. Это можно интерпретировать так, что по мере приближения к Сингулярности в системе усиливаются различные колебательные процессы, которые разрушают её раньше достижения точки бесконечности. Если это так, то перед Сингулярностью плотность вероятности глобальных катастроф неограниченно возрастает. (Ср. с концепцией Малинецкого о увеличении частоты и амплитуды колебаний в системе перед катастрофой.)

В-третьих, к Сингулярности вся система подходит целиком. Это значит, что не следует ожидать того, что Сингулярность не затронет кого-либо, или что будет несколько разных Сингулярностей.

С точки зрения нашего исследования, важно отметить, что глобальная катастрофа – это не обязательно и есть сама Технологическая Сингулярность. Глобальная катастрофа может быть масштабным, но, в конечном счёте, простым процессом, вроде столкновения с астероидом. В глобальной катастрофе есть признаки режима с обострением, как например, резкое ускорение плотности событий в момент касания астероидом Земли (длится 1 секунду), но нет сверхинтеллекта, которые по определению не постижим.

Из сказанного следует, что если принять концепцию Технологической Сингулярности, то мы ничего не можем сделать, чтобы измерить или предотвратить риски после Сингулярности, но должны предотвращать их до неё (особенно в период повышенной уязвимости перед ней) и стремится к позитивной Сингулярности.

Подробнее о Технологической Сингулярности можно почитать в статьях и книгах: Вернор Виндж. «Технологическая Сингулярность».

(http://www.computerra.ru/Authors/2922/), Юдковски «Вглядываясь в Сингулярность», Дэвид Брин «Сингулярность и кошмары», Майкл Диринг «Рассвет Сингулярности».

4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов.

Некоторые ресурсы могут не просто закончиться, но быть исчерпаны, так сказать, в минус. Например, сверхэксплуатация почв приводит к их быстро и полной эрозии. Этот вопрос исследовался Медоузом в его «Пределах роста». Исследуя математические модели, он показал, что перебор в потреблении некого ресурса приводит затем систему неизбежно на край гибели. Например, избыток хищников приводит к такому истощению числа жертв, что затем все жертвы до единой погибают, и сами хищники обречены на голод. Другой пример – когда загрязнение окружающей среды настолько велико, что помимо самого загрязнения поражает и способность среды к самовосстановлению.

Кредитный цикл Мински определённым образом относится не только к деньгам, но и к истощающему перепотреблению (то, что называется термином «overshoot») любого природного ресурса. При этом человечеству свойственно сверхисчерпывать любой ресурс, который ему стал доступен. В этом смысле не удивительно, что перепотребление многих ресурсов происходит практически одновременно – ведь перерасходование одного ресурса можно скрыть, расходуя другой. Например, исчерпание денег на выплату ипотеки можно скрыть, оплачивая её через кредитную карточку; точно также исчерпание на 30 процентов пригодных для сельского хозяйства земель со времени второй мировой войны можно скрыть, вкладывая больше ресурсов (то есть энергии) в культивацию оставшихся земель; или исчерпание водоносных горизонтов можно скрыть, затрачивая больше энергии на добычу воды из более глубоких горизонтов. Проблемы сверхисчерпания людям всякий раз удавалось преодолеть, совершив технологический скачок, как это было в неолитическую революцию. Однако это не всегда происходило плавно, то есть иногда решение находилось, только когда полномасштабный кризис уже разверзался. Например, неолитическая революция – переход от собирательства к оседлому сельскому хозяйству – произошла только после того, как население значительно сократилось в результате сверхисчерпания ресурсов в обществе охотников-собирателей.

В XXI веке нам угрожает одновременное исчерпание многих важных ресурсов вследствие уже сейчас происходящего перепотребления. Перечислим разные предположения об исчерпании, не обсуждая истинность или ложность каждого в отдельности. С экономической точки зрения окончательное исчерпание никакого ресурса невозможно, вопрос в том, сколько он будет стоить и хватит ли его на всех. В связи с этим выделяют не момент исчерпания, а момент максимума добычи (пик) и затем период быстрого спада производства ресурса.

Период спада может быть даже опаснее периода полного отсутствия, поскольку именно в этот момент развернётся отчаянная борьба за ресурс, то есть может начаться война.

Пик добычи рыбы – пройден в 1989 году

Исчерпания пригодных для земледелия земель

Пик производства пищи в целом

Пик нефти – возможно, в настоящий момент

Пик газа – позже, но более резкий спад после него.

Выведение из эксплуатации ядерных реакторов

Исчерпание питьевой воды и воды для орошения.

Исчерпания ряда цветных и редких металлов (к 2050 г.)

Ещё раз подчеркну, что в данной работе проблема исчерпания ресурсов рассматривается только с точки зрения того, может ли она привести к окончательному вымиранию человечества, и утверждается, что само по себе – не может, но только если запустит некий ещё более опасный процесс.

Интересно изучить следующий вопрос. Если финансовая система банкротится, то это означает, что у неё кончаются все источники денег, а если исчерпываются ресурсы технологической цивилизации, то это значит, что у неё одновременно заканчиваются все ресурсы, поскольку энергия выполняет функцию денег в технологической системе, и позволяет добывать любой ресурс, пока энергия есть (например, качать воду из глубинных пластов). Вопрос возникает, следует ли из этого эквивалентность денег и энергии, а значит, будет ли энергетический кризис также и финансовым, и наоборот? Думаю, что да. Грубо говоря, потому что реальные деньги означают возможность купить товары. Если же экономика перейдёт в дефицитный режим, то возможность приобрести что-нибудь ценное за деньги испарится.

4.7. Системный кризис и технологические риски.

Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня.

4.8. Степень мотивации и осведомленности как факторы глобального риска.

Как справедливо подчёркивает А.Кононов, задача неуничтожимости должна осознаваться в качестве главнейшей любой цивилизацией, которая существует в катастрофически нестабильной вселенной. Точно так же, как у каждого человека на базовом уровне прошит инстинкт самосохранения. В целом, мы можем предположить, что чем больше осознание важности сохранения цивилизации на всех её уровнях от инженера до правителя, тем больше шансов у неё выжить. (Хотя возможен сценарий, когда стремление к выживанию приведёт к борьбе одних групп с другими или борьбе спасателей.)

Соответственно, то, как растёт осознанность и мотивация цивилизации в отношении её самосохранения, является мощнейшим фактором её выживания. В статье «О возможных причинах недооценки вероятности глобальных рисков» я рассматриваю список факторов, по которым люди могут неверно оценивать вероятность глобальных катастроф, чаще всего в сторону занижения. Однако не менее важно то, что, как в это не трудно поверить, люди могут не стремиться к предотвращению глобальных катастроф. Или, например, недостаточно стремиться. Скажем, Рейган считал приемлемым повысить риск в ядерной войны, чтобы достичь победы в холодной войне с СССР. Это значит, что цель выживания человеческой цивилизации была для него не первостепенной. И это обусловлено эволюционной психологии, поскольку альфа-самец достигает своего статуса вожака стаи, проявляя готовность рискнуть своей жизнью в схватках с другими альфа-самцами, и эта модель поведения закрепляется генетически, так как у победивших самцов больше детей, чем у погибших в процессе борьба за место вожака.

Итак, мы можем сказать, что способность цивилизации к выживанию в значительной сфере определяется двумя факторами – степенью её осведомленности о различных рисках, и степенью её мотивации в их предотвращении. При этом эти два фактора связаны, так как большая мотивация ведёт к более тщательным исследованиям, а важные исследования, проливающие свет на новые риски, могут усилить мотивацию. Всё же влияние мотивации представляется более первичным. Хотя теоретически все поддерживают предотвращение глобальных рисков, на практике эта цель находится на последнем месте, что видно по числу публикаций по теме и финансированию исследований. (Спросите своё правительство – готово ли оно вкладывать ресурсы в технологию, которая даст уменьшение глобальных рисков на 1 процент через 100 лет. Тем не менее это равносильно согласию на вымирание человечества через 10 000 лет. Вероятно, есть некий биологический механизм, в силу которого сохранение жизни детей и внуков очень важно, а жизни пра-пра-пра-правнуков – абсолютно неважно.)

Мы можем пытаться учесть эти два фактора как некие коэффициенты от их максимального значения. Если предположить в качестве максимальной степени мотивации усилия страны в войне, а в качестве меры реальной мотивации – долю финансирования лиц и организаций в США, занимающихся предотвращением глобальных рисков целом (порядка 1 млн. долларов в год в лучшем случае; при этом мы не рассматриваем узкоспециализированный программы, которые лучше финансируются, так как они не предполагают целостной защиты, учитывающей весь комплекс взаимосвязей в связи с глобальными рисками, например, антиастероидную программу) – то разница составит около 1 миллиона (предполагая, что США могли бы расходовать на войну около 1 триллиона долларов). При этом, однако, ситуация значительно улучшается – если в 2000 году не было ни одного человека, занимающегося исследованием и предотвращением глобальных рисков на постоянно оплачиваемой основе, то теперь такие должности есть в США и Великобритании. Всё же, несмотря на то, что ситуация улучшается, она выглядит чудовищно запущенной.

Осведомленность следовало бы измерять как долю полной осведомленности, какая бы могла быть только у некой сверхцивилизации. Под осведомленностью я имею в виду наличие общепризнанного, строго доказанного и широко известного описания проблемы глобальных рисков. Поэтому, даже если бы эта книга содержала такое описание, то она не давала бы полной осведомленности, поскольку очевидно, что подавляющее большинство людей не читали её, а большинство тех, кто читали, имеют те или иные возражения. Итак, если мы скажем, что наша осведомленность составляет тысячную долю от максимально возможной осведомленности, это будет очень оптимистическая оценка. При этом я имею в виду максимально достижимую возможную осведомленность на данном технологическом уровне, а не абсолютную осведомленность мага, который предвидит будущее.

Даже максимальная мотивация и абсолютная осведомленность не дают 100 процентных шансов выживания, поскольку возможны катастрофы, связанные с необоримыми природными силами или непредсказуемыми вероятностными процессами в духе теории хаоса. Осведомленность и мотивация не позволяет людям жить вечно. Общую живучесть цивилизации можно было бы оценить как произведение осведомленности на мотивацию, но в случае земной цивилизации мы бы получили досадную одну миллиардную от максимально возможной. Остается надеяться, что при появлении на горизонте неких чрезвычайных обстоятельств, мотивация может быстро возрасти.

Итак, мы должны рассматривать любые события, влияющие на мотивацию и на знание о глобальных рисках, как на факторы глобальных рисков второго рода.

Факторы, повышающие мотивацию:

1) Крупные катастрофы любого рода

2) Публикации, влияющие на общественное мнение.

Факторы, ослабляющие мотивацию:

1) Долгие периоды покоя и благоденствия.

2) Публикации, успокаивающие людей.

3) Ошибочные несбывшиеся прогнозы.

Факторы, влияющие на осведомленность:

1) Количество людей, участвующих в дискуссии на тему, и их профессиональные качества.

2) Длительность истории дискуссии и информационная прозрачность.

3) Разработанность методологии.

4) Мотивация в развитии осведомленности.

Фактор, ослабляющий осведомленность:

1) Гибель учёных или разрыв традиции в случае некой катастрофы средней тяжести.

2) Распространение заблуждений и/или идеологический раскол.

Выводы: наша неосведомленность и немотивированность в предотвращении глобальных катастроф может быть гораздо более серьёзным фактором, чем риски, создаваемые любым физическим источником риска. Это подобно тому, как больше половины катастроф самолётов происходит из-за ошибок пилотов, а не из-за технических или природных причин.

Рейтинг публикации:

16

Рекомендуемые статьи:
• версия 2010 г в формате DОС (скачать)

Комментарии (0) | Распечатать

Добавить новость в: