Алексей Турчин: Структура глобальной катастрофы.

5. КРИПТОВОЙНЫ, ГОНКА ВООРУЖЕНИЙ И ДРУГИЕ СЦЕНАРНЫЕ ФАКТОРЫ, ПОВЫШАЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

5.1. Криптовойна.

Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С.Лема). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире:

Недоверие стран друг другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет, в результате может разгореться мировая война всех против всех и одновременный скачок в опасных технологиях.

Криптовойна будет во многом террористической – то есть информационное воздействие от удара должно превышать непосредственный ущерб. Но смысл этого будет не столько в создании страха – террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные «гипотезы». Многие политические убийства современности уже являются актами «криптовойны», например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его на свою пользу, спихнув вину на другого.

5.2. Уязвимость к сверхмалым воздействиям.

Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям (Более того, за счёт нелинейного сложения, несколько очень слабых событий может иметь значительно больший эффект, чем каждое в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужнее сверхум, способный смоделировать сверхсложную систему. А значит, этот ум должен быть сложнее этой системы, и эта система не должна содержать других таких умов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны.

Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю достаточным умом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. (Например, недавно в Европе ограбили банк таким образом – взяли в заложники семью сотрудника, и он сам всё вынес.) Так пока вероятно нельзя уничтожить мир, но спровоцировать гигантский бардак можно – то есть перевести систему на более низкий уровень организации. В состоянии бардака вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет – то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны – для них такое событие станет спусковым крючком опасной гонки вооружений.)

5.3. Гонка вооружений.

Гонка вооружений опасна не только тем, что она будет использована нарочно для создания оружия судного дня. В процесс скоростной гонки вооружений придётся ставить опасные эксперименты с пониженными требованиями безопасности и с более высокой вероятностью утечек. Кроме того, сверхоружие всеобщего уничтожения может оказаться побочным результатом или частным случаем применения обычного оружия. Например, идея о кобальтовой бомбе возникла после того, как необходимая для неё обычная атомная бомба была придумана и создана. Развитие технологии производства боевых отравляющих насекомых даст возможность создать такой вид, который заполонит всю Землю. Наконец, применение в больших количествах какого-то одного оружия также может перевести человечество на более низкую стадию развития, на которой вымирание более возможно.

5.4. Моральная деградация.

Часто говорят, что моральная деградация может погубить человечество. Понятно, что моральная деградация не может быть глобальным риском первого рода, так как сама по себе она никого не убивает – да и разговоры о моральном упадке идут со времён Древней Греции. Тем не менее, моральная деградация элит была существенным фактором падения Римской империи.

При этом «в моральную деградацию» я не вкладываю оценки собственно моральной оценки, а имею в виду те модели поведения, которые делают общество менее устойчивым. В первую очередь, это предпочтение личных и краткосрочных целей над общественными и долгосрочными. Отметим, что если раньше культура была нацелена на пропаганду целей, полезных устойчивости общества, то теперь – наоборот. Однако от этого все не стали убийцами. Примером современной «моральной деградации» являются слова президента Клинтона о том, что он «брал сигарету с травкой, но не затягивался». Она угрожает в первую очередь «властным элитам» и смысле глобальных рисков может проявиться в неспособности властных элит адекватно реагировать на угрозы. То есть реакция возможна, но ложь, недоверие друг к другу и отмывание денег может подорвать любые инициативы в области глобальных рисков.

Далее, система критична к концентрации ненадёжных элементов. Если их достаточно мало, они не сталкиваются друг с другом и не нарушают устойчивости. Если их больше некого критического количества, они образуют свою внутреннюю связную структуру. Даже небольшой прирост такой концентрации в районе критического порога может серьёзно увеличить степень неустойчивости системы.

Наконец, даже небольшое снижение общего морального уровня общества значительно повышает «вес» тяжёлых хвостов распределения, то есть увеличивает число потенциальных «геростратов».

Надо отметить, что рост образованного населения Земли также увеличивает число людей, которые могут сознательно хотеть глобальной катастрофы и обладать необходимыми знаниями.

Есть мнение, восходящее ещё к К.Марксу, что корни возможной неустойчивости – в самой природе общества, построенного на конкуренции. Инвестиции в долгосрочные проекты ослабляет конкурентоспособность в краткосрочных, так как ресурсы уходят в дальние проекты. В результате в среднесрочной перспективе те люди, страны и организации, которые не уделяли достаточно внимания краткосрочным проектам, терпят поражение. (Это рассуждение можно сравнить с рассуждением Н. Бострома о «хоббистах» в его статье «Угрозы существованию», где показывалось, что эволюция остеит те сообщества, которые не будут тратить все средства на выживание.) с другой стороны, та группы людей, которая научилась сотрудничать, оказывается в более выигрышной ситуации, чем отдельный человек, отказывающийся от сотрудничества. В любом случае, в современном обществе есть разрыв между качественным ближайшим планированием (до выборов, до зарплаты, до окупаемости предприятия), и долгосрочным планированием, при котором вес рисков становится велик.

5.5. Враждебность как сценарный фактор.

Очевидно, что любой кризис приведёт к росту враждебности на Земле. (Как, например, происходит в обычном государстве после крупного политического убийства или неудачной войны – примеры: война с Японией в 1905 г., война во Вьетнаме.) Одним из ярких недавних примеров всплеска враждебности в мире была ситуация, сложившаяся после терактов 11 сентября 2001 года, когда многие люди ожидали, что «война цивилизаций» примет характер мировой войны.

Эта враждебность будет состоять из нескольких факторов:

1. Поляризации общества на разные группы, которые ненавидят друг друга.

2. Рост накала негативных эмоций и повышение числа людей, готовых к насилию и хотящих этого, что повышает риск терактов и инцидентов с оружием массового поражения.

3. Утрата доверия всех ко всем и разрушение связности системы. Доверие – необходимая часть экономической системы, основанной на кредите.

4. Рост гонки вооружений и обострение всех застарелых конфликтов.

5. Риск начала мировой войны в той или иной форме.

6. Ожидания неизбежности поворота событий от плохого к худшему, что может порождать самосбывающиеся пророчества.

5.6. Месть как сценарный фактор.

Месть является продолжением враждебности, но в высшей форме. Допустим, между двумя крупными державами произошла ядерная война, и одна из держав её полностью проиграла – ей нанесли неприемлемый ущерб, тогда как другая отделалась лёгкими повреждениями. У проигравший стороны – потеря половины населения, всех крупных городов, оборонного потенциала. Весьма вероятно, что в этом случае месть станет национальной идеей. Опыт истории показывает, что некоторые народы можно загонять в пыль, а они порождают всё более агрессивные и опасные формы сопротивления. Например, Бен Ладен возрос в Афганистане. Другие примеры – Чечня, палестинцы. В силу этого ядерная война не сделает мир более стабильным. Наоборот, он создаст настолько непреодолимые противоречия, что мир станет ещё опаснее. Проигравшая сторона будет не против применить любую машину судного дня, потому что людям, потерявшим свои семьи, свою родину, нечего терять.

Победившая сторона должна в этом случае решиться или на геноцид, или на оккупацию. Современная страны западной цивилизации не могут решиться на геноцид, потому что в этом случае им придётся утратить свою идентичность. Оккупация тоже плохо работает, потому что превращается в войну без конца. Технологично выглядит идея оккупации с помощью роботов, что, однако, равносильно превращению побеждённой страны в электронной концлагерь.

5.7. Война как сценарный фактор.

Войны были всю историю человечества, и сама по себе война не может привести к человеческому вымиранию, однако в современном мире война может:

1) Война может создать условия для применения оружия судного дня. А также привести к неконтролируемому применению ядерного оружия.

2) Война может спровоцировать ещё большую войну.

3) Война может вызывать экономический кризис. Раньше войны помогали бороться с кризисами перепроизводства, но это было верно для старого мира, в котором не было единого мирового производства и финансов.

4) Любая война провоцирует гонку вооружений, даже и у не участвующих стран. При этом любая гонка вооружений связана с прогрессом всё более автономных от человека машин. Она также связана со снижением критериев безопасности ради большей эффективности в условиях катастрофической нехватки времени.

5) Война может стать спусковым событием для некой цепочки событий, ведущей к кризису.

6) Война делает возможными крупные диверсии и криптовойны.

7) В ходе войны могут происходить глобальные катастрофы по типу утечки, например, при разрушении хранилищ и лабораторий по производству биологического оружия

8) Война увеличивает количество людей, переживающих чувства отчаяния и жажду мести, и, следовательно, увеличивает вероятность создания и применения оружия судного дня.

9) Война препятствует совместным организованным усилиям по предотвращению и ликвидации последствий разного рода катастроф.

10) Война может привести к тому, что краткосрочные цели застилают средне- и долгосрочные перспективы. То есть в ходе войны могут быть упущены из виду глобальные угрозы, которые не связаны с войной – или долгосрочные последствия действий, которые необходимы для выживания сегодня.

11) Война может порождать интернациональные террористические сети.

12) Война приводит к расколу общества на чёрных и белых даже в не участвующих странах, что может производить к эффекту самовоспроизведения войны. Например, во всех странах возникали коммунистические партии, и во многих они начинали вооружённую борьбу.

13) Война может привести к разорению и переходу мира на «постапокалиптическую» стадию. Это может произойти, даже если война не будет ядерной. Но для этого она должна быть всемирной. Сетевая война или гражданская более склонна к тому, чтобы быть всемирной. Так называемое «столкновение цивилизаций», то есть война за всемирный халифат, может принять форму такого конфликта. В классической войне всегда есть тыловые территории, в которых происходит основное развитие новых технологий, необходимых для войны. В сетевой войне не будет тыловых территорий.

Война всегда содержит гораздо больший элемент непредсказуемости, чем политика в мирное время. Война также служит ускорителем темпа исторического времени. Поскольку ряд прогнозов говорит нам о неминуемом ускорении прогресса в первой трети XXI века, то можно связать это с возможностью войны.

При этом под войной мы имеем в виду классическое вооружённое столкновение двух населёнными людьми стран. Вооружённая борьба людей и роботов, людей и сверхлюдей или двух ИИ между собой или людей с опасным вирусом не будет классической войной. Но такая война может означать геноцид людей, в отличие от обычной войны, которая не нацелена на уничтожение всех людей.

Война может быть двух классов: это или вооружённое противостояние с некими локальными целями (сепаратисты, предотвращение создания оружия массового поражения, оккупация части другой страны), или мировая война. Я полагаю, что любая мировая война является войной за мировое господство, что можно иначе назвать «войной за объединение планеты» и имеет своей целью установить вечный всемирный режим. Вторая мировая война, Холодная война и борьба с Халифатом в значительной мере подходят под это определение.

Чем позже такая война произойдёт, тем сильнее будут её участники и тем хуже последствия. Возможно, нашей планете сильно не повезло в том, что она не объединилась в единое всепланетное государство сразу после второй мировой войны.

Выводы: даже самая небольшая война обладает мощнейшем потенциалом в том, чтобы раскручивать глобальные риски.

5.8. Деградация биосферы.

В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения как живых существ на Земле, так и особенно их среды обитания люди уже никогда не смогут вернуться на доисторический уровень существования. Обычные охота и земледелие станут невозможны – только выращивание всех необходимых продуктов в герметичных парниках. И если вымерших животных можно восстановить, просто выпустив «каждой твари по паре», то также просто восстановить почву и воздух не получится.

И хотя кислорода, накопленного в атмосфере, хватит ещё на тысячелетия сжигания топлива, то утилизировать углекислый газ в случае смерти биосферы будет уже не кому, что усилит шансы необратимого глобального потепления.

Вывод: Чем сильнее повреждена среда обитания, тем выше минимальный технологический уровень, на котором может выживать человечество.

5.9. Глобальная дезинфекция.

Распространение опасных биологических форм может привести к полному заражению ими биосферы. В этом случае возможны такие варианты:

А) Людям придётся изолироваться в защищённые убежища. Однако всегда будет оставаться угроза заноса опасных биологических агентов снаружи.

Б) Биологическая борьба с опасными агентами: распыление антибиотиков, антивирусов.

В) Создание искусственной иммунной системы всей Земли. Но это возможно только после предварительной «зачистки» и сопряжено с новыми угрозами, связанными с риском «автоиммунных реакций».

Г) Тотальная стерилизация живой природы. В этом случае людям придётся полностью уничтожить всю живую природу, чтобы вместе с ней уничтожить укоренившиеся в ней опасные организмы. Это означает, что люди уже не смогут вернуться назад, к естественному образу жизни. Однако после стерилизации возможно повторное заселение Земли живыми существами из «зоопарков». Сам момент глобальной стерилизации опасен для человечества, так как подразумевает высвобождение универсального, убивающего всё живое агента, например, радиоактивного вещества или излучения.

5.10. Экономика как сценарный фактор.

Основной глобализации является единая мировая экономика, а основой экономики – финансы. Финансы осуществляют управление потоком производственных сил, создавая города в пустыне или атомные заводы в заполярье. Чем сложнее система, тем больше в ней роль «верхних этажей» управления. Поэтому разрушение финансов может иметь катастрофические последствия, хотя финансы невозможно увидеть взглядом. Деньги являются обязательствами, данными относительного будущего. Именно наше ожидание того, что они сохранят свою ценность через год и через несколько лет придаёт им ценность сейчас. Соответственно, финансы являются инструментом конструирования будущего. Дезорганизация этого инструмента может существенно отбросить мир назад.

Аналогом экономики в человеческом обществе является экологическое равновесие видов в природе. И огромное число видов в природе вымерло, потому что нарушилось это равновесие, например, появились конкуренты или исчезло питание, или изменились условия среды.

5.11. Точка абсолютной уязвимости.

Это гипотетическая точка в системе, бесконечно малое воздействие на которое приводит к бесконечно большим последствиям. Чем сложнее система, тем больше шансов, что у неё есть такая точка. Чем выше интеллект и информированность противника этой системы, тем легче ему рассчитать или создать такую точку. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения.

Скорее всего, речь может идти о:

• Решении о начале войны (выстрел в Сараево)

• Начале техногенной аварии (Чернобыль)

• Биржевой панике

• Отклонении орбиты астероида

Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:

Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно. Я сильно удивляюсь, что авиамодели до сих пор не запретили. Объекты для атаки: президенты, самолёты, электроподстанции, вычислительные центры, системы управления ядерным оружием.

Сложные атаки с использованием Интернета и компьютеров. Например, создание закладки в компьютере, которая выдаёт неправильные данные только одному брокеру, заставляя его принимать неправильные решения.

Информационная атака – дезинформация – например, пустит слух (качественно сфабрикованный), что президент враждебной страны сошёл с ума и готовит превентивный удар по «нам» - это вызывает у «нас» желание ударить первыми. Что, очевидно, запускает положительную обратную параноидальную связь.

5.12. Раскачивающее управление.

Эффект обнаружен пионером кибернетики фон Нейманом. Он проявляется в дрожании рук больных паркинсонизмом и в управлении самолетами и артиллерийской стрельбой. Суть его состоит в том, что управляющая система получает информацию о состоянии управляемого параметра с запаздыванием, и в результате управляющее воздействие не вычитается из параметра, а складывается с ним, приводя ко всё большим колебаниям. В отношении глобальных рисков и новых технологий это может проявляться в том, что понимание сути этих принципиально новых процессов будет отставать от развития самой проблемы, в силу чего попытки разрешить проблему будут только усиливать её.

5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска.

Наше знание по-разному влияет на вероятность разных рисков. Можно выделить, так сказать, «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться – в отличие от рисков, которые мы можем приготовиться достаточно легко. Подготовка к риску включает в себя то, что мы:

1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры против него. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)

2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может придти риск.

3. В момент начала риска, мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем привести в жизнь в правильное время.

4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.

5. Мы обладаем таким количеством ресурсов, которое позволяет минимализировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.

Иначе говоря, контролируемый риск – этот риск, которым мы можем управлять, делая его произвольно малым.

С другой стороны, можно описать неконтролируемый риск:

1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а следовательно, нулевой.

2. Это событие устроено так, что оно не имеет никаких предвестников, или они нам неизвестны.

3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимализировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.

4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает.

5. Наших ресурсов не хватает, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.

Изложенная модель неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию того, что когда некий опасный процесс начнётся, люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлый катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, исходя из неё, действуют. Тут не обойтись без нескольких примеров:

Пилоты Боинга, вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы рулевой «Титаника» ударился в айсберг строго в лоб, а не скользящим ударом, судно бы не потонуло.

Проводник поезда в Германии решил пойти в конец поезда и посмотреть, что там происходит, вместо того, чтобы сразу дёрнуть за стоп-кран – в результате поезд сошёл с рельс со значительными жертвами.

В критических ситуациях людям очень трудно принимать решения, потому что эти ситуации:

• Не очевидны им как критические

• Никогда ещё не случались в их практике

• Они испытывают давление эмоций, страхов, нехватки времени и предрассудков

• Они обладают неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки.

• Они понимают то, что сказано в инструкциях иначе, чем авторы инструкций.

И по ряду других причин, существенных именно для глобальных катастроф, о которых идёт речь в статье Е.Юдковски «Систематические ошибки в рассуждениях о глобальных рисках» и в моей статье «О возможных причинах недооценки рисков уничтожения человеческой цивилизации». Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание требует месяцев тщательного изучения, и, тем не менее, всегда остаются неясности, сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 процентах случаев аварии связаны с человеческим фактором, и в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы управления Землёй могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.

Чем малопонятнее новые технологии, тем они автономнее от общественного контроля. Люди могут участвовать в опасных процессах, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в «Сумме технологий», где ИИ используется в качестве советчика по управлению государством. Разумеется, все советы, которые кажутся вредными, отклоняются. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело через много лет и несколько промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели баланса природных ресурсов, которые были поставлены перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.

Дрекслер так описывает этот риск: «Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными" (ее курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.»(«Машины созидания», гл.13)

5.14. Открытия.

Важным элементом прогноза будущего является возможность новых принципиальных открытий. Эти открытия могут быть двух родов: те, которые уже обдуманы в научной фантастике, и некие совершенно новые открытия, даже идея которых не могла придти в голову ранее (примером чего являются квантовая механика, квантовые компьютеры, компьютерная мышь и отчасти интернет). Понятно, что открытия принципиально не поддаются прогнозу, но можно рассмотреть некоторые возможности. Самое главное в нашем контексте - это то, что каждое новое открытие создаёт новые возможности для глобальных рисков.

• Если изобретут антигравитацию, это может дестабилизировать Землю или позволит создать быстрые и незаметные ракеты с ядерными зарядами.

• Если изобретут трансмутацию химических элементов, это позволит накапливать опасные радионуклиды.

• Если откроют дверь в параллельный мир, то неизвестно, что оттуда прилетит.

• Любое открытие нового источника энергии позволит создавать новые бомбы и ракеты.

• Любой способ получения информации сделает возможной более совершенную разведку и наведение.

• Любая новая среда даст возможность появления в ней самокопирующихся единиц.

• Любое открытие в области биологии приближает создание биологического оружия, а в области понимания работы мозга – ИИ, сверхнаркотика и средств тотального контроля.

5.15. Общие модели поведения систем на грани устойчивости.

Г.Малинецким обнаружены общие признаки поведения кривых, описывающие различные системы перед катастрофой. Они состоят в том, что некий параметр быстро растёт, в то время как скорость его колебаний вокруг среднего значения возрастает. Можно объяснить это так: по мере того, как система становится критической, отдельные сбои в ней оказываются всё ближе друг к другу и между ними начинают всё чаще возникать цепочки связи, маленькие лавины. От этого параметры системы начинают дергаться. Однако инерция гомеостаза системы пока ещё достаточно сильна, чтобы удерживать её в оптимальный параметрах. Появление всё новых и новых технологий и реализация разных сценарных факторов увеличивает число кирпичиков, из которых может сложиться опасный процесс, причём увеличивает нелинейно, а в степени, пропорциональной длине опасной цепочки.

Поэтому можно предположить, что признаком приближения глобальной катастрофы может быть увеличение числа несвязанных друг с другом катастроф и опасных процессов, каждый из которых будет завершаться относительно благополучно. (Но это совершенно не обязательный признак: катастрофа может наступить и совершенно внезапно; кроме того, есть такой признак, как «затишье перед бурей», подтверждённый на примере землетрясений, когда система перестаёт выдавать сбои в течение неожиданно большого времени. Впрочем, само «затишье» тоже является скачком параметра. Скачки могут быть не только в сторону ухудшения, но и в сторону внезапного улучшения. Так, иногда больные лучше чувствуют себя перед смертью, а фондовый рынок растёт перед рецессией.) В экономике одним из признаков наступающей рецессии является противоречивость параметров, что указывает на то, что система выходит из нормального и предсказуемого режима работы. И возможно, что система вышла из управляемого состояния, но ещё находится в пределах своих параметров – так самолёт, потерявший управление, ещё некоторое время летит в своём воздушном коридоре.

Состояние непредсказуемости и изменчивости, предшествующее катастрофе, и, в частности, проявляющееся в скачках параметров, является нарастающим состоянием хаоса (то есть сверхсложного многопараметрического состояния), в котором отдельные обстоятельства могут определить её будущее. Появление такого состояния в мире было бы опасным сигналом, однако пока что я его не вижу. Историческим примером такого состояния можно назвать резкий рост природных и техногенных аварий перед началом распада СССР (Чернобыль, «Нахимов», Спитак, взрыв газа с двумя поездами), который затем распространился и на социальные проявления (Карабах, Сумгаит, Ферганская долина).

5.16. Переход катастрофического процесса с одного уровня на другой.

Как пожар способен распространяться с проводки на занавески, с занавесок на воздуховоды, оттуда на крышу, и затем обратно вниз, так и глобальный катастрофический процесс способен менять свою природу, с каждым переходом усиливаясь и ускоряясь. Я уже говорил об этом в статье о причинах недооценки глобальных рисков. Однако там был сделан акцент на том, что мы не можем предположить такого развития сценария, как переход из одного жанра в другой. Здесь же я указываю на это как на общее свойство серьёзных катастрофических сценариев. Оно связано с устойчивостью катастрофического процесса, о которой шла речь выше. Например, при катастрофе Титаника природа катастрофы менялась несколько раз: столкновение - паника – замерзание в воде - утопление. При падении небольшого астероида это будет: взрыв – цунами – эпидемии – экономический спад. При этом каждая последующая фаза относительно независима от предыдущей.

5.17. Схемы сценариев.

Хотя мы не можем создать конкретный сценарий глобальной катастрофы по причине того, что возможно очень много вариантов, а наши знания ограничены, мы можем воспользоваться помощью сценариев второго порядка, которые описывают общие закономерности того, как стыкуются друг с другом сценарные факторы. Примером такого сценария второго порядка является «противостояние меча и щита». Или общий ход шахматной партии – от дебюта к эндшпилю.

5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий.

Примером работы этой схемы является война Японии и США в ходе Второй мировой войны. Япония начала войну, чтобы захватить нефтеносные поля в Индонезии, что было невозможно без войны с США и Великобританией, поскольку сама не имела источников жидкого ископаемого топлива. Война нанесла сторонам гораздо больший ущерб, чем сам факт нехватки топлива. Однако ещё более существенным с точки зрения рисков фактором было то, что война решительно ускорила гонку вооружений в обеих странах. И хотя японцы значительно продвинулись в создании и испытании блох, заражённых чумой, успеха достигли американцы с атомной бомбой. Атомная бомба создала гораздо больший риск гораздо больших жертв, чем принесла сама Вторая мировая война.

Неожиданным результатом атомных бомб стала возможность создания водородной бомбы и особенно кобальтовой сверхбомбы, загрязняющей целые континенты. То есть технология дала гораздо больше, чем от неё в начале требовалось. (Похожая ситуация была и в развитие ракет и компьютеров, после того, как начальные трудности были преодолены, так что это вполне закономерный итог.) Наконец, вполне закономерным выглядит то, что атомное оружие постепенно, но неудержимо стало распространяться по планете. Ещё одним закономерным итогом было то, что ядерное оружие стало конвергироваться с другими продвинутыми технологиями своего времени – ракетным и компьютерными технологиями, породив межконтинентальные ракеты.

6. ГЛОБАЛЬНЫЕ РИСКИ ТРЕТЬЕГО РОДА.

6.1. Определение.

Глобальными рисками третьего рода мы назовём любые события, которые замедляют или ускоряют ход, или меняют порядок развития сверхтехнологий на Земле, и в силу этого оказывают косвенное, но решающее влияние на возможные сценарии глобальных катастроф. Здесь можно обнаружить следующие взаимосвязи между катастрофами разных масштабов и их влиянием на развитие и очерёдность технологий.

1. Любая крупная авария или катастрофа может замедлить развитие технологий. Например, экономический кризис приведёт к остановке работ на ускорителях, что уменьшит шансы на создание «чёрной дыры». Уменьшится выделение денег на био- и ИИ исследования, но их это затронет в меньшей степени.

2. Колоссальная, но не окончательная катастрофа остановит почти все исследования, даже если некоторое количество людей выживет.

3. Любая авария средней тяжести приведёт к росту мер безопасности и сокращению проектов в своей области.

4. Военный конфликт приведёт к гонке вооружений и росту числа исследований. Направления перспективных исследований будут выбираться с учётом мнения неких ключевых людей. Например, в РФ сейчас стартовала военная программа по нанотехнологиям. Это бы не произошло, если бы те, кто принимают решения и их советчики никогда бы не слышали про нанотехнологии. Ядерная программа США не стартовала бы, если бы не письмо Эйнштейна. С другой стороны, универсальный ИИ как абсолютное оружие сейчас обойдён вниманием властей, насколько это известно. Однако вечно это продолжаться не будет. Как только власти поймут, что частные лаборатории, создающие сильный ИИ, возможно, обладают силами для глобального мятежа – они приберут их к рукам. Соответственно, прослышав, что в одной стране власти сделали ставку на мощный ИИ, и другие страны могут так поступить, а также отдельные организации и крупные фирмы могут начать свои проекты. Однако разрушение информационной связности может отбросить всю науку об ИИ назад.

5. Само изобретение даже не очень сильного ИИ позволит резко ускорить прогресс в других областях. Кроме того, любые принципиальные открытия могут изменить баланс сил.

Итак, некие события могут или сильно снизить уровень исследований в мире, в силу чего более дешёвые проекты получат преимущество перед дорогими, или резко ускорить их. Наоборот, разрушение информационной связности застопорит дешёвые проекты, опирающиеся на доступную информацию из Интернета, и не остановит дорогие проекты, реализующие готовую информацию, например, создание кобальтовой супербомбы.

6.2. Закон Мура.

Законом Мура в узком смысле слова называется экспоненциальный рост числа транзисторов на чипе. В широком смысле слова под ним имеется в виду экспоненциальное усиление разных технологий с течением времени. Будущее закона Мура – будет ли он работать весь XXI век или перестанет в какой-то момент, является определяющим в том, какова будет история XXI века и его риски.

В действительности, это ускорение, которое описывает закон Мура, является не экспоненциальным, а более крутым. Вопрос этот неоднократно исследовался, например, в книге Рэя Курцвейля «Результаты закона ускорения» (‘The law of acceleration returns’). Подтверждением этого, является то, что, во-первых, скорость удвоения числа транзисторов на чипе постепенно, хотя и не равномерно, возрастает (то есть период удвоения сокращается). Если экстраполировать закон Мура в прошлое, то он бы имел начальную точку в середине ХХ века. Но компоненты электронных схем развивались и раньше. Предполагается, что в начале ХХ века закон Мура (если его экстраполировать на прогресс электронных схем тогда) имел период удвоения порядка трёх лет.

Во-вторых, не только возрастает число транзисторов на чипе, но и число компьютеров в мире экспоненциально растёт. В силу этого суммарная доступная вычислительная мощность растёт как экспонента от экспоненты.

В-третьих, растёт связность компьютеров друг с другом, превращая их в единый компьютер. В результате, если мы к началу 80-х имели порядка миллиона компьютеров с частотами порядка мегагерца, то теперь мы имеем миллиард компьютеров, с частотами порядка гигагерца, связанных между собой Интернетом. Это означает, что совокупная вычислительная мощь за 25 лет выросла не только в миллион раз количественно, но и неисчислимым образом качественно.

Поскольку аналогичная закономерность прослеживается не только относительно чипов, но и жёстких дисков компьютеров, и считывания ДНК и ряда других технологий, понятно, что закон Мура связан не с какой-то особенностью производства микросхем, а с универсальной закономерностью в освоении новых технологий.

Другой способ понять то, что собой представляет закон Мура, состоит в том, чтобы представить, что мы оказались в 19 веке с чертежом компьютера или пулемёта, и понять, чего именно нам не хватает, чтобы сделать это устройство. В первую очередь, нам будет не хватать материалов, деталей и точности обработки. (Во-вторых, необходима сама принципиальная идея того, что нужно сделать – сам чертёж.) Соответственно, прогресс состоит в росте номенклатуры и удешевлении материалов с заданными свойствами и технологий их обработки. Значит, в основе роста технического прогресса лежит возникновение новых идей, рост объёмов производства (удешевление) и, как ни странно, химия. И сейчас основные технологические открытия совершаются на границе биохимии, нанотехнологий, физики полупроводников и т п.

В своё время наблюдался своеобразный закон Мура в области космонавтики – от первого спутника до высадки на Луну имел место экспоненциальный рост успехов, который давал основания для прогнозов о полётах к звёздам к началу 21 века. Однако вместо этого космонавтика вышла на насыщение и даже на откат по некоторым позициям, вроде полётов на Луну. Это произошло, потому что космонавтика развивалась, как культура микроорганизмов в чашки Петри – то есть экспоненциально росла, пока не упёрлась в свои естественный пределы. Естественными пределами космонавтики стали возможности химических ракет (и их цена). Хотя космонавтика развивалась, принцип реактивного движения и цена производства ракет не развивались. В области полупроводников и ряда других технологий происходило наоборот – каждый успех в их создании позволял быстрее и дешевле разрабатывать новее версии.

В производстве кремниевых микросхем закон Мура также должен рано или поздно достичь некого физического предела. Однако, если взять закон Мура в более общем виде, то он означает закон самоусложнения структур. И мы неоднократно видели, как это самоусложнение совершало качественные скачки от одной области экспоненциального роста к другой, всякий раз в гораздо более быструю по параметрам развития – от одноклеточным к много клеточным, от неолита к рабовладельческому строю, от электронных ламп к транзисторам, от микросхем к – возможно – квантовым компьютерам. (Я не привожу здесь полную цепочку ускорения фаз развития, отмечу только, что каждый переход давал ускорение параметра роста в несколько раз.) Это значит, что такие события, как переход с одной экспоненты на другую, более крутую (а очевидно, не было конкурентной выгоды переходить на менее крутую экспоненту развития), являются более важными, чем даже сам экспоненциальный рост между этими переходами. И каждый раз такие переходы связаны с качественными скачками, с открытием принципиально нового способа оптимизация, нового способа более быстрого «думания» (иначе говоря, с открытиями более быстрых алгоритмов искусственного интеллекта, чем простой перебор). Например, переход к половому размножению был для эволюции открытием более быстрого способа отбора и создания эффективных видов. Переход к письменности – более мощным способом накопления знаний об окружающем мире, чем устная передача. Создание научного метода – более мощным способом познания окружающего мира, чем доверие письменным источникам античности. Создание системы венчурных фирм, разрабатывающих и продающих новые технологии – более быстрым способом, чем работа отдельных конструкторских бюро и изобретателей-одиночек. (См. например: И.Азаров.

Венчурный капитал в электронной промышленности США.

http://www.electronics.ru/issue/1998/1/17 ).

Вероятно, следует остановиться на том, каким образом устроена разработка новых технологий в современном обществе, - что и позволяет поддерживать нынешний темп роста технологий. Она имеет следующие части:

1) непрерывная генерация и патентование любых идей.

2) создание отдельных лабораторий под каждую идею, у которой есть хотя бы мизерный шанс на успех (венчурные фирмы).

3) непрерывный обмен информацией между всеми участниками процесса, как за счёт открытых публикаций, так и за счёт торговли патентами и лицензиями.

4) отлаженный механизм внедрения любых новинок.

5) Покупка «мозгов» - людей с их навыками - под конкретные проекты.

Эта система, как и все предыдущие, сложилась стихийно – то есть путём простого отбора между разными системами оптимизации. (Может быть, с элементами синтеза в духе полового отбора.) Соответственно, можно предположить, что переход к следующей системе оптимизации будет связан с подвижками, так сказать, на уровне мета-оптимизации, то есть оптимизации процессов оптимизации.

Очевидной чертой современной системы является то, что она концентрируется не вокруг людей-изобретателей, как в 19 веке – Эдисона, Теслы, а на отработанном конвейере производства и коммерциализации идей, в котором личность отдельного человека не принципиальна. Из сказанного очевидна уязвимость современного «закона Мура» к экономическим потрясениям: для его работы необходим широкий фронт из множества фирм, поддерживаемый непрерывным притоком капитала.

Соответственно, в будущем обобщенный закон Мура, иначе говоря, закон ускорения эволюции, ждёт или крах, или переход на ещё более быструю ступень развития. Поскольку нельзя заставить людей менять сотовый телефон 10 раз в год, то, скорее всего, двигателем для следующего скачка будут нерыночные (но конкурентные) механизмы, например, гонка вооружений.

Иначе говоря, закон Мура является продуктом современной экономики, и риски для экономики являются рисками для закона Мура, а значит, - являются глобальными рисками третьего рода. «Закон Мура» в широком смысле слова очень уязвим к целостности и связности общества. Для того, чтобы огромное количество технологий продолжало бы развиваться по экспоненциальной кривой, необходимо одновременное функционирования тысяч лабораторий, мощнейшая экономика и качественная информационная связность. Соответственно, даже мощный всемирный экономический кризис может подорвать его. Примером такого рода события может быть распад СССР, в котором наука обрушилась в разы – и обрушилась бы ещё больше, если бы не приток идей с запада, спрос на энергоносители, импорт компьютеров, интернет, поездки за рубеж и фонд Сороса. Страшно себе представить, насколько бы откатилась назад наука, если бы СССР был единственным государством на планете и распался.

Понятно, что «закон Мура» мог бы поддерживаться внутри нескольких отдельных сверхдержав, обладающих полным комплектом ключевых технологий, но возможно, что некоторые ключевые технологии уже стали воистину уникальными в мире. И конечно, одно небольшое государство, даже европейское, не сможет поддерживать темп развития науки на нынешнем уровне, если останется в одиночестве. В силу этого мы должны осознавать уязвимость закона Мура на современном этапе. Однако создание ИИ, нано и био технологий резко уменьшит объём пространства, которое необходимо для «производства всего». Крах закона Мура не будет означать прекращения всех исследований. Разработка отдельных видов биологического оружия, ИИ, сверхбомб может продолжаться усилиями отдельных лабораторий. Однако без всемирного информационного обмена этот процесс значительно замедлится. Крах закона Мура отсрочит или сделает невозможным появление сложных высокотехнологичных изделий, таких, как нанороботы, освоение Луны и загрузка мозга в компьютер, однако доведение до ума относительно простых проектов продолжится.

7. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ.

7.1. Общее понятие о предотвратимости глобальных рисков.

Очевидно, что если мы выясним, что есть несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Наоборот, если окажется, что во всех предлагающихся мерах защиты есть изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Как мы сейчас представляем, система защиты - на каждой фазе развития глобального риска - должна осуществлять следующие функции:

• Наблюдение.

• Анализа информации и принятия решения.

• Уничтожения источника угрозы.

Эта стратегия хорошо отработаны в разведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой.

Глобальные риски различаются по степени того, насколько возможно их предотвратить. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только понимание их опасности. То есть максимально предотвратимый риск – это тот риск, который:

1) Легко предвидеть

2) Предвидение о котором легко достигает научного консенсуса.

3) Одного признания которого достаточно, чтобы отказаться от действий, ведущих к этому риску.

Последнее связанно с тем, что:

А) Опасные процессы создаются только людьми.

Б) Они открыто создаются в небольшом числе широко известных мест.

В) Люди не ждут никакой выгоды от этих процессов.

Г) Опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития.

Д) Опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности.

Е) У нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.

Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:

1) Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI есть риск, было трудно.)

2) Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности доказательства DA).

3) Даже если будет достигнуто общественное согласие о том, что это действительно опасно, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)

Последнее связано с тем, что:

1) Источники риска доступны большому числу людей, и что это за люди - неизвестно (можно поставить на учёт все физиков ядерщиков, но не хакеров-самоучек).

2) Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).

3) Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.

4) Источник опасности сулит не только риски, но и выгоды, в частности, является оружием.

5) Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться.

6) Опасную ситуацию трудно опознать в качестве таковой, это требует много времени, и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-либо не заразит и пока эпидемия достаточно не распространится, чтобы понять, что это именно эпидемия.)

7) Опасный процесс развивается быстрее, чем мы можем на него адекватно реагировать.

Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск, в конечном счёте, будет предотвращён. Например, астероидная опасность относится к числу легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной – кометы идёт по более крутым орбитам, и часто появляются новые кометы) системы защиты у нас сейчас нет. И пока её нет, «предотвратимость» остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и когда.

7.2. Активные Щиты.

В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Щит – это средство контроля и воздействие на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.

Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который проходит под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть Землю. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.

Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго, но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает, тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя нехорошо проявить, и ещё время, чтобы иммунная система выработала против него ответ. Тоже самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы речь шла о серой слизи, мы поняли бы, что это серая слизь только после того, как она значительно распространилась. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть.

Иначе говоря, иммунная система хороша, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования Земли, а космические поселения столкнуться с рядом концептуальных трудностей (см. главу о них). Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые оказывают значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип распространение фактора опаснее разрушения).

Соответственно, широко обсуждаются идеи БиоЩита и НаноЩита. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов.

1. Они мучительно отстают от источника угрозы по времени разработки.

2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.

3. Они уже сейчас вызывают серьёзные политические разногласия. Поскольку, если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности, как, например, национальные системы ПРО порождают соблазн ударить первыми – и страх этого у тех, у кого их нет.

4. Любой щит создаётся на основе ещё более продвинутые технологии, которые могут создавать угрозы своего уровня.

5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев.

6. Щит не может быть абсолютно надёжен – то есть успех его срабатывание носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы вопрос его пробивания – это только вопрос времени.

7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.

Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он даст технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки по Земле. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку солнечной системы, я не буду чувствовать в большей безопасности.

В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что этот же астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.

Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:

• Ракеты сбиваются с помощью ракет ПРО.

• По местам производства ядерного оружия наносятся ядерные удары.

• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.

• Биодатчики не дают распространиться биологическому оружию.

• Нанощит защищает от нанороботов.

Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (Беллона), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то есть строительствам во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Порочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.

7.3. Действующие и будущие щиты:

Здесь я привожу краткий, но насколько возможно полный список щитов, которые могут появиться в будущем.

1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.

2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.

3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.

4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.

5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. С другой стороны, она не даст абсолютной защиты, так как её можно взломать, или потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.

6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)

7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке.

8) Нанощит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.

9) ИИ-щит. Защита от создания враждебного ИИ. Ничего неизвестно о такой работе. Есть рекомендации по безопасной разработке.

7.4. Последовательность действия щитов разного уровня.

Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции.

Второй состоит в непосредственном контроле над людьми и опасными системами, с тем, чтобы ситуации глобального риска не вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д.

Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов итд. Это уровень систем ПРО.

Четвёртый – в эвакуации с Земли или закупоривании в бункеры.

7.5. Сохранение мирового баланса.

Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь - "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом, страна могла испытывать технологическое отставание на несколько лет и все же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной». («Машины созидания», глава 12.)

То есть чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии. Сознательное нарушение баланса тоже опасно: попытка одной из стран явным образом уйти в отрыв по военным сверхтехнологиям может спровоцировать её врагов на агрессию по принципу «атака при угрозе потери преимущества».

7.6. Система контроля.

Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.

Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и особенно анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока неясно.

Проблемы:

- Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.

- Любую систему контроля можно обмануть – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.

- Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верхушка не сможет контролировать сама себя, то есть понадобится система обратной её подотчётности или народу, или «службе внутренней безопасности».

- Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в ХХ веке, и вызовет ожесточённое сопротивление вплоть до терроризма. Такая система тотально контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.

- Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК секвенсоры и опыты на мышах. И без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.

- Поскольку такая система уже «доставлена» в любую точку земного шара, она упрощает действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать.

Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.

7.7. Сознательная остановка технологического прогресса.

Есть разные варианты попыток осуществления это остановки, все из которых или не работают, или содержат подводные камни:

1. Личный отказ от разработки новых технологий – практически ни на что не влияет.

2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение людей, обречена на провал.

3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.

4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.

5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с мощной военной силой и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?»(ibid)

7.8. Средства превентивного удара.

Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.

Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере. Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверх оружия для удара по поверхности.

Однако удар по точке не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. Тоже касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете.

Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть.

Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.

Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно.

Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» - то есть склонную к неограниченному саморазмножению и распространению «токсинов» - опасных нанороботов, сверхбомб и прочего). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» - то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете.

7.9. Удаление источников рисков на значительное расстояние от Земли.

Исследователь Голота предлагает все опасные физические эксперименты проводить «за орбитой Плутона». Проблемы такого подхода:

- Если мы получим в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять их результаты обратно.

- Это не сможет остановить некоторых от аналогичных опытов на Земле, особенно если они просты.

- Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.

- Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.

- Трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».

- Нет технических возможностей доставить огромное оборудование за орбиту Плутона в течение ближайших десятков лет.

7.10. Выживание на природе, создание отдалённых поселений.

Это вряд ли поможет в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Удалённое поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда это проходит, скорее, под графой «бункеры».

Если речь идёт о выживании после просто очень большой катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, да и вообще любое феодальное общество – город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе «2033» главное монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение в природе в духе Маугли. Однако маловероятно, что так удастся пережить что-либо серьёзное.

7.11. Создание досье на глобальные риски и рост общественного понимания.

Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия.

Проблемы:

- не понятно, к кому именно адресованы любые такого рода тексты

- террористы, страны изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных, что приведёт к увеличению рисков в большей мере, чем к их предотвращению.

- неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками – как раз тогда, когда она на самом деле понадобится.

7.12. Убежища и бункеры.

Отдельные автономные убежища могут существовать десятки лет, но чем оно автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем больший уровень технологий потребуется для надёжного выживания. (На Ноевом ковчеге это был запас «каждой твари по паре».)

Очень большой бункер окажется способным продолжать внутри себя развитие технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация – в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не будет способен сам продолжать развитие технологий, то он, скорее, обречён на деградацию.

Далее, бункер может быть или «цивилизационным», то есть сохранять большинство культурных и технологических достижений цивилизации, или «видовым», то есть сохранять только человеческую жизнь. Перед длительными бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством, тогда это будет просто подземная цивилизация на заражённой планете.

Чем в большей мере бункер автономен культурно и технически, тем больше там должно жить людей (исходя из современных технологий – бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, - только с замороженными яйцеклетками). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере на всякий случай. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас проводится эксперимент Марс 500 , где 6 человек будут находится в полностью автономном – по воде, еде, воздуху - пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем.)

Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным, или позволять «экскурсии» во внешнюю враждебную среду.

Примером морского бункера является атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов.

Современная космическая станция МКС могла бы продержать несколько человек порядка года, хотя встают проблемы автономной посадки и адаптации. Не понятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.

Есть разница между газо- и био- убежищами, которые могут быть на поверхности, но разделены на много секций на предмет карантина, и убежищ, которые нацелены на укрытие от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху.

Бункер может обладать разными уязвимостями: например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужна энергия и кислород. Это может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным – он должен предполагать защиты от определённых, известных заранее видов угроз – радиационной, биологической и т д.

Чем укреплённее бункер, тем меньшее число бункеров оставит человечество от себя и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известным местам.

Чем крупнее бункер, тем меньше таких бункеров построит человечество. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некой заразы между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен.

Возможны случайные бункеры – люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере.

Бункеры буду страдать от необходимости обмена теплом, энергией, водой и воздухом с внешнем миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. .) Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения. Охлаждение внешней водой будет демаскировывать их, а иметь источники энергии без потерь в виде тепла невозможно, тем более, то на глубине и так всегда высокая температура. Рост температуры по мере заглубления под землю ограничивает предельную глубину залегания бункеров. (Геотермический градиент в среднем составляет 30градусов/ километр. Это означает, что бункеры на глубине больше 1 километра невозможны – или требуют гигантских охлаждающих установок на поверхности, как золотые шахты в ЮАР. Могут быть более глубокие бункеры во льдах Антарктиды.)

Чем эффективнее бункер, который может создать цивилизация, тем на более высоком технологическом уровне она находится и тем большими средствами уничтожения обладает – а значит, тем более мощный бункер её нужен. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, создав чисто компьютерный цивилизацию.

Бункеры будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть – поэтому у них будет искушение осваивать ещё заражённые участки земли.

Возможны автоматические робототизированные бункеры: в них человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет запускаются. Их можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой – скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя человек, воспитанный роботами?

Культурные примеры: Ноев ковчег, Зион в «Матрице», крепость во время чумы у Э.По в «Маске Красной смерти», бункер в «Терминаторе». FallOut (серия компьютерных игр), роман "Метро 2033" (http://www.m-e-t-r-o.ru/)

Выводы: идея о выживании в бункерах содержит много подводных камней, которые снижают ей полезность и вероятность успеха. Длительные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменится и неизвестно к чему готовится. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Но чем мощнее бункер, тем вероятнее, что в нём разместят оружие возмездия, и тем вероятнее, что он станет целью в ходе войны.

Прямо сейчас у нас, вероятно, есть бункеры, в которых люди могут автономно просидеть год (а может быть и несколько лет в ядерных в военных объектах). Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов.

Особняком стоят информационные бункеры, которые предназначены, чтобы донести до возможных уцелевших потомком наши знания, технология и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями. Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок.

7.13. Опережающее расселение в космосе.

Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Тогда ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества по космосу. Поскольку интеллектуальные компьютерные вирусы могут передаваться со скоростью света по сетям связи, то человечество должно было бы расселяться быстрее, чем скорость света, что невозможно.

7.14. Всё как-нибудь обойдётся.

Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Более продвинутой формой этой позиции является идея о решении проблем по мере их поступления. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: Анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.

Однако в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку мы не знаем, где искать, и поскольку риски могут стать актуальными быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.

Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Это похоже на концепцию Goldilock Economy – то есть экономике в духе Маши из сказки «Маша и медведи», которая сумела полежать на всех кроватях медведей, но уйти не пойманной. Вероятность такого расклада невелика.

7.15. Деградация в устойчивое состояние.

Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение.

7.16. Предотвращение одной катастрофы с помощью другой.

Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:

1.Ядерная война останавливает развитие технологий вообще.

2.Тотальный ИИ предотвращает биотерроризм.

3.Биотерроризм делает невозможным развитие ИИ

4.Ядерная зима предотвращает глобальное потепление.

Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.

Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ.

Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска.

7.17. Организации, ответственные за предотвращение катастрофы.

Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте Ника Бострома, есть гранты фонда Lifeboat foundatation, есть исследования Э.Юдковского. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.)

Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.

1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.

2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.

3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще.

4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап –это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» - явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.

5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется по-английски Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы – власть общества не велика. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению –. Это Lifeboat Foundation, Центр по ответственным Нанотехнологиям, Альянс по спасению цивилизации, SIAI. Эти организации обмениваются ссылками, ресурсами и сотрудниками. С другой стороны, практические влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранной разведкой. Наилучшим примером воздействия общества на правителей является чтение правителями книг. Президент Кеннеди избежал войны в ходе Карибского кризиса, в значительной мере потому что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К.Сагана и Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.

6) Не мешать системе самой по себе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.

Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы общество целиком делегировало ей такие полномочия, что кажется гораздо менее вероятным.

Позитивным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась общей и понятной.

7.18. Проблема моделирования сценариев глобальной катастрофы.

К настоящему моменту наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к представлению, и необходимо сказанное проинтегрировать. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в том, чтобы дать конкретный прогноз, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. При этом вспомним слова Бора (?), сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии выглядят фантастическими, не делает их невозможными.

Рассмотрим эти сценарии также не как попытки предсказать будущее, а как пробные шары, с помощью которых мы исследуем саму свою способность создавать и оценивать сценарии. Отметим, что данное перечисление не есть попытка составить полный список, который был бы многократно длинее.

1. Мировой финансовый кризис, распад мира на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.

2. Создание универсальной биологической машины и её широкое распространение. Это как личный биопринтер плюс набор программ для него по созданию любых живых существ. В результате - резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Ядерная война как попытка стерилизовать окрестности. Опять же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы.

3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». ХХI- XXII век.

4. Внезапное возникновение мощного самоусиливающегося ИИ – что перебивает любой из предыдущих сценариев. Время действия 2007-2040. Этот ИИ приходит к выводу об изначальной ущербности живой клетки и заменяет их на нанороботов. Каждый человек подключён к источнику неограниченного блаженства и больше не приходит в сознание.

5. Начинается мировая война или противостояние, и враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика. Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку, мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточённую схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, всячески о них заботясь. 2010-2050 гг.

6. На Земле побеждает ИИ и благодаря своему уму распространяет информацию о себе во все стороны по Вселенной. Он открывает межзвёздные перелёты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Этот более зрелый ИИ истребляет наш ИИ и человечество. 2020-2100 гг.

7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра», однако некоторые страны не согласны, и их приходится уничтожить. В результате последовавшей ядерной и биологической войны население Земли значительно сократилось, биосфера серьёзна повреждена, но «Старшая сестра» создана. Поскольку ей всё время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счёте, она становится полноценным самосовершенствующимся ИИ.

8. Аль-Каеда провоцирует крах западной цивилизации и устанавливает всемирный халифат. Уцелевшие учёные создают сверхбомбы и подрывают весь мир, чтобы он «не достался террористам».

9. Удаётся наладить дешёвое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и бункеры разных стран уничтожают друг друга ядерными ударами.

10. Компьютерный вирус поражает всю уцелевшую в мире технику и заставляет её атаковать людей. Из страха оставшиеся люди уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и ещё несколькими медленными болезнями, а вся среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землёй. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.

11. Падение небольшого астероида вызовет случайную ядерную войну, которая станет войной всех против всех. Уцелевшие люди вымрут, когда вслед за тем прилетит больший астероид и спровоцирует извержение супервулкана.

12. Некая страна разрабатывает опасные нанотехнологии, и на неё совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем наконец опасные нанотехнологии появляются.

13. Несколько всеядных бактерий вырываются в окружающую среду и делают её непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно деградируют там.

14. Тоталитарное мировое правительство вводит всем людям вирус счастья, чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускаю боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления этой наноиммунной системой и запускает в ней автоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены стать дебилами в ближайшие годы из-за ошибки в вирусе свободы.

15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Эти сверхлюди борются с обычными людьми и вообще их за людей не считают. В результате обычные люди полностью истребляются, и остаётся несколько сверхлюдей, которые по разным причинам вымирают.

16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли, и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.

17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа учёных делает открытие о квантовой природе сознания и создаёт универсальный доступ к любым сознаниям. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена.

18. Некая страна создаёт оружие судного дня, и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение.

19. Группа стран одной расы производит этническое оружие, которое уничтожает людей с другим цветом кожи. Но несколько друзей встают на защиту цветных и производят аналогичное оружие для белых. Поскольку планета оказывается полностью заражена, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создаётся несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает всё живое. Уцелевшие люди вступают в некую секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно.

20. Некая страна придумала добывать энергию из магмы и просверлила глубокий канал подземлю. В результате образовался неконтролируемый вулкан и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создаёт ещё более глубокий канал подземлю. Происходит катастрофическая дегазации земного ядра и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена.

При рассмотрении каждого предложенного сценария видно, что он в чём-то излишне фантастичен и похож на сюжет для романа, а в чём-то неполон – просто потому что есть много вещей и возможностей, о которых он не говорит. На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. В начале такие сценарии могут развиваться независимо, но затем, когда они выйдут на простор, то непременно пересекутся друг с другом.

Следующий дефект этих сценариев – что они написаны от имени кого-то, кто уже знает начало и конец, и точно понимает, что происходит. Тогда как в начале любой последовательности событий мы не знаем, чем она закончится, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после вымирания – некому будет это утверждать.

Далее, не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятны только потом или в момент своего проявления. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолёту». Поэтому мы можем находиться внутри какого-то сценария, понятия об этом не имея. Соответственно, и одна террористическая группа не знает, что задумала другая.

С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором сценария возможной будущей глобальной катастрофы будет состояние «замешательства» - которое будет проявляться в интеллектуальном разброде о причинах процесса и способах его преодоления и приведёт к конфликтам между сторонниками разных способов. А любой такой конфликт равноценен перестрелке в пороховом погребе.

Способности одного человека придумать сценарий возможной глобальной катастрофы принципиально ограничены объёмом мозга и привычными сюжетными конструкциями. Эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы по мотивам аварии в Нью-Йорке. И получили результат, похожий на то, что потом случилось на самом деле в Москве в 2005 году. В США Юдковски отыгрывал различные модели поведения Недружественного ИИ на модели ролевых игр GURPS. Наконец, в будущем нам помогут в этом моделировании системы ИИ.

7.19. Глобальные катастрофы и проблема веры.

Глобальная катастрофа относится к категории невидимых и непроверяемых вещей и потому попадает в ту область, которая обычно определяется верой. Здесь она сталкивается с другими объектами веры. А у каждой религии своя эсхатология. Тем не менее, людям свойственно прибегать даже к «антинаучным» методам борьбы, когда речь идёт о спасении жизни. Можно вспомнить, что при Сталине Москву трижды облетел самолёт с иконой Казанской Божей Матери, чтобы защитить её от наступления немцев, о множестве ритуалов при запуске ракет на Байконуре и т. д.

Вера в неизбежность и позитивность конца света была раньше свойственна христианству, хотя сейчас вряд ли эту идею принимают буквально. Вера в приход Спасителя, следующего воплощения Будды, Мессии и т. д. также есть в разных религиях. Любые идеи о том, что мы уже обладаем бессмертием, радикально меняют смысл и ценность представлений о глобальной катастрофе. Люди в эпоху средневековья жили с ожиданием Конца света, и он был для них освобождением. Когда есть бессмертие, то катастрофа перестаёт быть всеобщей – она касается только некой части мира, и потому может даже приветствоваться.

Особняком по отношении к проблеме глобальных рисков стоят несколько дисциплин, которые стараются придать себе статус научности, однако в целом отвергаются научным сообществом. Принцип предосторожности заставляет нас принять их во внимание. Поскольку, как мы уже говорили, любое новое открытие меняет картину глобальных рисков, и, скорее всего, в сторону усугубления.

1. Уфология. Основной вопрос уфологии состоит в том, стоит ли за хоть какими-нибудь наблюдаемыми на небе непонятными явлениями что-то, что требует некого принципиально нового научного объяснения. Или же все такие явления связаны с ошибочным восприятием, галлюцинациями, мистификациями и случайными совпадениями, а также редкими, но не требующими изменения картины мира физическими явлениями, такими, как спрайты и прочие формы сложных электрических разрядов. Принципиально новое в уфологии не обязательно означало бы, что НЛО – это космические корабли пришельцев. Есть много других предположений: что это плазменные формы жизни, путешественники во времени или из параллельных миров, жители подводной цивилизации и т. д. (См. короткую статью Жака Вале «Пять аргументов против внеземного происхождения НЛО».) Из того, что многие небесные явления удаётся объяснить естественными причинами, не следует, что нам когда-нибудь удастся объяснить все такие события.

В любом случае, если будет открыто, что за НЛО стоит нечто принципиально новое, это ухудшит наши шансы на выживание. Во-первых, если за НЛО не стоит разума, а просто набор неких новых физических эффектов, это даст нам некое новое пространство, по которому можно перемещаться, размножаться в нём и воздействовать из него на Землю. Соответственно, это даст новые способы создания оружия судного дня.

Во-вторых, даже если НЛО – это корабли пришельцев, то трудно ожидать от них, что они начнут спасать земную цивилизацию – ведь раньше они не предотвращали мировые войны. Однако столкновение с превосходящим разумом всегда гибельно для более слабого – и чревато вымиранием или культурным растворением. Вспомним австралийских аборигенов или индейцев.

2. Парапсихология. Парапсихология также борется за то, что бы наукой и доказать, что предмет её исследования существует. В целом, то, что она предсказывает, гораздо менее фантастично, чем свойства квантовой сопряжённости, которыми обладают элементарные частицы. Поэтому наилучшие попытки научного обоснования парапсихологических явлений, таких как телепатия и предвидение, основаны на теориях о квантовой природе сознания.

Представим себе, что парапсихология достигла своих целей и нашла способ легко демонстрировать и применять на практике такие способности, как телепатия и предвидения (Один из наиболее интересных проектов на эту тему - Remote viewing Инго Свана - развивался в 80-е годы в США при ЦРУ, потом был выведен за штат и широко опубликован в Сети. Возможно, отказ от него был связан с тем, что были найдены более эффективные техники удалённого восприятия – а может, с тем, что они были признаны бесполезными.) Здесь возможны два варианта. Первый состоит в том, что некие простые парапсихологические явления получили научное подтверждение и стали широко применяться на практике. Второй вариант состоит в том, что сделанные открытия будут настолько масштабны, что полностью изменят нашу картину мира.

На первый взгляд, способность читать мысли всех людей и предчувствовать будущие катастрофы была бы крайне полезна в борьбе с террористами и прочими рисками. Однако здесь мы опять видим средство мгновенного воздействия на всех людей, и также среду для саморазмножающихся объектов – то есть базовые инструменты для создания нового оружия судного дня. Следовательно, открытие телепатии не сделает наш мир безопаснее, так как создаст новое пространство для борьбы «щита и меча» с непредсказуемыми последствиями. Предвидение также может создать ситуацию стратегической нестабильности, по типу самосбывающихся пророчеств. Пример такой нестабильности показан в фильме «Особое мнение», где способность предсказывать намерения другого государства приводит к войне. Особенно, если оно тоже бы обладало предсказателями – тогда бы возникала положительная обратная связь. С предсказаниями возникает также проблема петель обратных связей в духе «вернуться в прошлое и убить своего дедушку», смысл которых в том, что или предсказание неизбежно, или это не предсказание.

Более глубокими следствиями открытий в области парапсихологии было бы радикально изменение картины мира. Такое изменение состояло бы в том, что роль субъекта в мироздании значительно повышалась бы, а роль объективного мира снижалась. Нет нужды говорить, что такого рода открытия тесно смыкались бы с предсказаниями различных религиозных учений. Возможно, что в этом случае проблема гибели человечества сильно трансформировалась бы, так как изменилось бы само содержание терминов «гибель» и «человечество». Однако даже если бы мы «открыли Господа Бога», это не обещало бы нам «спасения человечества» в его нынешнем виде, поскольку, как уже говорилось, во многих религиях предусмотрен – и приветствуется – апокалипсис.

Одним из популярных способов борьбы за спасение мира являются коллективные групповые медитации, которые организуются в определённое время по всему земному шару. Никакой очевидной пользы или вреда от этого зафиксировано не было.

Интересной формой изменения картины мира мог бы быть последовательный солипсизм, то есть представление о том, что только я-сейчас реально существую, а мир – это некая форма отражения моего сознания. Многие учения в стиле New Age неявно разделяют эту картину миру, утверждая, что «все ваши желания сбываются», «вселенная слышит вас». Тогда способом сохранения мира было бы пребывание в позитивном устойчивом состоянии, которое бы отражалось во вне. Однако, поскольку у каждого бывают приступы ненависти к себе и другим, то, если бы эта система работала в точности, мир бы, даже и субъективный, погиб бы ещё раньше. Если же предположить, что есть некий разумный фильтр моих желаний, то мы возвращаемся к картине мира с Богом, где окончательное решение о разрушении и создании мира остается за ним, но поскольку Бог находится за пределами мира, то это не является ни окончательной катастрофой, ни глобальной. Однако, возможно, что ситуация гораздо сложнее, чем позволяет себе представить человеческая теология, и таким образом разрешаются все противоречия.

3. Альтернативные физические теории. Всегда есть огромное количество ниспровергателей Эйнштейна, однако даже в рамках вполне общепринятой физики, развиваемой профессиональными теоретиками, достаточно теорий, который могут существенно изменить наш взгляд на мир в вопросе глобальных катастроф.

Во-первых, это разные теории, которые предсказывают новые пространства, в которых могут развиваться риски, новые физические эффекты, обещающие новые виды оружия, а также описывающие разные альтернативные сценарии природных катастроф. Однако это можно отнести к главе «Открытия».

Затем есть ряд теорий, которые предполагают полную смену картины мира. Среди них следует выделить концепцию Мультверса Эверетта , а также ряд других теорий (например, космологическую хаотическую инфляцию), которые предполагают бесконечность числа существующих миров. Так или иначе, эти теории, независимо одна от другой, означают, что существуют все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. См. подробнее статью Дж. Хигго «Означает ли бессмертие многомирная интерпретация квантовой механики».

Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.

Далее, следует уделять внимание другим теориям, полностью меняющим картину мира – например, идеям о голографической вселенной. Часто разные альтернативщики стараются привлечь к себе внимание, показывая, как открытые ими новые эффекты могу привести к разным катастрофам. И хотя большинство людей правильно распознают такие заявления как саморекламу, возможно, надо уделять им чуть больше внимания, так как в одном случае на тысячу за ними может быть своя правда.

Важной темой является то, что по мере приближения к моменту Сингулярности все факторы, которые имеют хоть какое-то значение для человечества, должны сыграть свою роль.

Ещё одним из таких факторов, ждущих своего научного объяснения, является философская проблема о «квалиях» (qualia) - то есть о качественной природе отдельных переживаний, таких зелёный и красный, и связанным с этих логических парадоксах. Проблема квалиа воскрешает в новой форме проблему психофизического дуализма, поскольку означают, что существует нечто, с одной стороны, доступное для субъективное восприятие, а с другой, отсутствующее в физическом мире – и возникает вопрос, как эти два уровня реальности взаимодействуют.

4. Предположения о том, что мы живём в «Матрице». Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Вероятность такой ситуации будет обсуждаться нами в главе «Всё не может быть так плохо». Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).

Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о квантовом бессмертии. А именно, если мы живём в Матрице, то это вероятно только в том случае, если их множество очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, так же, как сожжение одного из экземпляров романа «Война и мир» не влияет на отношение персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что «самосознание» в симуляции вообще невозможно.)

Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, просто чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом, можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще буду встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где «главные герои не умирают», то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы.

Концепция «квалиа» наносит серьёзный удар по теории о симуляциях, потому что смоделировать квалиа смысле вычислимости на компьютере нельзя. (Но, возможно, можно создать условия для их появления при моделировании процессов на квантовом компьютере.)

Квалиа сами по себе обладают определённым «бессмертием», поскольку их никак нельзя изменить – зелёный цвет или есть, или его нет. Однако «бессмертие» квалиа – это вовсе не сохранение того мира, к которому мы привыкли. Это скорее похоже на бессмертие атомов, из которых состоит человеческое тело – человек как сумма атомов умер, а ни один атом не пострадал. Также и гибель Земли может никак не повлиять на то, что где-то когда-то будут живые существа с такими же квалиа.

В настоящий момент самое главное в проблеме квалиа то, что их существование говорит нам о неполноте картины мира, который у нас есть, точно так же, как проблема излучения чёрного тела явно говорила о неполноте картины мира классической физики.

7.20. Глобальные катастрофы и устройство общества.

Если катастрофа уже случилась, то она может уничтожить любое общество, поэтому устройство общество важно на той фазе, когда речь идёт о предотвращении глобальных катастроф. Какое общество лучше всего способно предотвращать глобальные катастрофы:

1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. При этом оно должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения, сразу бы обнаруживалось любое опасное поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)

2. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь «высокий моральный уровень».

3. Это общество, которое нацелено на выживание в длительной исторической перспективе.

4. Это общество, руководимое людьми, достаточно мудрыми, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают целостное образование, дающее фундаментальное и широкое, но не поверхностное видение мира.

5. Это общество, в котором максимально уменьшено число конфликтов, участники которых могут захотеть использовать оружие судного дня.

6. Это общество, могущее осуществлять достаточно жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам, неким образом, превращаться в инструмент создания риска.

7. Это общество должно быть готово быстро и эффективно принять достаточные меры против любого глобального риска.

8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически, это общество должно рассматривать своё выживание как главную задачу на некий период времени.

9. Это общество должно осознано создавать новые технологии в правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.

10. Это общество должно возникнуть без мировой войны, так как риск в процессе её перевесит пользу от такого общества.

При этом я не обсуждаю это общество в терминах «демократическое» рыночное», «коммунистическое», «тоталитарное» и др. – я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Очевидно, что современное общество крайне далеко от всех этих параметров способного к выживанию общества.

1. На Земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения.

2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть процент тех, кто не против или даже стремится к тотальному разрушению. Также внутри общества распространяются конкурирующие мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. (Под цинизмом я имею в виду довольно распространенную сумму убеждений: всё – говно, деньги правят миром, всё делаю для себя, чудес не бывает, будущее не имеет значения, «пипл хавает».)

3. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.

4. Исходя из действий руководителей стран, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. Более того, это происходит потому, что нет ясной и общепринятой картины рисков, а точнее – та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски – однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут дать и хотят составить ясное понимание о рисках, уровень информационного шума таков, что услышать их невозможно.

5. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.

6. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют – или, во всяком случае, такое впечатление создаётся (война в Ираке).

7. Пока общество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно (согласования) или чревато развязыванием ядерной войны.

8. После эпохи холодной войны строительство бункеров относительно заглохло.

9. Современное общество не осознаёт выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.

10. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, какие и зачем технологии развивает – даже относительно легко обнаружимых ядерных производств.

11. Хотя процесс договорного объединения идёт в Европе, остальная часть мира пока не готова мирно объединиться. (Однако, если где-то случится крупная, но не окончательная катастрофы, то возможно объединение в духе «антитеррористической коалиции».)

Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества – это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина с оценкой вероятности начала войны. Или слепота древнего Китая в отношении военных перспектив пороха и информационных технологий – компаса и бумаги, которые там были изобретены.

7.21. Глобальные катастрофы и текущая ситуация в мире.

С одной стороны может показаться, что всё вращение политической жизни в современном мире происходит относительно предотвращения отдалённых глобальных катастроф, каковыми полагаются в первую очередь две: глобальное потепление и ядерная программа Ирана. Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что, хотя заявленные проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежища. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.

Собственно, можно обсудить две темы: почему выбран именно этот список катастроф, и как общество обращается с тем список рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе «а будет ли мальчик?» Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез.

7.22. Мир после глобальной катастрофы.

Как бы ни была масштабна глобальная катастрофа, вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.

В соответствии с положениями синергетики, критическая точка означает, что есть несколько, конечное число, сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:

1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили.

2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.

3. Серая слизь. Уцелела некая примитивная «некросфера» (термин С.Лема из «Непобедимого») из нанороботов. В ней может быть своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.

4. Постапокалиптичесий мир. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию.

5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия – каждый получит неограниченную жизнь и вирутальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации от человека государства и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.

6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу развлечений. Разница эта - как между сном о любви и настоящей любовью.

Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.

7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф.

Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир во время чумы». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.

Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно перед ним поставить задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.

И хотя я не думаю, что именно этот план и легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:

1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.

2) При этом эти знания и возможности управления не будут порождать новых рисков.

3) Эта система возникает мирно и безболезненно для всех людей.

8. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

Непрямые способы оценки используют не данные о самом предмете исследования, а разные косвенные источники информации, вроде аналогий, общих закономерностей и верхних пределов. Это вопрос подробно рассматривается Бостромом в статье «Угрозы существованию». Есть несколько независимых способов такой оценки.

8.1. Закон Парето.

Закон Парето подробно рассмотрен Г.Малинецким применительно к разнообразным катастрофам в книге «Риск. Устойчивое развитие. Синергетика». Суть его состоит в том, что частота (точнее, ранг в списке) некой катастрофы связана с её масштабом очень простым законом:

Где а - параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер, и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональном а. Типичным примером закона Парето является высказывание вроде: «С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже». (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга–Рихтера, см. Малинецкий. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой7-7,9 баллов происходят 18 раз в год, то 8 балльные – раз в год, а 9 бальные – раз 20 лет.) Особенностью этого закона является его универсальность для разных классов явлений, хотя значение параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показатели степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения.

Нас в этом распределении интересует, как часто во времени могли бы случаться катастрофы, в которых ожидаемое число жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число имеет порядок времени существования самого вида homo sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба – 74000 лет – когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а.

Однако стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.

Однако гораздо худший результат мы получим, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, например, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно.

Подробно закон степенного распределения катастроф и угрозы вымиранию человечеству рассматривается в статье Робина Хэнсена «Катастрофа, социальный коллапс и человеческое вымирание». Он отмечает, что важным фактором является разброс живучести отдельных людей. Если этот разброс велик, то чтобы уничтожить всех людей до последнего, нужна гораздо, на несколько порядков, более сильная катастрофа, чем та, которая уничтожает только 99%.

8.2. Гипотеза о «Чёрной королеве».

Ван Валенном было обнаружено, на основании палеонтологических данных, что линии вымирания родов животных подчиняется экспоненциальному закону. «Такая форма линий выживания фактически означает, что вероятность вымирания среднестатистического рода остается примерно постоянной в течение его жизни». ( А.В. МАРКОВ.

ВОЗВРАЩЕНИЕ ЧЕРНОЙ КОРОЛЕВЫ, ИЛИ ЗАКОН РОСТА СРЕДНЕЙ ПРОДОЛЖИТЕЛЬНОСТИ СУЩЕСТВОВАНИЯ РОДОВ В ПРОЦЕССЕ ЭВОЛЮЦИИ. Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm). Поскольку время жизни отдельных видов внутри рода Homo составляет порядка миллиона лет, то мы можем ожидать такую же продолжительность жизни и для людей, в той мере, в какой мы являемся обычным биологическим видом. Следовательно, гипотеза о Чёрной королевы не означает существенного риска в XXI веке.

С другой стороны, в настоящий момент мы живём в период 6-ого большого вымирания живых организмов, на этот раз вызванного антропогенными факторами, который характеризуются скоростью вымирания, в 1000 раз превосходящую естественную. Если согласиться с тем, что человек – тоже один из видов, то это уменьшает ожидаемое время его существования с миллиона лет до тысячи.

8.3. Парадокс Ферми.

Ещё один не прямой способ оценке вероятности основан на парадоксе Ферми. Парадокс Ферми состоит в следующем вопросе: «Если жизнь и разум обычные явления в природе, то почему мы их не видим их проявлений в космосе»? Теоретически, жизнь и разум могли бы зародиться где-то на несколько миллиардов лет раньше, чем на Земле. За это время они могли бы распространиться на сотни миллионы световых лет, хотя бы с помощью самореплицирующихся космических зондов (называемых зонды фон Неймана). Этот объём включает в себя тысячи, а может и миллионы, галактик. Запустить волну самореплицирующихся межзвёздных зондов можно было уже в ближайшие 100 лет. Это могут быть микророботы, которые оседают на планеты, делают там ракеты и рассылают их по Вселенной со скоростями, значительно ниже световых – такие устройства даже не обязаны обладать полноценным универсальным искусственным интеллектом – тоже самое делают какие-нибудь актинии в земном океане, только в меньшем масштабе. Такой процесс может быть запущен случайно, просто при освоение ближайших планет с помощью самореплицирующихся роботов. Такие микророботы будут в первую очередь потреблять твёрдую материю планет для своего размножения. Для них будут действовать законы эволюции и естественного отбора, аналогичные тем, что имеются в животном мире.

Однако мы не наблюдаем таких микророботов в Солнечной системе, хотя бы потому, что она уцелела. Более того, уцелела не только Земля, но и другие твёрдые тела – спутники дальних планет Солнечной системы. Мы также не наблюдаем никаких инопланетных радиосигналов и никаких следов астроинженерной деятельности.

Отсюда возможны четыре (хотя предлагают и больше – см. книгу Стефана Уэбба «50 решений парадокса Ферми» http://www.amazon.com/gp/product/0387955011/ref=wl_it_dp?ie=UTF8&coliid=I10HTWX6ORKBSZ&colid=3KJUU5O04VUIZ ), где рассматривается 50 разных вариантов, которые, в целом, сводятся к нескольким более общим категориям)) вывода:

1. Разумная жизнь возникает во Вселенной крайне редко, реже, чем в объёме куба с ребром в 100 миллионов световых лет в течение 5 миллиардов лет, или даже больше. (Или данная оценка неверна, и на самом деле разумная жизнь возможна была только сейчас, а не раньше, и Земля – первая. Но в этом случае у нас много конкурентов. Есть ряд соображений, которые усиливают идею о том, что планеты с разумом крайне редки – см. главу о рисках SETI.)

2. Мы уже окружены невидимой нам разумной жизнью, которая так или иначе позволила нам развиться или смоделировала условия нашей жизни. (Сюда же входит возможность того, что мы живём в полностью смоделированном мире.)

3. Разумная жизнь погибает до того, как успевает запустить хотя бы примитивную «ударную волну разума» из роботов- репликаторов, то есть погибает в своём аналоге XXI века.

4. Разумная жизнь жёстко отказывается от распространения за пределы родной планеты. Это может быть вполне разумно с её стороны, так как отдалённые космические поселения невозможно контролировать, а значит, из них может придти угроза существованию. (Возможно, что разуму достаточно пределов виртуального мира, или он находит выход в параллельный мир. Однако опыт жизни на Земле показывает, что выход на сушу не прекратил экспансии в море – жизнь распространяется во всех направлениях.)

Поскольку эти четыре гипотезы, по байесовой логике, имеют равные права до получения дополнительной информации, мы можем приписать каждой из них субъективную достоверность в 1/4. Иначе говоря, парадокс Ферми с достоверностью в 25 процентов предполагает, что мы вымрем в XXI веке. И хотя субъективные вероятности – это ещё не объективные вероятности, которые бы мы имели, обладай полнотой информации, наше космической одиночество – это тревожный факт. (С другой стороны, если мы окажемся не одиноки, это тоже будет тревожный факт, в свете рисков, которые создаст столкновение с чужеродной цивилизацией. Однако это покажет нам, что, по крайней мере, некоторые цивилизации способны выжить.)

8.4. «Doomsday argument». Формула Готта.

Другим способом непрямой оценки вероятности гибели человечества является специфическое и довольно спорное приложение теории вероятности, называемое Doomsday argument (DA), или Рассуждение о Конце света. В начале 1980-х годов DA был независимо и в разных формах открыт несколькими исследователями. Основные статьи по этому вопросу были опубликованы в ведущем естественнонаучном журнале Nature в разделе гипотез. DA опирается на так называемый постулат Коперника, который говорит, что обычный наблюдатель находится, скорее всего, в обычных условиях – то есть на обычной планете, у обычной звезды, в обычной Галактике. Он работает в отношении самых простых вещей: он говорит, что вряд ли вы родились в полночь 1 января, или что вы вряд ли живёте на Северном полюсе. Хотя принцип Коперника кажется самоочевидным и почти тавтологичным, он может быть выражен в математической форме. А именно, он позволяет дать вероятностную оценку о том, сколько времени будет продолжаться некий процесс, исходя из того, сколько времени он уже продолжается. Есть две основные формы этого математического предсказания – прямая, в которой вычисляется непосредственная вероятность, называемая формулой Готта, и косвенная, выдвинутая Картером и Дж. Лесли, в которой вычисляются байесовы поправки к априорной вероятности. Оба этих подхода сразу попытались применить к вычислению ожидаемой продолжительности жизни человечества. Объём дискуссий по этому вопросу составляет несколько десятков статей, и многие кажущиеся очевидными опровержения не работают. Я рекомендую читателю обратится к переведённым мною статьям Н.Бострома, где разбирается часть аргументов, а также к книге Дж.Лесли и статье Кейва. Основная дискуссия строится вокруг того, можно ли вообще использовать данные о прошлом времени существования объекта для предсказания его будущего времени существования, и если да, то можно ли использовать эти данные, чтобы предсказать будущее число людей и время до «конца света». При этом в обоих случаях оказывается, что получающиеся оценки будущего времени существования человечества неприятны.

Рассмотрим сначала формулу Готта. Суть лежащих в основе её рассуждений состоит в том, что если мы наблюдаем некое длящееся событие в случайный момент времени, то, скорее всего, мы попадём в середину периода его существования, и вряд ли попадём в области очень близкие к началу или к концу. Вывод формулы Готта можно посмотреть в статье Кейва. Приведём саму формулу.

(2)

Где T – возраст системы в момент её наблюдения, t – ожидаемое время её существования, а f – заданный уровень достоверности. Например, если f=0.5, то с вероятность в 50% система прекратит существовать в период от 1/3 до 3 её нынешних возрастов с настоящего момента. При f=0.95 система просуществует с вероятностью 95% от 0,0256 до 39 нынешних возрастов.

Формула Готта находит выражение в человеческой интуиции, когда, например, мы полагаем, что если некий дом простоял год, то очень вряд ли он обрушится в ближайшие несколько секунд. Этот пример показывает, что мы можем делать вероятностные высказывания об уникальных событиях, не зная ничего о реальном распределении вероятностей. Большинство попыток опровержения формулы Готта основано на том, что приводится контрпример, в котором она якобы не работает – однако в этих случаях нарушается принцип того, что предмет наблюдается в случайный момент времени. Например, если взять младенцев или очень старых собак, то формула Готта не будет предсказывать ожидаемую продолжительность их жизни, однако молодые люди или старые собаки не есть люди или собаки, взятые в случайный момент времени.

В отношении будущего человеческой цивилизации формула Готта применяется не к времени, а к рангу рождения, поскольку население менялось неравномерно, и более вероятно оказаться в период с высокой плотностью населения. Предполагается, что мы, родившись, произвели акт наблюдения нашей цивилизации в случайный момент времени. При этом мы узнали, что всего за историю человечества было только примерно 100 миллиардов людей. Это значит, что мы, скорее всего, попали в середину отрезку, и значит, что очень вряд ли (с менее 0,1% вероятности) суммарное число людей будет 100 триллионов. А это значит, что шанс того, что человечество распространится по всей галактике в течение многих тысячелетий, также мал.

Однако из этого также следует, что вряд ли что мы живём в последнем миллиарде родившихся людей, а значит, у нас есть, скорее всего, ещё несколько сотен лет до конца света, учитывая ожидаемое население Земли в 10 млрд. человек. Для XXI века вероятность гибели цивилизации, исходя из формулы Готта, составляет 15-30 процентов, в зависимости от числа людей, которые будут в это время жить. Как ни странно, эта оценка совпадет с предыдущей, на основе парадокса Ферми.

8.5. Рассуждение о конце света Картера-Лесли.

Лесли рассуждает несколько другим образом, применяя Байесову логику. Байесовая логика основывается на формуле Байеса, которая связывает апостериорную вероятность некой гипотезы с априорной её вероятностью и вероятностью новой порции информации, то есть свидетельства, которую мы получили в поддержку этой гипотезы. (Я рекомендую в этом месте обратиться к переведённым мною статьям о Doomsday Argument, поскольку не могу изложить здесь всю проблематику в деталях.)

Лесли пишет: допустим, есть две гипотезы о том, сколько будет всего людей от неандертальцев до «конца света»:

1-ая гипотеза: всего будет 200 млрд. людей. (То есть конец света наступит в ближайшее тысячелетие, так как всего на Земле уже жило 100 млрд. людей.)

2-ая гипотеза: всего будет 200 трлн. людей (то есть люди заселят Галактику).

И допустим, что вероятность каждого из исходов равна 50% с точки зрения некого абстрактного космического наблюдателя. (При этом Лесли предполагается, что мы живём в детерминистическом мире, то есть, хотя мы этого и не знаем, но эта вероятность твёрдо определена самими свойствами нашей цивилизации.) Теперь, если применить теорему Байеса и модифицировать эту априорную вероятность с учётом того факта, что мы обнаруживаем себя так рано, то есть среди первых 200 млрд. людей, мы получим сдвиг этой априорной вероятности в тысячу раз (разница между миллиардами и триллионами). То есть вероятность того, что мы попали в ту цивилизацию, которой суждено умереть относительно рано, стала 99,95%.

Проиллюстрируем это примером из жизни. Допустим, в соседней комнате сидит человек, который с равной вероятностью читает или книгу, или статью. В книге – 1000 страниц, а в статье 10 страниц. В случайный момент времени я спрашиваю этого человека, какой номер страницы, которую он читает. Если номер страницы больше, чем 10, я однозначно могу заключить, что он читает книгу, а если номер страницы меньше 10, то здесь мы имеем тот случай, когда можно применять теорему Байеса.

Номер меньше 10 может получиться в двух случаях:

А) человек читает книгу, но находится в её начале, вероятность этого – 1% из всех случаев, когда он читает книгу.

Б) Человек читает статью, и здесь эта вероятность равна единице из всех случаев, когда он читает статью.

Иначе говоря, из 101 случая, когда номер страницы может оказаться меньше 10, в 100 случаях это будет потому, что человек читает статью. А значит, что вероятность того, что он читает статью, после получения нами дополнительной информации о номере страницы стала 99%.

Свойство приведённых рассуждений состоит в том, что оно резко увеличивает даже очень небольшую вероятность вымирания в XXI веке. Например, если она равна 1% с точки зрения некого внешнего наблюдателя, то для нас, раз мы обнаружили себя в мире до этого события, она может составлять 99.9 процентов. (В предположении, что в галактической цивилизации будет 200 триллионов человек.)

Из этого следует, что, несмотря на абстрактность и сложность для понимания данных рассуждений, мы должны уделять не меньшее внимание попыткам доказать или опровергнуть рассуждение Картера-Лесли, чем мы тратим на предотвращение ядерной войны.

Многие учёные стараются доказать или опровергнуть аргумент Картера-Лесли, и литература на эту тему обширна. И хотя он мне кажется достаточно убедительным, я не претендую на то, что доказал этот аргумент окончательно. Я рекомендую всем, кому кажется очевидной ложность приведённых выше рассуждений, обратиться к литературе по этой теме, где подробно рассмотрены различные аргументы и контраргументы.

Рассмотрим ещё несколько замечаний, которые работают за и против аргумента Картера-Лесли. Важным недостатком DA по Картеру-Лесли является то, что время будущего выживания людей зависит от того, каким мы выберем число людей в «длинной» цивилизации. Например, при вероятности вымирания в XXI веке в 1% и при будущем числе людей в длинной цивилизации в 200 триллионов происходит усиление в 1000 раз, то есть мы имеем 99,9 процентов вымирания в XXI веке. Если пользоваться логарифмической шкалой, это даёт «период полураспада» в 10 лет. Однако если взять число людей в длинной цивилизации в 200 квинтильонов, то это даст шанс в одну миллионную вымирания в XXI веке, что есть 2**20 степени, и ожидаемый «период полраспада» только в 5 лет. Итак, получается, что, выбирая произвольную величину времени выживания длинной цивилизации, мы можем получать произвольно короткое ожидаемое время вымирания короткой цивилизации. Однако наша цивилизация уже просуществовала на наших глазах больше, чем 5 или 10 лет.

Чтобы учесть это различие, мы можем вспомнить, что чем больше людей в длинной цивилизации, тем менее она вероятна в соответствии с формулой Готта. Иначе говоря, вероятность того, что цивилизация вымрет рано – высока. Однако, судя по всему, рассуждение Картера-Лесли ещё больше усиливает эту вероятность. Однако сложно сказать, корректно ли применять рассуждение Картера-Лесли вместе с формулой Готта, так как здесь может получиться так, что одна и та же информация учитывается дважды. Этот вопрос нуждается в дальнейших исследованиях.

Оригинальное рассуждение Картера-Лесли содержит и ряд других логических проколов, которые были обобщены Бостромом в своих статьях, и основные из них относится к проблеме выбора референтного класса, а также к сомнениям в том, что выборка является действительно случайной. Объём рассуждений на эту тему настолько велик и сложен, что здесь мы только вкратце очертим эти возражения.

Проблема референтного класса состоит в выборе того, кого именно мы должны считать людьми, к которым относится данное рассуждение. Если мы вместо людей возьмём животных, наделённых мозгом, то их будут тысячи триллионов в прошлом, и мы вполне можем ожидать такое же их количество в будущем. Я вижу решение проблемы референтного класса в том, что, в зависимости от того, какой именно референтный класс мы выбираем, соответствующее событие должно считаться концом его существования. То есть каждому референетному классу соответствует свой «конец света». Например, то, что в будущем будет только ещё несколько сотен миллиардов людей, никак не мешает тому, что в будущем будут ещё тысячи триллионы наделённых мозгом существ.

Вторая логическая ошибка в рассуждении Картера-Лесли состоит в неслучайности выборки. Дело в том, что если бы я родился до ХХ века, то я бы никогда не узнал о рассуждении Картера-Лесли и никогда бы не мог задаться вопросом о его применимости. Иначе говоря, здесь имеется эффект наблюдательной селекции – не все наблюдатели равноценны. Поэтому на самом деле рассуждение Картера-Лесли может применяться только теми наблюдателями, которые знают о нём.

Однако это резко ухудшает наши шансы на выживание, даваемые DA. Ведь DA известен только с 80-х годов ХХ века, то есть 27 лет. (Более того, в начале он был известен только более узкому кругу людей. То есть эти 27 лет смело можно сократить лет до 20.) Если взять эти 27 лет, и применить к ним формулу Готта, мы получим 50 процентов вероятности гибели в промежуток от 9 до 81 года с настоящего момента, что примерно означает более 50 процентов для XXI века. Как ни странно, эта оценка не сильно расходится с двумя предыдущими.

Можно произвести рассуждение и по-другому. Рассмотрим промежуток времени, в течение которого существуют глобальные риски. При этом в качестве точки отсчёта возьмём 1945 год, а в качестве точки случайного наблюдения – тот момент, когда я узнал о возможности ядерной войны, как одного из глобальных рисков – 1979 год. (В качестве длящегося события здесь мы рассматриваем период от начала периода подверженности риску до его окончания.) Итак, в момент случайного наблюдения этот риск уже существовал в течение 30 лет. Формула Готта даёт промежуток 50% для шансов реализации риска с 10 до 90 лет (от 1980 года). То, что это событие до сих пор не случилось, вносит определённый сдвиг в оценку, но, тем не менее, мы можем сказать, что эти 50 процентов всё ещё действуют на остаток от промежутка в 90 лет с 1980 года, то есть до 2070 года. Иначе говоря, вероятность прекращения ситуации с глобальными рисками составляет более 50 процентов в XXI веке. Опять примерно тот же результат. Прекращение это может быть как реализация риска, так и переход в некое иное безрисковое состояние, о котором пока сказать ничего невозможно. Если же принять во внимание, что в реальности плотность риска росла в промежуток с 1945 по 70-е годы, то это значительно ухудшит нашу оценку.

8.6. Аналогия с человеком.

Другим способом оценки глобальных рисков может быть аналогия. Очевидно, что наша цивилизация становится всё сложнее. И по сложности она начинает приближаться к единому живому организму. Следовательно, к ней применимы те же представления о распределении и плотности рисков, как для живого организма. Далее, наша цивилизация гораздо больше заботится о выживании одного человека, чем о себе в целом. Поэтому её выживаемость вряд ли лучше, чем выживаемость отдельно взятого человека. Средняя продолжительность жизни современного человека около 80 лет. Средний возраст людей на Земле – 25 лет. Значит, ожидаемая средняя продолжительность остатка жизни людей – 55 лет. Если мы согласны с тем, что прочность современной цивилизации меньше или равна человеческой прочности, то таково же среднее ожидание выживания нашей цивилизации. Это опять-таки даёт более 50 процентов вымирания в XXI веке.

8.7. Непрямая оценка вероятности природных катастроф.

Мы можем оценить вероятность природной глобальной катастрофы по тому времени, которое мы уже существуем. Однако при этом будет действовать эффект наблюдательной селекции, в силу которого ожидаемое будущее время будет меньше, чем прошлое (см. подробнее «Природные катастрофы и антропный принцип»). Всё же вряд ли вклад наблюдательной селекции составляет больше одного порядка. Однако для разных уровней природных катастроф мы имеем разные характерные периоды времени. Например, жизнь на Земле существует уже 4 млрд лет, и, с учётом сказанного, она могла бы существовать ещё не менее 100 - 400 млн. лет. (Наблюдательная селекция здесь состоит в том, что мы не знаем, какая доля планет земного типа гибнет в процессе эволюции; предположив, что доля уцелевших составляет от 1000 до триллиона и получаем оценки в 100-400 млн.лет как период полураспада.) То есть непрямая оценка вероятности природной катастрофы была бы 1 к 4 000 000 за сто лет. Это пренебрежимо малая величина на фоне других рисков. Что касается времени существования нашего вида, то последняя природная катастрофа, угрожавшая ему, была гораздо ближе во времени, 74 000 лет назад, и поэтому мы имеем гарантировано только 7 000 лет с учётом возможного эффекта наблюдательной селекции. Наблюдательная селекция здесь состоит в том, что если бы люди были очень мало живучим видом, который вымирает с периодичностью раз в несколько тысяч лет, мы не могли бы заметить этого, так как мы можем заметить только ту ветвь нашего вида, которая прожила достаточный срок, необходимый для формирования цивилизации, в которой мы можем задаться данным вопросом. 7000 лет соответствовало бы с учётом огромной погрешности таких рассуждений примерно 1% вымирания в XXI веке в результате природных катастроф или внутренней присущей виду неустойчивости – причём это максимальная оценка в наихудшем случае. Если не брать в расчет наблюдательную селекцию, то шансы природной катастрофы любого рода, ведущей к вымиранию человечества, на основании прошлого времени существования можно вычислить с помощью формулы Готта, и они будут 1 к 1500 за 100 лет, то есть 0,066%, что очень мало.

Наконец, есть третьего рода катастрофы, которые мы можем оценить по прошлому времени, а именно, времени, в течение которого существует письменная история, то есть 5000 лет. Мы можем смело утверждать, что за 5000 лет не произошло ни одной катастрофы, которая бы прервала письменную историю. Здесь тоже возможна, но маловероятна наблюдательная селекция, поскольку сильнее действуют не природные, а антропогенные факторы. Та катастрофа, которая могла бы прервать письменную историю 3000 лет назад, например, извержение сверхвулкана в Средиземноморье, сейчас бы уже не могла сделать это. Поэтому можно смело сказать, что природная катастрофа, прерывающие письменную традицию (такой, как она была в прошлом, а не сейчас) имеет шансы не более 1% в XXI веке, считая по формуле Готта. А поскольку сейчас письменная традиция гораздо прочнее, чем в прошлом, то можно эту оценку смело уполовинить.

Наконец, эффект наблюдательной селекции может иметь отношение и к антропогенным катастрофам, а именно, к глобальному риску ядерной войны.

Эффект наблюдательной селекции состоит в том, что мы не знаем, каковы были шансы нашей цивилизации выжить в период с 1945 до 2007 года, то есть за время существования ядерного оружия. Может быть, в девяти из десяти «параллельных миров» это не удалось. Соответственно, в результате мы можем недооценивать глобальные риски.

Если бы интенсивность изменения числа наблюдателей была бы очень велика, то это оказывало бы «прижимающее» воздействие на дату, в которой бы мы себя обнаруживали – то есть мы бы вероятнее всего обнаруживали себя достаточно рано. См. подробнее статью Бострома и Тегмарка, где предложены точные выкладки для одного частного случая. Если бы вероятность риска вымирания составляла бы 90 процентов в год, тогда бы я, скорее всего, жил бы не в 2007, а в 1946. То, что я всё ещё жив в 2007 году, даёт определённый верхний предел (с определённой заданной достоверностью) на темп вымирания. А именно:

5 летний период «полураспада» можно исключить примерно с вероятностью 99,9 (так как за 50 лет прошло 10 циклов по 5 лет, и 2 в 10 степени это 1024. то есть за 50 лет уцелела бы только одна тысячная планет.)

25 лет с вероятностью в 75 процентов,

50 лет – с вероятностью в 50 процентов.

100 лет – не более 25 процентов.

Итак, можно достаточно достоверно исключить периоды «полураспада» цивилизации меньшие, чем 50 лет. Однако большие мы исключить не можем. Это, конечно не значит, что реальный период «полураспада» и есть 50 лет, однако, если исходить из принципа предосторожности, то надо предположить, что это так. Такой период полураспада означал бы наши шансы дожить до XXII века примерно в 25 процентов.

Выводы: различные независимые методы непрямых рассуждений дают оценки вероятности гибели цивилизации в XXI веке в десятки процентов. Это не должно нас успокаивать в том смысле, что как будто бы это гарантирует нам десятки процентов выживания. Потому что, если учесть степень неопределённости таких рассуждений, то это события категории Е1, которая, как мы предположили в начале, означает риски от 1 до 100 %.

8.8. Рассуждение о Симуляции.

Ник Бостром разработал следующую логическую теорему, называемую рассуждением о Симуляции.

Исходя из текущих тенденций в развитие микроэлектроники, кажется вполне вероятным, что рано или поздно люди создадут саморазвивающийся искусственный интеллект. Нанотехнологии обещают предельную плотность процессоров в триллион штук на грамм вещества (углерода) - с производительностью порядка 10**20 флопс. Плюс нанотехнологии позволят превращать залежи каменного угля в такое устройство. Это открывает перспективу превращения всей Земли в «компьютрониум» - одно огромное вычислительной устройство. Очевидно, что такая вычислительная мощь могла бы создавать детальные симуляции своего человеческого прошлого. Мощность такого устройства оценивается в 10**40 операций в секунду. (Что соответствует превращению миллиона кубических километров вещества в компьютрониум, который покроет всю Землю слоем в 2 метра.) Использование всего твёрдого вещества в Солнечной системе даст порядка 10**50 флопс. Поскольку предполагается, что для симуляция одного человека нужно не более, чем 10**15 флопс (это число основано на количестве нейронов и синапсов в мозгу, и частоте их переключения), то это даст возможность симулировать одновременно 10**35 людей, или 10**25 цивилизаций, подобных нашей, с нашей же скоростью развития. Вряд ли компьютрониум направит все свои ресурсы на симулирование людей, но даже если он выделит на это одну миллионную усилий, это будет всё ещё порядка 10**19 человеческих цивилизаций. Итак, даже если только одна из миллиона цивилизаций порождает компьютрониум, то этот компьюториум порождает порядка 10**19 цивилизаций, то есть на каждую реальную цивилизацию приходится 10**13 виртуальных.

Отсюда Ник Бостром делает вывод, что верно одно из трёх:

1) Или наша цивилизация погибнет и не создаст компьюториум.

2) Или компьюториум будет абсолютно не заинтересован в моделировании своего прошлого.

3) Или мы уже находимся внутри имитации в компьюториуме.

При этом пункт 2 можно исключить из рассмотрения, потому что есть причины, по которым компьюториуму будет интересно, каковы именно были обстоятельства его возникновения, но нет такой универсальной причины, которая могла бы действовать на все возможные компьюториумы, не позволяя им моделировать своё прошлое. Причина интереса к своему прошлому может быть много, назову несколько – это вычисление вероятности своего возникновения, чтобы оценить плотность других сверхцивилизаций во вселенной или развлечение людей или неких других существ.

В этом случае рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции».

Впрочем, гибель мира в этом рассуждении не означает вымирания всех людей – она означает только гарантированную остановку прогресса до того, как компьюториум будет создан. Гарантированность её означает не только, что она произойдёт на Земле, но и на всех остальных возможных планетах. То есть она означает, что имеется некий очень универсальный закон, который препятствует подавляющему большинству цивилизаций создать компьюториум. Возможно, это происходит просто потому, что компьюториум невозможен, или потому что моделирование человеческого сознания на нём невозможно. Но может быть, что это происходит потому, что ни одна цивилизация не может достичь уровня компьюториума, так как сталкивается с некими неразрешимыми противоречиями, и вынуждена или погибнуть, или откатится назад. Эти противоречия должны носить универсальный характер, а не быть связаны только, скажем, с атомным оружием, потому что тогда цивилизации на тех планетах, в коре которых нет урана, смогут устойчиво развиваться. Примером такого универсального противоречия может быть теория хаоса, которая делает системы выше определённого уровня сложности принципиально нестабильными.

Известное возражение к рассуждению о симуляции опирается на то, что симуляция реальности вовсе не обязательно является копией того, что было в прошлом. (См. обзор возражений рассуждению о симуляции в статье Д.Медведева «Живём ли мы в спекуляции Ника Бострома?») И если мы находимся в сконструированном мире, то это не позволяет нам делать выводы о том, каков реальный мир. Как, например, не может монстр из компьютерной игры догадаться о реальном устройстве мира людей. Однако то, что мы не знаем, каков мир за пределами симуляции, не мешает нам знать, что мы всё же находимся в симуляции. Здесь важно различать два смысла слова «симуляция» - как компьютерной модели, и как того факта, что эта модель напоминает некое историческое событие из прошлого. При этом можно предположить, что большинство симуляций не являются точными подобиями прошлого, и значительная доля симуляций вообще не имеет отношения к прошлому той цивилизации, которая их затем создала. Также и в литературе большинство романов не является историческими романами, и даже исторические романы не точно совпадают с прошлым.

Если мы находимся внутри симуляции, нам угрожают все те же риски гибели, которые могут случиться и в реальности, плюс вмешательство со стороны авторов симуляции, которые нам могут подкинуть некие «трудные задачки» или исследовать на нас некие экстремальные режимы, или просто поразвлечься за наш счёт, как мы развлекаемся, просматривая фильмы про падение астероидов. Наконец, симуляция может быть просто внезапно выключена. (У симуляции может быть предел ресурсоёмкости, поэтому авторы симуляции могут просто не позволить нам создавать настолько сложные компьютеры, чтобы мы могли запускать свои симуляции.)

Итак, если мы находимся в симуляции, это только увеличивает нависшие над нами риски и создаёт принципиально новые – хотя появляется шанс внезапного спасения со стороны авторов симуляции.

Если же мы не находимся в симуляции, то велик шанс, что любые цивилизации по причине катастроф не достигают уровня создания компьюториума, который мы могли к концу XXI века. А это означает, велика вероятность неких глобальных катастроф, которые не позволят нам достичь этого уровня.

Получается, что рассуждение о симуляции действует таким образом, что обе его альтернативы ухудшают наши шансы выживания в XXI веке, то есть его нетто вклад отрицательный, независимо от того, как мы оцениваем шансы одной из двух альтернатив. (Моя мнение состоит в том, что вероятность того, что мы находимся в симуляции, – выше, чем вероятность того, что мы реальная цивилизация, которой суждено погибнуть, и на много порядков.)

Интересно отметить повторяющийся паттерн: альтернатива с SETI также имеет отрицательный нетто-эффект – если они рядом, то мы в опасности, если их нет, то мы тоже в опасности, поскольку это значит, что некоторые факторы мешают им развиваться.

8.9. Интеграция различных непрямых оценок.

Все приведённые непрямые оценки выполнены независимо друг от друга, хотя дают примерно одинаковые и неутешительные результаты, состоящие в том, что вероятность человеческого вымирания высока. Однако поскольку эти рассуждения относятся к одной и той же реальности, возникает желание состыковать их в более целостную картину. Рассуждение о симуляции Бострома существует логически отдельно от рассуждения конце света Картера-Лесли (которое ещё надо связать с формулой Готта), и соответственно возникает соблазн их «поженить». Такая попытка предпринимается в работе «Doomsday Simulation Argument». Их, в свою очередь интересно связать с квантовым бессмертием в духе Хигго и с влиянием эффекта наблюдательной селекции.

Я полагаю, что суть этой интеграции должна быть в том, что мы выясним, какие рассуждения перекрывают другие, то есть какие из них являются более сильными. (При этом, возможно, что последующие исследования смогут дать более точную картину интеграции, и сведут все отдельные выкладки к одной формуле.)

Я вижу такой порядок мощности высказываний (более сильные утверждения, отменяющие более слабые, сверху). При этом я не имею в виду, что все они истины.

a. Качественная теория сознания, основанная на понятии о квалиа. Если она верна, то остальные рассуждения не работают или нуждаются в существенной переоценке. Теории о квалиа пока не существует, есть только несколько логических парадоксов, с этим связанных. Однако, судя по всему, теория о квалиа может исключать представления о множественности миров и линейности времени. В силу этого такая теория, будь она создана и доказана, сделала бы неправомочными любые нижеследующие рассуждения.

b. Рассуждение о бессмертии Хигго, основанное на идее о множественности миров. В этом случае всегда найдётся мир, где я, и часть земной цивилизации соответственно, не погибла. Эта теория не зависит от того, нахожусь я в симуляции или нет, поэтому её выводы не зависят от верности рассуждения о симуляции. Рассуждение о бессмертии Хигго является очень сильным, потому что оно не зависит ни от конца света, ни от того, находимся ли мы в симуляции или нет. Бессмертие по Хигго делает личный конец света невозможным. Ни один хозяин симуляции никак не может повлиять на работу рассуждения Хигго, потому что всегда найдётся бесконечное количество других симуляций и реальных миров, в точности совпадающих с данной в текущий момент времени, но имеющих с ней разные будущие. Однако рассуждение Хигго опирается на «self sampling assumption’ – то есть идею о том, что я являются одним из экземпляров из множества своих копий – а на эту же идею опираются и все последующие рассуждения – аргумент о симуляции, формула Готта, рассуждение о конце света Картера-Лесли. Любые попытки опровергнуть бессмертие по Хигго, основанное на невозможности рассмотрения себя как одного из экземпляров из множества своих копий одновременно опровергают и все эти рассуждения.

c. Аргумент о симуляции Бострома. Он тоже работает в предположении о множественности миров, тогда как последующие рассуждения не учитывают этот факт. Кроме того, если мы на самом деле находимся в симуляции, то мы не наблюдаем мир с случайный момент времени, поскольку симуляции, скорее, будут привязаны к исторически интересным эпохам. Наконец, рассуждения в духе DA требуют возможной непрерывной нумерации людей или времени, что в случае множества симуляций не работает. Поэтому любые формы DA утрачивают силу, если рассуждение о симуляции верно. Рассуждение о симуляции сильнее рассуждения о конце света Картера-Лесли и формулы Готта, потому что оно работает, независимо от того, сколько ещё людей будет в нашем реальном мире. Более того, оно существенно размывает понятия о количестве людей и том, что такое реальный мир, поскольку непонятно, должны ли мы учитывать будущих людей из других симуляций, как реальных. Непонятно также, должна ли каждая симуляция симулировать весь мир от начала до конца, или только некий отрезок его существования только для нескольких людей.

d. Формула Готта. Формула Готта проверенно работает в отношении событий, не связанных с изменением числа наблюдателей, например, в отношении радиоактивного распада, даты сноса берлинской стены, предсказания продолжительности человеческой жизни и т. д. Однако она даёт гораздо более мягкую оценку будущей продолжительности существования человечества, чем аргумент Картера-Лесли. Формула Готта является более простым и понятным инструментом для оценки будущего, чем рассуждение Картера-Лесли. Хотя бы потому, что формула Готта даёт конкретные числовые оценки, а рассуждение Картера-Лесли даёт только поправку к исходным вероятностям. Далее, формула Готта применима к любым референтным классам, так как для любого класса она даёт оценку времени завершения именного этого класса. А в рассуждении Картера-Лесли упоминается обычно именно смерть наблюдателя, и его надо адаптировать ситуациям, где наблюдатель не умирает. Вопрос о том, следует ли применять поправки, даваемые рассуждением Картера-Лесли к оценкам, которые дала формулой Готта, требует дальнейшего исследования.

e. Аргумент Картера-Лесли. Важным условием аргумента Картера-Лесли является не существование других цивилизаций, помимо земной. Кроме того, очень трудно придумать реальный эксперимент, в котором можно было бы проверить силу этого рассуждения. А мысленные эксперименты работают с определёнными натяжками.

f. Парадокс Ферми находится тоже внизу этой таблицы, поскольку рассуждение о симуляции очевидным образом отменяет его значение: в симуляции плотность цивилизаций может быть любой, равно как и риск их агрессии, в зависимости от прихоти владельцев симуляции.

Всё сказанное здесь о непрямых способах оценки находится на грани между доказуемым и гипотетическим. Поэтому я предлагаю не принимать на веру сделанные выводу, но и не отбрасывать их. К сожалению, исследования непрямых способов оценки вероятности глобальной катастрофы могут пролить свет на наше ожидаемое будущее, но не дают ключей к его изменению.

Рейтинг публикации:

16

Рекомендуемые статьи:
• версия 2010 г в формате DОС (скачать)

Комментарии (0) | Распечатать

Добавить новость в: