Алексей Турчин: Структура глобальной катастрофы.

Алексей Турчин

Структура глобальной катастрофы.

Версия 0.96

7 декабря 2007 года

(с) 2007 Алексей Валерьевич Турчин

Разрешено некоммерческое использование текста. По всем вопросам публикации, а так же о других работах на эту тему – обращайтесь по электронной почте.

Алексей Турчин

avturchin*mail.ru

Российская Академия Наук

Институт Африки

СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ

Совместный проект

Центра цивилизационных и региональных исследований

Института Африки РАН и

Российского Трансгуманистического Движения.

Москва 2008

СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»

Т.2

Составитель:  А.В. Турчин

Ответственные редакторы:  Валерия Прайд А.В. Турчин

СОДЕРЖАНИЕ

Предисловие 3

А.В. Турчин

Структура глобальной катастрофы 5

Приложения:

E. Юдковски

Искусственный интеллект как позитивный и негативный фактор глобального риска 335

А.А. Кононов

Идеологические начала общей теории неуничтожимости человечества 390

Н. Бостром

Введение в Doomsday Argument 403

Предисловие

Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».

Если в ХХ веке возможность вымирания человечества связывалась только с рисками глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков такой глобальной катастрофы, которые связаны с развитием новых технологий, и число это постоянно растёт. Исследование этого вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.

Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: целостному обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер, то есть она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистичных сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.

Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы в плюс, а не в минус. Однако этому вопросу посвящён первый том серии «Диалоги о будущем», издаваемой Российским Трансгуманистическим Движением – организацией, посвящённой исследованию влияния радикальных технологических изменений на будущее человеческой цивилизации.

В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении, необходимые для более ясного понимания темы. Монография на две большие части – методологии и собственно анализа рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике ИСА РАН в виде статьи «О возможных причинах недооценки глобальных рисков».) Эта методология может быть полезна, с небольшими изменениями, и при любых других футурологических исследованиях. Затем в разделе о методологии делается ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.

В приложении в первую очередь следует отметить большую новаторскую статью американца Е.Юдковски «Искусственный интеллект как фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в солидном сборнике «Риски глобальной катастрофы», который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. (Я перевёл две другие статьи из этого сборника, которые выходят в первом томе серии «Диалоги о будущем», издаваемой РТД. Это статья Юдковски «Систематические ошибки в оценке глобальных рисков» и статья Н. Бострома «Угрозы существованию: анализ сценариев вымирания». Я настоятельно рекомендую прочесть эти статьи, которые также можно найти в сети, поскольку они в значительной мере являются отправными точками для рассуждений, которые последуют далее.) Е.Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию Seed AI, много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.

Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в Nature в разделе гипотезы, что говорит об определённом уровне признания.

Наконец, научный сотрудник Института Системного Анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.

Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:

1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.

2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.

3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, Гагарин), или доводила их до масштабного предела (Царь-бомба). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).

4. Особенности российского менталитета и организация производство («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.

5. Информационная изоляция. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает медленнее, чем сами технологии, и подавляющее большинство литературы на тему глобальных рисков не переведено.

6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков («русские хакеры»), что может быть особенно опасно в области биотехнологий.

7. РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР, что может способствовать осуществлению опасных проектов.

8. Публикации на русском могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая «насыщенность среды» информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира. Русскоязычная литература будет доступна и в странах СНГ. Кроме того, переводы на русский язык повышают статус зарубежных авторов. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные здесь знания. И есть класс зарубежных исследователей, читающих по-русски или русского происхождения.

9. Россия может оказаться в обстоятельствах, когда её само существование, как части большого мира, окажется зависящим от внешних к ней обстоятельств, и станет необходимым быстрое принятие адекватное решений в условиях острой недостаточности информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.

10. Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать на новые пути предотвращения глобальных рисков.

11. Если Россия позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается лететь на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.

Многое, сказанное о РФ здесь, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков тоже низка.

Создавая описание возможных глобальных рисков, я не мог не нарисовать определённую картину будущего человечества, то есть перед вами - футурологическая работа.

А.В.Турчин

Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.

А.П.Чехов. «Чайка»

Структура глобальной катастрофы.

Введение.

Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)

Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.

Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.

Термины

В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):

ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку

Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».

Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.

Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.

Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.

Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.

Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.

Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».

Часть 1

Методология.

Основной частью методологии представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.

Наши рассуждения о глобальных рисках подвержены тем или иным ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школы связан с термином «ошибки». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков, поэтому мы должны гораздо ответственнее подойти к культуре своего мышления о них. При этом важно помнить тезис Юдковски, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.

Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедится в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, трети ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайнемаловероятно. Исследователь глобальных рисков должен знать об этих подводных камней. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков», которая выходит в Оксфорде в 2007 году в сборнике «Риски глобальной катастрофы» и в соответствии с любезным разрешением автора была переведена мной на русский язык и опубликована в первом томе серии «Диалоги о будущем». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь ошибок. Однако многие описания ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти. (www.theoildrum.com)

Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.

Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждого отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (См. например, мою статью «Природные катастрофы и антропный принцип», где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)

Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.

Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».

Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

1. Ошибочные представления о роли ошибок.

2. Ошибки, возможные только относительно глобальных рисков в силу их специфики.

3. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)

1. Ошибочные представления о роли ошибок.

Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и, в целом, не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.

1.1 Незавершённость этого списка ошибок.

Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под словом когнитивные искажения я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, могущие оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.

2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ.

2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами.

Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. Ник Бостром «Сценарии человеческого вымирания» [Bostrom, 2001].) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым подсчётам, только 1 Гб информации, а влияние их на культуру огромно.)

2.2 Недооценка неочевидных рисков.

Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых ещё много вопросов.

По мере роста наших знаний о природе и могущества техники постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.

Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.

2.3 Глобальные риски нетождественны национальной безопасности.

Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства - когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а всего мира – перенаселение, равно как и для Московского мегаполиса. Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.

2.4. Ошибка, связанная с психологизацией проблемы.

Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.

2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот.

Вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в неком фантастическом сценарии - инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу 22 века, равно как сейчас вымерли люди, жившие в 19 веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.

2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ.

СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален никаким образом его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).

2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.

Это имеет несколько последствий.

А) Отвержение некого сценария как фантастического – но глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.

Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, что никто не узнает, что это на самом деле была глобальная катастрофа. Катастрофа станет глобальной только после смерти последнего человека. (Однако в сценариях некого медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Нейджела Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)

В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в том, предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.

Индукция как логический метод имеет границы применимости. Он неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем, на основании того, что нечто было в прошлом всегда, сказать, что так оно будет и в будущем. Особенно опасно применение индукции в рассуждениях в духе, раз этой катастрофы не было в прошлом, то её никогда не будет в будущем. (Однако индукция как логическая процедура применима в вопросах безопасности: с точки обеспечения безопасности трёхразовое периодическое повторение опасного события - очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет.)

2.8 Ошибка, состоящая в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира».

При этом недооценивается опасность конкуренции между разными группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может угрожать жизни на Земле. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».

2.9 Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти.

Людей не волнуют глобальные риски, потому что они и так привыкли к неизбежности своей личной смерти в ближайшие десятилетия и выработали устойчивые психологические механизмы защиты от этих мыслей. Наибольший срок реального планирования (а не умозрительных фантазий) можно проследить по долгосрочным реальным инвестициям людей. Отражением которого является покупка дома в ипотеку, пенсионные накопления и воспитание детей – предельный срок этих проектов – 30 лет, за редким исключением, а обычно меньше 20. Однако не факт, что такое планирование на самом деле эффективно; и люди в большинстве своём знают, что жизнь гораздо более непредсказуема. В любом случае, каждый человек имеет некий горизонт событий, происходящее за пределами которого представляет для него чисто умозрительный интерес, а ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия.

2.10 Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания.

Часто обнаруживается, что есть множество мнений о какой-либо проблеме, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». В силу этого исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.

2.11 Ошибка, связанная с тем, что глобальным рискам, как целому, уделяют меньше внимания, чем рискам отдельных объектов.

Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию элементов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.

2.12 Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество.

Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными, потому что так может рассуждать одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, что в сумме может давать очень высокий риск.

2.13 Отсутствие ясного понимания того, к кому, собственно, обращены дискуссии о глобальных рисках.

Обращены ли они к гражданам, которые всё равно ничего сделать не могут, к гражданской ответственности учёных, существование которой ещё надо доказать, к правительствам крупных мировых держав или ООН, занятой своими делами, или к неким комиссиям и фондом, специально нацеленным на предотвращение глобальных рисков – чья способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски - с которым все согласны.

2.14 Особенность связи теоретического и практического в отношении глобальных рисков.

Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё не разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, потому что мы, исследователи, не переживём глобальной катастрофы. Однако мы должны принимать практические меры, чтобы этого не случилось. При этом мы можем наблюдать положительный результат: а именно, что некий риск не случился, но трудно установить причины, благодаря чему. Невозможно сказать, почему не произошла термоядерная война – потому что она была невозможна, или потому что нам невероятно повезло, или это результат борьбы за мир.

2.15 Ошибочные модели поведения, связанные с эволюционными психологическими моделями – и не учёт этих моделей в предсказании поведения людей.

Стратегия личного выживания, воспитанная в нас в ходе эволюции, подразумевает правило: тот, кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет, возможно, большее потомство. Те виды, которые готовы пожертвовать тысячами своих особей, направляя их во все возможные стороны, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, что эта стратегия смертельна для человечества в целом. Даже если человечество будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Однако отдельные страны неоднократно рисковали своей судьбой, вступая в опасные конфликты.

2.16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему.

В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).

2.17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти.

Оно возникает из ошибочного представления о том, что в случае глобальной катастрофы гибель обязательно будет лёгкая и безболезненная, как будто выключили свет. Но в реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.

2.18 Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию.

Но опыт показывает, что даже когда члены правлений компаний, принимающих критически опасные решения, высказывались против – их не слушали. (Перед катастрофой Челленджера был человек, который возражал против запуска, понимая его опасность.) Тем более не стоит ожидать, что эти люди прислушаются или хотя бы будут читать высказывания тех, кто находится за пределами их тусовки. (Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».)

2.19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно.

Наоборот, циркуляция определённых идей в обществе может создать некий фон, который косвенно повлияет на те или иные механизмы принятия решений.

2.20. Гордыня исследователя.

Занятия анализом глобальных рисков может вызвать у человека ощущение, что он делает самое важное дело во вселенной, а потому является сверхценной личностью. Это может привести в определённых обстоятельствах к тому, что он будет более глухим к новой поступающей информации. Окружающие люди легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона о том, что каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Зашита от этого – относится к глобальным рискам нейтрально, также как к препарированию лягушек.

2.21. Интуиция как источник ошибок в мышлении о глобальных рисках.

Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу своей интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознаваемых предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть их там, где их нет.

2.22 Научное исследование глобальных рисков также сталкивается с рядом проблем.

Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – это именно то, чего мы хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Не может быть статистики по глобальным рискам. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках.

2.23 Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска.

Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как теорема о конце света (Doomsday Argument, см. далее), а также эффекты избирательности наблюдения, однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.

2.24 Методы, применимые к управлению экономическими и прочими рисками, не применимы для глобальных рисков.

Их нельзя застраховать, на них невозможно ставить пари: некому и нечего будет выплачивать в случае страхового случая. И даже малейшая их вероятность неприемлема. Поэтому же некому оплачивать их исследований. Если же эти исследования проводятся в рамках одной страны или культуры, в них может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблем национальной безопасности для этой общности.

2.25 Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.

Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.

2.26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока они замкнуты на Земном шаре, и переселение в космос автоматически снимет проблему.

Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов, может передаваться со скоростью света.

2.27. Психологическая особенность человека, называемая «пренебрежение масштабом».

Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе

выражаемое в готовности потратить деньги (Юдковски 2006). В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.

2.28. Преувеличение прогностической ценности экстраполяции.

Иначе говоря, потенциальная ошибочность идеи о том, что «кривая вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, там развито понимание, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». И, тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» - анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне достигнет уровня крыш, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой нас приведёт в золотой век, где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски никуда не денутся.

2.29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света.

А.Назаретян описывает базовую потребность людей в сильных эмоциях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя их каждый раз, что так на самом деле нужно. Иначе говоря, нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий в разы, введя физическое ограничение скорости машин да 50 км/час, но общество в этом не заинтересовано.)

2.30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска.

С детства выученные представления о том, каковы поражающие факторы ядерного оружия, существенно отличаются от факторов принятия решения о его применении – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда – он может только управлять разными оружиями.

Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. То есть если человек погиб на войне, это означает много возможных причин его смерти, а не только то, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: это может быть и бытовая ссора, и самоубийство, и несчастный случай на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.

2.31. «Шок будущего»: Ошибки, связанные с разными горизонтами возможного будущего у разных людей.

Выделяют пять Уровней «Шока будущего». Само понятие введено футурологом Э.Тофлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные у разных людей. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы им противостояния. При этом все эти варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко по шкале шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:

Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)

Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)

Шок 2-его уровня – технологии, описываемые к классической научной фантастике середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)

Шок 3-его уровня – сверхтехнологии, которые появились на горизонте только в конце ХХ века: нанотехнологии (умная пыль), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: серая слизь, сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)

Шок 4 уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса и неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность» далее.

Риски ошибки, связанные с Шоком будущего, состоят в том, что каждый человек, моделирующий будущее, имеет разный горизонт возможного и невозможного, определяемый скорее его психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда риски невероятных катастроф затмят в глазах человека обычные риски. При этом свои риски глобальной катастрофы есть на каждом уровне.

Катастрофа в виде ядерной войны понятнее, чем псевдодружественный ИИ.

2.32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной.

Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, которые создают системный эффект. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут давать быстротекущую – как СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотех упростит создание ядерных бомб, ИИ упростит создание нанотеха, а нанотех позволит узнать тайны мозга, что приблизит создание ИИ. Эта конвергенция рисков идёт параллельно конвергенции ключевых современных технологий, называемых NBIC: nano-bio-info-cogno, то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.

2.33 Недооценка системных факторов глобального риска.

Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе.

Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Оно не находится в каком-то одном месте, и не зависит ни от одного конкретного ресурса или человеческой организации. Существуют самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают в себя всё большое число участников сообщества – но не зависят от поведения ни одного из них и не имеют центра.

Вот неполный и неточный список самовоспроизводящихся структурных кризисов, просто в качестве иллюстрации (примеры в скобках тоже условны, так как возможны и другие интерпретации тех же событий)

2.34 Представления в духе: «Мы все должны бороться за мир».

Но если слишком много людей и организаций будут прикладывать множество разнообразных усилий в борьбе за спасение планеты, то получится «лебедь, рак и щука» в лучшем случае.

2.35 Недооценка предкризисных событий как элементов глобальной катастрофы.

Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само можно рассматривать как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий - окажутся гораздо уязвимее к любым другим факторам риска. Это возвращает значение тем факторам, которые обычно называются «глобальными рисками». Например, падение астероида, размером с Апофис (диаметр 400м) само по себе не может истребить человечество, так как взрыв составит только 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившем остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году, оцениваемому в 200 мегатонн тротилового эквивалента. Однако поскольку связность современной цивилизации значительно возросла, возросла и роль отдалённых – экономических и структурных последствий – разных катастроф. Огромное цунами от падения Апофиса привело бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному - с соответствующим нарастанием необратимых последствий.

2.36. Это слишком плохо, чтобы быть правдой.

Человеку свойственно мысленно защищаться от самых негативных сценариев, приписывая им меньшую вероятность. Например, нетрудно представить себе какой-то автомобиль разбитым, но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает мыслей об этом событии.

2.37. Это слишком невероятно, чтобы быть правдой.

Логика в духе «этого не может быть, потому что не может быть никогда». Мы имеем массу исторических примеров того, как нечто, что было «невероятным», вдруг стало возможным, а потом и обыденным (самолёты, атомные бомбы, интернет). Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного, но даже и последнее в будущем может оказаться возможным.

2.38 Идеи о торможении неких технологий как способе противостояния глобальным рискам.

Они могут казаться привлекательными, так как дают видимый результат в краткосрочной перспективе в определённом месте. Но группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.

2.39 Человеческая приспособляемость высока и продолжает неограниченно расти благодаря новым технологиям.

Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, улучшаются быстрее, чем средства защиты.

2.40 Неспособность для системы смоделировать саму себя.

Хотя мы не можем исследовать глобальные катастрофы экспериментально, мы можем рассчитывать, что благодаря успехам компьютерного моделирования мы сможем обсчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, через неё мы всё равно не узнаем неизвестные нам факторы – например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает в себя тот факт, что мы моделируем мир. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, как элемент, самого себя. Только модель с определённым огрублением может быть рассчитана. Если мы исследуем будущее поведение системы с искусственным интеллектом, то это не работает, так как модель тоже должна содержать ИИ. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Мы не можем выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет только интерпретация, то есть ещё одна модель.

2.41 Неспособность человека представить свою собственную смерть.

Неспособность людей представить свою собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы – или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто», которое будет, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому ему легче представлять глобальную катастрофу с точки зрения выжившего, что соответственно, делает её не глобальной.

2.42 Путаница между очень большой катастрофой и окончательной глобальной катастрофой.

Примером такой разницы будет катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами – в том и в другом случае он погибнет почти наверняка, и всё, что ему ценно, тоже погибнет. Однако с точки зрения человечества как целого это разница как между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой

и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.

2.43 «После нас хоть потоп».

Модель мышления, в которой полезность ограничена некоторой границей в будущем. Самым ярким случаем является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что она даже ниже её! Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков она не распространяется. Таким образом, разница только количественная, но у каждого есть временной промежуток, события после которого его не волнуют – во всяком случае, настолько, чтобы он был готов совершать капиталовложения. Конечно, это оправдывается тем, что «они сами там со всем разберутся».

2.44. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели.

Любая такая позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей, и в результате приводит к меньшей выживаемости. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».

2.45. Религиозные мировоззрения и апокалиптические культы.

Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями на эту тему тянется шлейф ненаучности. Ключевое отличие апокалиптических культов – концентрация на дате события – и «откровение» или пророчество как способ её обнаружения. (В духе распространённой теории о том, что календарь Майя заканчивается в 2012 году.) Такие культы часто носят социально деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. (В 2007 году внимание СМИ привлекла группа сектантов, зарывшихся в пещеру в ожидании конца света в Пензенской области.) Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.

3. ОШИБКИ, МОГУЩИЕ КАСАТЬСЯ ЛЮБЫХ РИСКОВ, ПРИМЕНИТЕЛЬНО К ГЛОБАЛЬНЫМ РИСКАМ.

3.1. Основной причиной человеческих ошибок является сверхуверенность.

Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими механизмами в человеческом мозгу, и вероятно, имела эволюционное значение – поэтому обнаружить её в себе и искоренить её очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройства человеческого мышления противоречит идее рассмотрения множества равновероятных будущ: гораздо привычнее думать о том, что нечто или есть, или его нет. Наконец, однажды сделанный выбор в сторону одной интерпретации становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.

3.2 Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых.

Медленный процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и гибнут часто от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Все новые технологии – нано, био, ИИ, когнитивная наука - относятся к быстрым процессам. Их стремительное развитие затмевают любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.

3.4 Возрастные особенности восприятия глобальных рисков.

Более молодые люди склонны недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.

3.5. Споры не рождают истину о глобальных рисках.

Дискуссии между людьми обычно приводят к поляризации мнений. То есть человек, который имел в начале две гипотезы, которым приписывал равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. в (Юдковский 2007).

3.6. Навык ведения споров вреден.

Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение всего этого списка ошибок для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.

3.7. Желание смерти.

Фрейд высказывал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может бессознательно подталкивать человеку выбрать стратегии, ведущие к глобальным рискам.

3.8. Косность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения.

Ч.Доукинс, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, как репликатор, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, ум людей вынужден вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерками того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце 18 века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и идеи о необходимости мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.

3.9. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности.

Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.

Например: для того, чтобы доказать опасность некого самолёта, достаточно указать на то, что в некоторых экспериментах металл обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.

Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.

С точки зрения науки мы должны доказывать, что что-то существует, а с точки зрения безопасности - доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.

3.10. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе.

Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология» перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или тоже самое в случае с реакторами. Сторонники АЭС будут тратит свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, - это может доходить до попыток заткнуть оппонентов.

3.11. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться.

Наиболее серьёзные проблемы возникают внезапно. Чем серьёзнее проблема, тем больше её энергия и – возможно – быстрее темп её развития. И тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы, поэтому они могут развиваться слишком быстро, чтобы к ним успеть подготовиться в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы заранее. Например, несчастные случаи развиваются внезапно. «Знал бы, где упаду – соломку бы постелил».

3.12. Более конкретизированные риски воспринимаются как более опасные, чем описанные в общих словах.

Например, "мятеж на ядерной подводной лодке" выглядит более устрашающе, чем "крупная морская катастрофа". «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной». (Юдковски 2007) Подробнее см. в статье Юдковского, где описаны конкретные психологические эксперименты, подтверждающие наличие этой систематической ошибки.

3.13. Идея о том, что мышление о глобальных рисках – пессимистично.

Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. По минному полю надо идти осознано – танцевать на нём с закрытыми глазами – это не оптимизм.

3.14 «Теории заговора» как препятствие для научного анализа глобальных рисков.

Циркулирующие в обществе разнообразные «теории заговоров», вроде новой хронологии Фоменко, набили оскомину. Тем более что большинство, если не все из них, ложно, а их предсказания почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор также знает рецепт, как с этим риском бороться. Тогда как правильнее утверждать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.

Чем хуже мы прогнозируем будущее, тем оно опаснее. То есть главная опасность будущего - его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. При этом они предполагают сверхуверенность в собственных прогностических способностях. Хорошее предсказание будущего не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.

Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. И что Бен Ладен это тоже понимает, и на это, возможно, рассчитывает. «Теории заговора» всегда подразумевают, что есть некие ОНИ, которые с нами что-то делают, скрывают и т. д. Это подрывает наше осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, «теории заговора» неспособны стыковаться друг с другом, формулируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве таковой. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.

Вместе с тем, из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий, тем не менее, не могут оказаться правдой. «Даже если вы не можете поймать чёрного кота в чёрной комнате – это ещё не значит, что его там нет».

3.15. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов.

Краткосрочный прогноз учитывает текущее состояние системы, к таковым относится большинство обсуждений на тему политики. Среднесрочный учитывает возможности системы и текущие тенденции. Долгосрочный учитывает только развитие возможностей. Поясню это следующим примером:

Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в неправильном месте. А в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, в счёт идёт только количество наработанного плутония.

При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи – 25 лет – это краткосрочный прогноз. А в области производства микропроцессоров – 1 год.

3.16. Специфика человеческой эмоции страха.

Способность бояться включается в ответ на конкретный стимул в конкретной ситуации. Наш орган страха не предназначен для оценки отдалённых рисков. Это выражено в русской пословице: «Пока гром не грянет, мужик не перекрестится». С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.

3.17. Недооценка удалённых событий (discount rate).

Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и во времени. Например, случившееся в древности наводнение, погубившее миллион человек будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это известно как discount rate – «уровень скидки». (См. статью об ошибках в оценке пика нефти). Этот дискаунт действует в отношении оценка полезности и риска будущих событий. При этом он имеет как рациональный, так и иррациональный характер. Рациональный дискаунт – это дискаунт, который делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, - и этот дискаунт есть линейная функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро убывающий дискаунт, который убывает экспоненциально во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.

3.18. Сознательное нежелание знать неприятные факты.

Это проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем – то есть здесь проявляется discount rate.

3.19. Эффект смещения внимания.

Чем больше некий человек уделяет внимания одной возможной причине глобальной катастрофы, тем меньше он уделяет другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и также вредна.

3.20. Интернет

Интернет, как подчёркивает сэр Мартин Рис (с. 65), позволяет создать газету «я сегодня», путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что в Интернете низкий уровень достоверности информации, поскольку значительная часть хорошей достоверной информации находится в платных изданиях, например, статьи в Nature по 30 долларов за статью, а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, интернет ускоряет доступ к информации и ускоряет её поиск.

3.21. Верования.

Трудно заметить свою верования, так как она воспринимается как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции, в частности, связана с принципом «иншала» - на всё воля Аллаха. Поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь – день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет (стр. 65), что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы – это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или «научный» характер, как вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы выявить верование полезно задаться вопросом: «Какое бы событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?»

3.22. Врождённые страхи.

У многих людей есть сильные врождённые страхи – змей, высоты, воды, болезней. Не трудно предположить, что они будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них не похожи. Может влиять и посттравматический синдром, когда некий сильный испуг запомнился и теперь все похожие вещи влияют. Наоборот, сильные желания могут подавлять страхи. «Если нельзя, но очень хочется, то можно».

3.23. «Убить гонца, принёсшего плохую весть».

Недовольство переносится не на сам источник риска, а на человека, который о ней сообщил.

3.24. Трудность в определении границ собственного знания.

Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежелании принять новые сведения. А.Камю: «Гений – это ум, осознавший свои пределы».

3.25. Юмор.

Шутка даёт право человеку законно говорить неправду. Соответственно, это создаёт ожидание у тех, кто слышит неожиданную новость, что это шутка. Охранник посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом. Тот не поверил и выключил связь. Бомба взорвалась.

3.26. Паника.

Гипертрофированная реакция на стресс приводит к ошибочным и опасным действия. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, один человек, в мирное время придерживавшийся ахимсы (принцип йоги о неубиении живых существ), во время войны разработал план взрыва дамб в германии, чтобы затопить города.

3.27. Сонливость и другие виды естественной неустойчивости человеческого сознания.

По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя это относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияют и на выводы конструктора или составителя некой инструкции, приведя к допустим, к ошибке в чертеже.

3.28. Склонность людей бороться с подобными опасностями, какие уже были в прошлом.

Например, было цунами 2004 года - теперь все стали строить системы предупреждений. А в следующий раз это будет не цунами. При этом с течением временем тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) – возрастает.

3.29. Усталость от ожидания катастрофы.

Типична ошибка, состоящая в том, что после того, как некоторая катастрофа случится, все начинают ожидать повторения в ближайшем будущем второй точно такой же, и после того, как это ожидание не исполняется, переводят эту катастрофу в разряд «это было давно и неправда». Так было после теракта 11 сентября. Сначала все ждали повторных атак на небоскрёбы, и строительство небоскрёбов в мире затормозилось. Теперь же все об этом забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Утрата чувствительности общества к предупреждениям.

3.30. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности.

В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем калибровать и отбирать наших экспертов по глобальным рискам по количеству угаданных ими катастроф.

Обнаружена следующая статистика в экспериментах по предсказанию: «Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90%, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1». (Юдковски 2007,1)

«Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту». (Юдковски 2007,1)

Причиной этой ошибки является «сверхуверенность экспертов» – например, потому что эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих мнениях.

3.31 Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта.

Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность.

3.32 Недооценка или переоценка нашей способности противостоять глобальным рискам.

Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.

3.33. Стокгольмский синдром.

Это эффект лояльности или даже влюблённости заложников в похитителя. В каком-то смысле он может проявляться в «смертничестве» - философской концепции, которая одобряет смертность человека и ограниченность его срока жизни 100 годами. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.

3.34. За ошибками оператора стоит неправильная подготовка.

За конкретными ошибками пилотов, операторов, диспетчеров и политиков стоят концептуальные ошибки в их отборе и подготовке. Например, потакание их авторитету (случай со знаменитым египетским пилотом, который по определению не мог ошибаться – и разбил самолёт) и экономия на обучении.

3.35. Группа людей может быть глупее, чем каждый человек в отдельности.

В зависимости от формы организации группы, она может способствовать или препятствовать выработки разумных решений. Хороший пример – штаб или НИИ, плохой пример – стая, толпа или страна, охваченная гражданской войной.

3.36. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие.

Это заставляет человека концентрироваться на один аспектах проблемы, вроде того, нападёт ли А на Б, уменьшая при этом, - погружая в тень внимания, - другие аспекты. Ни один человек не может охватить все мировые проблемы в своём уме, чтобы ранжировать их по степени их опасности и приоритетности. Вряд ли это может и организация.

3.37. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо.

Есть несколько струй мышления о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах.

- прогнозы о «Сингулярности». Суперкомпьютеры, биотехнологии, и нанороботы.

- прогнозы о системном кризисе в экономике, геополитике и войнах.

- прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении итд.

Отдельной строкой: большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля, + религиозные сценарии и фантастические сценарии.

3.38. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить. («Беда не приходит одна»)

Причины этого могут быть:

А) Потому что наше внимание в этот момент полностью отвлекается и разрушается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, и тут в него врезается другая, мчащаяся машина.

Б) Или, в силу влияния аффекта.

В) Когда человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.

Г) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может вдруг вывернуть из-за угла.

Д) Например, грипп чреват воспалением лёгких, при неправильном лечении. То есть первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам.

Е) Непонимание того, что обе аварии могут быть вызваны некой неочевидной общей причиной. Например, что-то обвалилось, человек пошёл посмотреть - что, и тут оно обвалилось целиком.

Ж) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. (Например, человек может так рваться выйти из больницы пораньше, что у него разойдутся швы.)

3.39. Эффект избирательности внимания, сосредоточенного на катастрофах.

Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушиться и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Когда мы замечаем трещины в фундаменте, мы говорим себе: "Оба! Оно же вот-вот рухнет" и начинаем искать другие трещины. Разумеется, мы их находим, и нам не трудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. Наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.

Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её устойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит тоже к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, станция предупреждения о цунами на Гавайях оказалась перед дилеммой: если предупредить население о риске цунами, то в следующий раз ей не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба предупреждения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов.

3.40. Подсознательное желание катастрофы.

Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа таки случилась. Это подталкивает его или преувеличить предвестники приближающейся катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения»

3.41. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса.

Этот тип поведения можно назвать «Синдром Скарамеллы», в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко реагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски затушёвываются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в сказке о мальчике, который кричал «Волк, Волк!», а волка не было. Когда же волк пришёл на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и все сообщения начинают объясняться в терминах пиара и деления денег.

3.42. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа.

Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев документальный фильм-катасрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, даже как нечто приятное и желанное.

3.43. Ошибка «хорошей истории».

Описана у Бострома (Бостром 2001). Регулярное потребление продуктов масс-медиа подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Юдковский называет это «логической ошибкой генерализации на основании художественного вымысла». (Юдковский 2007,1)

Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, и затем рассматриваются возможные следствия этого. Другая - в том, что противники выбираются равными по силе.

Третья - в том, что нормой считается хэппи-энд. Однако в деле предотвращения глобальных рисков не может быть никакого хорошего конца – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.

3.44. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества.

Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». Потому что у любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. Потому что у любой организации есть конкурент. Потому что внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели.

3.45. Секретность как источник ошибок в управлении рисками.

Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и в итоге могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их назначение для предотвращения последующих катастроф, потому что эти результаты никто не знает.

3.46. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии.

Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, тяжёлые хвосты, то именно странные идеи могут быть полезными.

3.47. Идея о том, что безопасность чего-либо можно доказать теоретически.

Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие огромную безопасность, рушились из-за непредусмотренных сценариев. Например, фонд LTCM и самолёт Конкорд. Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».

3.48. Недооценка человеческого фактора.

От 50 до 80 процентов катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей.

3.48. Идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.

Но сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длинною более 1 000 000.)

3.49. Статистика.

В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций, связанная с тем, что она является не описанием однократных фактов, а обобщением над этими описаниями. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего, способами округления, интерпретацией полученных результатов и способами их зрительного представления для других людей. См. тему номера в журнале «КОМПЬЮТЕРА» «Цифры не лгут» от 06.11.2007, там же подробная литература не тему.

3.50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты.

Например, все знают, когда упала атомная бомба на Хиросиму, но мало кто знает, где и когда впервые зафиксирован грипп 1918 года «испанка», унёсший в 100 раз больше жизней. (по одной из версий, 8 марта, около Канзас-Сити, США). Это приводит к тому, что одни риски переоцениваются, и уже в силу этого другие риски недооцениваются.

3.51. Двойная ошибка.

Все перечисленные факторы источников ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может проявиться дважды.

3.52. Анализ глобальных рисков не есть создание прогнозов.

Прогноз даёт конкретные данные о времени и месте. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Но некоторые люди дают очень много прогнозов, надеясь, что хоть один попадёт в цель и человек прославится. Например, анализ рисков в авиации требует усовершенствования разных механизмов

самолёта, а прогноз об авиакатастрофе предполагает, что люди откажутся от рейса в данный день.

3.53. Эффект знания задним числом приводит к тому, что люди восклицают «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности.

Также в силу этого они ждут, что другие люди могли бы легко догадаться о том, что нам уже известно. В отношении глобальных рисков у нас нет

никакого знания задним числом. А в отношении многих других обычных рисков есть. Это приводит к тому, что нам кажется, что глобальные риски так же легко оценить, как уже известные нам риски. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье Юдковски. (Юдковски 2007,1)

3.54. Эффект настройки на источники информации.

Читая литературу, человек в каком-то смысле становится рупором идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В силу этого он становится глухим к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию в нём проявляться особенно ярко.

3.55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы.

Например, изменение курса доллара на несколько процентов воспринимается как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям прогностического триумфа в духе: «ну вот, я же говорил!» - что затем подрывает веру, в первую очередь, свою собственную, в возможность катастрофы.

3.56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное.

На выяснение же более сложного уходят годы анализа, например, так часто бывает при авиакатастрофах. (Не говоря о том, что участники стремятся немедленно подтасовать факты, если они означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем дольше не найдено точное определение причин аварии, тем дольше невозможно защититься от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.

3.57. Есть класс людей, которые придумывают апокалипсические сценарии, чтобы привлечь внимание к своим безумным проектам и добиться их финансирования.

Даже если 99 процентов этих людей явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука.

3.58. Стремление людей установить некий приемлемый для них уровень риска.

У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что сглаживает в целом эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), он не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30% шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.

3.59. Эффект «сверхуверенности молодого профессионала».

Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии.

3.60. Ощущение неуязвимости.

Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции, который состоит в том, что, например, отвоевавшие определённый срок без ранений солдаты начинают чувствовать свою «неуязвимость», и всё более и более повышать свою норму риска. Это же происходит с цивилизацией – чем дольше не было, например, атомной войны, тем в большей мере кажется, что она вообще невозможна и тем более рискованную политику можно проводить.

3.61. Переоценка собственных профессиональных навыков.

Если человек сравнивает то, что он знает, с тем, что он знает, он всегда получает единицу. Это может создать у него иллюзию, что он знает всё. Тогда как адекватная оценка возможна, только если человек сравнивает то, что он знает, с тем, что он не знает. В этом случае он получает честную границу своих знаний. Поскольку глобальные риски охватывают все сферы знаний – от биологии до астрофизики и от психологии до политики, то чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это будет мешать ему проконсультироваться у специалистов по существенным вопросам. Стереотип «спасителя мира» как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад. В равное мере и представление об ордене «джедаев», тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.

3.62. Есть ряд ситуаций, когда меры по предотвращению небольшой катастрофы готовят ещё большую катастрофу.

Например, в Йеллоустоунском парке так успешно боролись с пожарами, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно.

3.63. Утомление исследователя.

Энтузиазм отдельных людей движется волнами, и в силу этого человек, который вначале, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красивой актрисы. Не будем забывать, что Черчилля прокатили на выборах сразу после войны, хотя он верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время Второй Мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу.

3.64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем.

В нашем обществе есть ряд тем, интерес к которым воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологически ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их исследований. Темы, которые заклеймены, это: НЛО, телепатия и прочая парапсихология, сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО истинно и необъяснимо, то это требует переделки всей имеющейся картины мира, и не может не влиять на вопросы безопасности. Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с этим и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, в какой мере можно доверять людям, говорящим от имени этих исследований. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно если даже высшее руководство страны может не знать о ней. (Характерен пример с канцлером Меркель, которой отказывались объяснять, что за люди ходят по резиденции, пока она это категорически не потребовала – это оказались сотрудники службы безопасности.)

3.65. Количество внимания, которое общество может уделить рискам, конечно.

Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которые можно потратить на более опасные риски. Кроме того, оно создаёт ложную успокоенность у человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.

3.66. Пренебрежение экономикой.

Такие выражения, как «деньги - это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что экономика не так важна, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всех происходящих на Земле процессов. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза большей, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Крестьянская община в России вымерла не от вирусов и войн, а от тракторов и массового переезда в города. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.

Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф могут иметь огромное стоимостное выражение. Теракты 11 сентября нанесли ущерб американской экономике в 100 млдр. долларов, и возможно, гораздо больше, если учесть потенциальный ущерб от политики низкой процентной ставки (пузырь на рынке недвижимости), а также триллионы долларов, потраченный на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой нанесли ущерб в 1 миллиард долларов.

Итак, даже небольшие аварии могу приводить к огромному ущербу и утрате стабильности экономики, а крах экономики сделает систему менее устойчивой и более уязвимой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.

По мере глобализации экономики, всё больше возрастает возможность всепланетного системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, но это может именно тем, что запустит эффект домино общей неустойчивости.

3.67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит.

Одна из версий крушения Древнеримской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска - со способностью молекул некого вещества превращаться в единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).

С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.

Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые внутри своей стратегии действуют долгосрочно и эффективно – или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных форм этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.

3.68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей.

Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. См. подробнее (Юдковски 2007,1)

3.69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав.

А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». См. подробнее (Юдковски 2007,1)

3.70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли.

«И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения». (Юдковски 2007,1)

3.71. Ошибка, связанная с неправильной корреляции силы и безопасности.

Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, - чем более оно способно влиять на мир, - тем оно опаснее, то есть тем больше способов направить его на цели разрушения. «Анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск». (Юдковски 2007,1) Понятно так же, что новые технологии сильнее старых технологий – иначе бы не было коммерческого смысла их создавать.

3.72. Преждевременные инвестиции.

Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.

3.73. Склонность людей путать свои ожидания того, как оно будет в наиболее вероятном случае, и того, как оно будет в наилучшем случае.

«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай» (Юдковски 2007,1). Юдковски описывает в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай.

3.74.Апатия прохожего.

Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. См. подробнее (Юдковски 2007,1).

3.75. Потребность в завершении.

Концепция когнитивной психологии, обозначающая стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – (Kruglanski 1989)). Это приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – мы ограничены во времени! – нам стоит хорошо подумать перед тем, как придти к каким-то выводам.

3.76. Влияние авторитета и социальное давление группы.

Этот вопрос подробно рассмотрен в книге «Человек и ситуация». В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других испытуемых, чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» (на самом деле подсадные утки) умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66% испытуемых. В качестве причин такого поведение было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор. Всё это проявляется в динамике научного процесса.

3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом».

Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.

3.78. Ошибка, связанная с интеллектуальной проекцией.

Юдковски: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst 2003). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым» , потому что он нас не убивает.

3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины.

Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.

3.80. Забвение основного принципа медицины – «Не навреди!»

Другая формулировка этого принципа: «Когда не знаешь что делать, не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут.

3.81. Путаница между объективными и субъективными врагами.

Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей.

3.82. Предчувствие катастрофы, на самом деле обусловленное завистью.

Один из примеров того, когда неосознаваемые желания могут влиять на описание действительности. Яркий пример этому – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.)

3.83. Страх утраты идентичности.

Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности.

3.84. Понятная катастрофа может быть привлекательнее непонятного будущего.

В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации – см. у Юдковски.) Непонятное может вызывать страх.

3.85. Неправильное применение бритвы Оккама.

Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!

3.86. Склонность переоценивать ущерб от малых и частых аварий и недооценивать большие и редкие.

Подробнее см. Юдковского (Юдковски 2007,1): «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».

3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую.

А) неучёт рост усложнения структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что по мере процессов глобализации, связность и структурность земной цивилизации растёт.

Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) проявляется в сравнении надёжности самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.

3.88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки.

С точки зрения авторов регламента по Чернобыльскому реактору персонал нарушил их требования, а сточки зрения персонала, пользовавшегося этим регламентом, он сделал всё, как он должен был быть. Регламент требовал «заглушить реактор» - но разработчики считали, что это надо произвести немедленно, а операторы – что постепенно. Другой вариант – когда автоматическая система спасения и пилот могут совершать набор действий, каждый из которых в отдельности спас бы самолёт, но вместе они накладываются друг на друга и приводят к катастрофе (гибель А310 в 1994 году в Сибири).

3.89. Отказ рассматривать некий сценарий по причине его «невероятности».

Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, можно сказать, комбинацией 24 (!) обстоятельств.

3.90. Переход от обмана к самообману.

Сознательный обман других людей с целью получения определённой выгоды, в нашем контексте – сокрытия рисков – может незаметно принять форму самогипноза. Самообман может быть гораздо более устойчив, чем иллюзия или непреднамеренное заблуждение. Ещё один вариант такого опасного самогипноза – команда себе «Я подумаю об этом завтра» (но завтра никогда не наступает).

3.91. Переоценка собственных возможностей вообще и выживаемости в частности.

Просто проиллюстрирую это цитатой из статьи Бострома об угрозах существованию: «Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы. Три четверти всех автолюбителей думают, что они более безопасные водители, чем среднестатистический водитель. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти учёным в своей области, и 94% социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии имеют более точные предсказания, чем нормальные люди, за исключением тех, что касаются безнадёжности их ситуации. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди. Широко распространено убеждение, что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование, однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации)».

3.92. Стремление к прекрасному будущему, заслоняющее восприятие рисков.

Это явление можно заметить у революционеров. Опыт Французской революции вполне мог научить, что революция ведёт к гражданской войне, диктатуре и внешним войнам, однако русские революционеры начала ХХ века питали те же иллюзии, что и их французские коллеги за 120 лет до них, хотя, в конечном счёте, получили аналогичный результат. И у современных сторонников радикального развития технологий есть необъективность такого же рода. Психологически это связано с тем, что человек отвергает размышления о рисках, как препятствия на пути к светлому будущему.

3.93. Фильтры, мешающие поступлению информации к руководству.

Г. Малинецкий в книге «Риск. Устойчивое развитие. Синергетика» пишет:

«Еще одна особенность информации в условиях возникновения ЧС состоит в том, что поступающие в систему управления данные проходят через ряд фильтров. Первыми из них являются используемые в системе управления методы изучения и анализа внешней среды, посредством реализации которых входная информация, прежде чем поступить к руководству, отсеивается. Этот фильтр, как правило, настроен на прошлое и настоящее, а не на возможные экстремальные изменения ситуации в будущем.

Вторым фильтром является психологический, суть которого заключается в неприятии руководством информации вследствие ее стратегической новизны.

Третий фильтр на пути поступающей информации образует руководящая иерархия. Новая информация не сможет влиять на формирование реакции на изменения, если руководители не будут обладать достаточной властью, чтобы официально признать актуальность этой информации.

Четвертый фильтр связан с тем, что в последние годы информация рассматривается как ценный стратегический товар, к которому следует относиться бережно и не передавать его по первому требованию. Подчеркнем, что в условиях ЧС любые задержки в передаче исходной информации не только безнравственны, но и преступны».

3.94. Любопытство может оказаться сильнее страха смерти.

Были жертвы в толпе любопытных, наблюдавших штурм Белого дома в 93 году. И, я уверен, многим людям любопытно, каков будет «конец света».

3.95. Система и регламент.

Для гладкого функционирования системы приходится позволять нарушать регламент по мелочам. Дальше происходит следующее, пишет человек по поводу разных катастроф в интернет-форуме про Чернобыль: «Мне приходилось принимать участие в расследованиях (или изучать материалы) несчастных случаев и аварий в промышленности (неатомной). По их результатам я для себя сделал следующий вывод: практически никогда не бывает какой-то "единственной главной" причины и соответственно "главного виновного" (я имею в виду не официальные выводы комиссий, а фактическую сторону дела). Как правило, происходит то, что я для себя условно называю: десять маленьких разгильдяйств. Все эти маленькие разгильдяйства совершаются у всех на виду в течение многих лет подряд, а т.к. по отдельности каждое из них не способно привести к тяжелым последствиям, то в силу этого внимание на них не обращается. Но когда все они происходят в одно время, в одном месте и с одними людьми - это приводит к трагическому результату. Ну а когда происшествие имеет общественный резонанс - тогда обычно и назначают главного стрелочника по принципу: "кто не спрятался, я не виноват".

3.96. Эффект «стрелочника».

Вместо поиска подлинных причин аварии ищут стрелочника, в результате чего подлинные причины не устраняются, и она становится возможной ещё раз.

3.97. Минимальный воспринимаемый риск.

Существует минимальный воспринимаемый риск. Было выдвинуто предположение, что это обусловлено тем, что человек принимает решения, исходя не из реальных вероятностей, возможных вариантов событий pi, а из своих представлений о них f(pi). Например, ряд экспериментов показывает, что человек не воспринимает вероятности меньше 10 5, несмотря на очень большой возможный ущерб. Это мы выше объясняли из того, что такой уровень риска незаметен на фоне ежедневного риска, которому подвергается человек.

3.98. Отвержение новых идей.

Люди и учёные часто отвергают новые идеи, так как это означало бы признать собственную неправоту. Динамика такого процесса обрисована Куном в его теории научных революций, и, к сожалению, дискуссии о новых идеях часто окрашены теми же моделями поведения, что и борьба за власть в стае обезьян. Часто предупреждения о новых рисках носят не вполне доказанный характер. Пример такого отвержения, стоивший миллионы жизней – длительное отвержение идей венгерского врача Игнаца Филиппа Земмельвейса (1818-1865), который утверждал, что родильная горячка связана с тем, что врачи не моют руки после вскрытия трупов.

3.99. Воздействие эмоциональной реакции шока.

Известно, что катастрофы провоцируют определённую последовательность психологических переживаний, каждое из которых влияет на объективность принимаемых решений. В книге «Психогении в экстремальных условиях» сказано: «… психологические реакции при катастрофах подразделяются на четыре фазы: героизма, «медового месяца», разочарования и восстановления» (стр.17) при этом фазе героизма может предшествовать период отрицания, паники или паралича.

Каждая из этих стадий создаёт свой вид необъективности. Если начнётся глобальная катастрофа, то она будет настолько ужасна, что вызовет реакцию отрицания в духе «не может быть», «это какая-то ошибка» и т.д. Например, видеокадры о теракте 11 сентября многие восприняли как кадры из нового голливудского кинофильма. Затем идёт стадия сверхреакции, которая может создать новые опасности из-за опрометчивого поведения. Например, лётчики, вылетевшие патрулировать 11 сентября небо над Нью-Йорком, думали, что началась война с русскими. В том же духе было и заявление президента Буша о том, что «мы объявляем войну» в тот же день. Затем на стадии эйфории чувство опасности притупляется, хотя на самом деле опасная ситуация ещё не закончилась. Уныние, наоборот, связано не с уменьшением оценки риска, а с уменьшением мотивации с ним бороться, возможно, связанное с масштабами потерь и осознанием неизбежности. Принятие приводит к тому, что катастрофы забывается, а риск принимается как должное. То есть на этой стадии происходит и уменьшение оценки риски, и уменьшение мотивации по его преодолению. Такое описание относится к переживанию катастроф, которые начались и закончились, вроде землетрясений, и клинике острого горя при смерти близких. Однако глобальная катастрофа не относится к таким событиям – скорее, если её наступление удастся заметить, она будет выглядеть как всё более нарастающий грозный процесс.

При этом важно то, что эмоции воздействует на поведение людей независимо от того, хотят они этого, или нет, даже если они знают об этом воздействии, и хотят его избежать. На этом основано действие рекламы. Кроме того, если начнётся глобальная катастрофа, например, всеобщая эпидемия, то у почти каждого будут близкие люди, умершие в результате неё или находящиеся в зоне повышенного риска. В голливудских фильмах это изображается обычно в том духе, что главный герой успевает и страну спасти, и высвободить любимую девушку из завалов. Но на то она и сказка, что понятно, что так не будет. Все люди, и принимающие решения, и исполнители, в случае глобальной катастрофы будут думать не только о судьбах планеты, но и о спасении своих близких (а также своих стран, родных городов и других общностей, с которыми они связаны), и в силу этого их выбор будет неоптимален. Даже если они примут решение пожертвовать своими близкими и целиком сосредоточится на предотвращении катастрофы, эмоциональный стресс от такого решения нанесёт вред их объективности и работоспособности. Фактически, они будут находиться в состоянии острого горя.

Малинецкий пишет («Риск. …»): «Ряд специалистов по психологии риска считают, что доля руководителей, способных адекватно действовать в условиях ЧС, не превышает 0,5%.»

3.100. Проблемы отбора экспертов.

Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей – или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии – индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения – верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. – очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. Очевидно, что все способы отбора экспертов содержат свои подводные камни.

3.101. Вина и ответственность как факторы предотвращения рисков.

Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что такой поиск стрелочника бесполезен, когда речь идёт об уникальных событиях. Но важно при этом повышать ответственность людей за сохранение мира, в котором они живут.

3.102. Недооценка сил инерции как фактора устойчивости систем.

Помимо общих соображений о тяжести, сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать и формулу Готта для оценки будущего времени существования системы, исходя из прошлого времени её существования. Она позволяет математически выразить тот факт, что если, например, автобуса не было около часа, то маловероятно, что он придёт в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, «временную инерцию». Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.

3.103. Мировоззрение.

Очевидно, что все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому.

3.104. Психологические трудности, связанные с изменением точки зрения.

Однажды выбрав некую позицию, человек склонен защищать её до последнего, и требуется значительное научное мужество, чтобы найти в себе силы публично признать смену своей концепции.

4. ОБЩЕЛОГИЧЕСКИЕ ОШИБКИ, МОГУЩИЕ ПРОЯВИТЬСЯ В РАССУЖДЕНИЯХ О ГЛОБАЛЬНЫХ РИСКАХ.

4.1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте.

Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к процессам, где мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.

4.2. Подмена анализа возможностей анализом целей.

Например, вроде рассуждения «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.

4.3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго.

Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип».)

4.4. Мышление, обусловленное желаниями – то, что по-английски называется «Wishful thinking».

В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно.

4.5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов.

Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (теорема о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.

4.6. Ошибки, связанные с подменой анализов рисков анализом коммерческих мотивов тех, кто о них говорит.

Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.

4.7. Использование так называемого «авторитетного знания».

«Авторитетное знание» было основным источником в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.

4.8. Неправильное применение идеи о том, что теория должна быть опровержимой, чтобы быть истинной.

Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология должна быть верной. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некая теория является опасной до тех пор, пока она не опровергнута.

4.9. Восприятие новой информации через призму старой.

Есть данные, что только 7 процентов информации человек берёт из внешнего мира, а остальные додумывает сам. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет его и фильтр, и его уверенность в этих данных.

4.10. Ошибка в выборе нейтральной позиции.

Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал.

4.11. Уверенность как источник ошибок.

Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.

4.12. Употребление полностью ошибочной логики.

Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки в каждой строчке. В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.

4.13. Различие между преднаукой и псевдонаукой.

В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.

4.14. Ошибка, связанная с неправильным определением статуса «универсалий».

Проблема универсалий была основной в средневековой философии, и состояла она в вопросе, что на самом деле реально существует. Существуют ли, например, птицы вообще, или существуют только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная выдумка человеческого разума? Одним из возможных ответов является то, что объективно существует наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает этим качеством. В рассуждения о рисках неясность по поводу универсалий вкрадывается следующим образом: свойства одного объекта переносятся на некий класс, как если бы этот класс был объектом. Тогда возникают рассуждения вроде «Америка хочет…» или «русским свойственно…», тогда как за этими понятиями стоит не единый объект, а множество, точное определение которого зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте легко совершить такую ошибку, так как не понятно, идёт ли речь об одном устройстве или о классе объектов.

4.15. Утверждения о возможности чего-то и невозможности неравносильны.

Утверждение о невозможности гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для истинности утверждения о возможности достаточно одного объекта. Поэтому большинство утверждений о невозможности чего-либо являются ложными гораздо чаще. Предполагая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб нашей безопасности. В определённых обстоятельствах возможно всё. При этом любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях.

4.16. Очевидности как источник ошибок.

Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень редко употребляют полную форму умозаключений, а вместо этого употребляют сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, кажущиеся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.

4.17. Недооценка собственной ошибочности.

Я ничего не могу знать на 100 процентов, потому что надёжность моего мозга не равна 100 процентам. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно, то есть в сторону занижения.

4.18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину.

В действительности:

а) есть совершенно случайные события.

б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).

в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (основной вопрос: Кто виноват?)

И в конструировании техники: где важно найти причину аварии. То есть то, что можно устранить – так чтобы аварий такого рода больше не было. (основной вопрос: Что делать?)

Понятие причина менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в роде «причиной глобальной катастрофы будет Х» - мягко говоря, несовершенны.

4.19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы.

И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В Чернобыле организатор испытаний Дятлов верил, что взорвался не реактор, а бак с водой охлаждения – и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может действовать и вперёд во времени, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.

4.20. Необходимость выбора актом веры.

Если руководитель получает несколько противоречащих друг другу заключений о безопасности, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.

4.21. Эффект первой и последней прочитанной книги.

Порядок поступления информации влияет на её оценку, причём выделены первый и последний источник. Это одна из форм ошибочности, связанной с доступностью информации, о которой пишет Юдковски.

4.22. Преувеличение роли компьютерного моделирования.

Наиболее две проработанные модели – метеорология и атомные взрывы. Обе составлены на огромном фактическом материале, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью.

4.23. Доказательство по аналогии.

Дело не только в том, что не может быть аналогий уникальному событию, которое ещё никогда не случалось – необратимой глобальной катастрофе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать. Вероятно, полезно принимать аналогии, когда они говорят о реальности некой угрозы, но не когда – о безопасности.

4.24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной.

Вероятностную функцию гибели цивилизации – если считать это процесс гладким в смысле вероятности, что, конечно, неверно - можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 процентам, как это предлагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 процентов, а через тысячу лет – только 0,1 процента – при равномерном сохранении тех же тенденций. Отсюда видно, что неверно заключать, что раз выживание в течение тысячелетия составляет 0,1 процента, то для одного столетия оно будет в только десять раз больше, то есть 1 процент. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать эти же 50 процентов выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 процента на год. Однако точное значение равно 1- 2**(-100) и составляет примерно 0,7 процента, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация. (Ещё раз мы к этому вопросу вернёмся далее, главе о вероятностной оценке глобальных рисков)

4.25. Санкт-Петербургский парадокс.

Позволю себе здесь обширную цитату из книги Г.Малинецкого «Риск. Устойчивое развитие. Синергетика».

«Рождение субъективного подхода относится к работам Г. Крамера и Д. Бернулли, выполненным в первой половине XVIII века. Они связаны с объяснением так называемого Санкт-Петербургского парадокса. Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:

. (1)

Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц.

Бернулли предположил, что люди максимизируют не денежный выигрыш (чему соответствует формула (1), а ожидаемую полезность. Предложенная им функция полезности U(x) имеет вид логарифмической кривой:

. (2)

То есть, с ростом выигрыша полезность равных приращений падает.

Парадокс можно сформулировать и иным образом, имеющим непосредственное отношение к техногенному риску. Допустим, что мы располагаем экономически выгодной (если не учитывать ее влияния на среду обитания) технологией. Ликвидация последствий ее применения может обойтись в 2n единиц с вероятностью 1/2n. То есть математическое ожидание ущерба здесь также бесконечно. Сколько общество готово заплатить за то, чтобы отказаться от такой технологии? Какова должна быть разумная стратегия в том случае, если такая технология уже используется? В ряде случаев действия мирового сообщества парадоксальны – затраты на отказ от технологий, грозящих неприемлемым ущербом, оказываются, как и в Санкт-Петербургском парадоксе, весьма невелики».

Этот парадокс имеет прямой отношение к глобальным катастрофам, так как их возможный ущерб бесконечен. Следовательно, мы должны были бы соглашаться на любые действия, которые позволяют её избежать (принцип Максипок по Бострому).

4.26. Различие между опасностью и риском.

Риск создаётся принимаемыми решениями, а опасности – обстоятельствами.

4.27. Систематическая ошибка, связанная с эгоцентричностью.

Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации. (http://en.wikipedia.org/wiki/Egocentric_bias)

4.28. Систематическая ошибка, связанная с атрибуцией причины.

В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация вымрет. Майкл Анисимов пишет: «Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестую против Буша». (http://www.acceleratingfuture.com/michael/blog/?p=539)

4.29. Если вероятность некого события является невычислимой, ей полагают нулевой.

Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта (см. о ней подробнее в конце книги).

4.30. Упущение того, что безопасность системы определяется наиболее слабым её звеном.

Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.

4.31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть.

Однако часто эта логическая последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.

4.32. Невычислимость.

Целый ряд принципиально важных для нас процессов настолько сложны, что предсказать их невозможно, поскольку они, так сказать, невычислимы. Невычислимость может иметь разные причины.

• Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)

• Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).

• Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.

• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Такая невычислимость может проявляться в виде хаотической детерминированной системой.

• Невычислимость связана также с тем, что хотя мы можем обладать правильной теорией, мы не можем знать, какая именно теория правильна. То есть теория помимо правильности должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры веры в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)

• Ещё один вид невычислимости связан с возможностью самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой. Я (следуя логике с Дж.Сороса) полагаю, что любой прогноз о поведении некого рыночного индекса, если из этого прогноза можно извлечь прибыль, не работает, поскольку все участники игры не могут получить прибыль в игре с нулевой суммой. В силу этого данный прогноз может знать только меньшинство участников, а, следовательно, скорее всего, я не принадлежу к этому меньшинству. Следовательно, моё предположение о будущем поведении системы скорее ложно, чем истинно. Возражения здесь могут быть следующие: рынок – не игра с нулевой суммой (но он становится ей, если я хочу получить доход больший, чем минимально возможный – то есть полагающийся по базовой процентной ставке или по норме прибыли). Или если участники рынка не равны, и имеет место инсайдерская торговля (но в этом случае надо учитывать риск попасть в тюрьму за нарушение законов, который весьма перевешивает повышенную прибыльность инвестиций.) Поскольку в современном обществе действуют механизмы превращения любых параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.

• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги «Сумерки в пустыне» о преувеличении запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные скереты.

Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.

4.33. Наблюдательная селекция.

Наблюдательная селекция происходит во всех случаях, когда в результате некого процесса число его наблюдателей может меняться, а глобальные катастрофы, очевидно, относятся к такому классу процессов.

5. СПЕЦИФИЧЕСКИЕ ОШИБКИ, ВОЗНИКАЮЩИЕ В ДИСКУССИЯХ ОБ ОПАСНОСТИ НЕКОНТРОЛИРУЕМОГО РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.

5.1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности.

Специалисты по компьюте:рам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их как примеры ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл опрос среди разработчиков ИИ, какие риски они видят в нём, и получил следующий разброс мнений, с примерно одинаковым числом людей, высказавшимся в отношении каждого мнения. Итак, «ИИ является безопасным, потому что»:

1) Потому что ИИ невозможен.

2) Потому что ИИ может решать только узкие задачи, вроде распознания образов.

3) Потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона роботехники Азимова.

4) Потому что я знаю, как использовать ИИ во благо людям.

5) Потому что ИИ будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.

6) Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.

7) Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.

8) Потому что у ИИ не может быть своей воли.

9) ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.

10) Потому что ИИ не может сделать ничего плохого.

11) ИИ может быть опасен, но, скорее всего, всё обойдётся.

12) Нет, ИИ опасен, и мы все обречены.

13) ИИ уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.

В ходе опороса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают люди в целом, равна нулю.

5.2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.

Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется.

5.3. Критика ИИ Пенроузом.

Р.Пенроуз в книге «Новый ум короля» утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые процессы, которые необходимы для творческого мышления и сознания. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам.

1. Квантовая природа сознания - это далеко не мэйнстрим науки.

2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно - например, Нейман доказал возможность самоокопирующихся механизмов.)

3. Для того, чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный ИИ может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция - это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. При этом нам достаточно сказать, что опасный ИИ - это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег - это разновидности таких игр.

4. Если некие особые полезные функции выполняются нейронами или микротрубочками, то ничто не мешает использовать их как элементы будущего мощного ИИ - в виде внешнего сопроцессора, скажем. Квантовые компьютеры находятся на пути к этому. В конце концов, этот ИИ может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру).

5. Любую практическую задачу можно решить перебором, то есть за конечное число операций. Важно подчеркнуть слово «практический». Математически можно, вероятно, описать бесконечно сложные задачи. Однако человек не способен их представить, и, кроме того, именно решение практических задач создаёт угрозы безопасности. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации.

5.4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ.

Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности ИИ в сколько ни будь значительной мере.

1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.

2. Они содержат в себе противоречие, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1,2 и 3 законами и в результате ведёт себя опасным образом.

3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.

4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.

5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно засунуть эти законы в ИИ.

5.5. Прогресс в области программного обеспечения отсутствует.

Неверно – алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.

5.6. Никто в мире не занимается такой ерундой как ИИ.

Неверно – известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI.

5.7. ИИ – это разные приложения, вроде распознания образов.

Подмена тезисов. Под ИИ имеется в виду именно Искусственный Интеллект. От того, что кто-то продаёт свои разработки под брендом ИИ, хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин – GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности.

5.8. Антропоморфизм.

Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания.

5.9. Достаточно отключить ИИ от питания, чтобы его остановить.

Базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе предположение – о локальности ИИ. Третье - о том, что ему не придёт в голову защитить своё питание. Четвёртое – что программист не может быть в сговоре с ИИ.

5.10. Даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир.

Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

5.11. У ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред.

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений.

5.12. ИИ будет осваивать космос, оставив Землю человеку.

Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан это на самом деле это делать.

5.13. Любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо.

Интеллект – это инструмент, который может иметь произвольную цель. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради этого они пишут стихи, доказывают теоремы, плетут заговоры.

5.14. Современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки лет.

Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы.

5.15. Прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно.

Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

5.16. Человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы.

«X» может быть в разных интерпретациях творческое озарение, интуиция, быстрое распознание образом, переживание чувств, осознание, любовь. Однако:

1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.

2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.

3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

5.17. ИИ невозможен, потому что он мыслит алгоритмически, а человек неалгоритмически.

Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом - а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на он-лайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?

5.18. ИИ будет примерно такой же умный, как и человек.

Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится.

5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами.

Здесь путают ИИ и отдельного робота. В случае если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

5.20. Представление, что ИИ будет много.

Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него будет множество копий и проявлений.

Даже если будет несколько сортов ИИ, то среди них только один будет главным.

5.21. Различия в понимании того, что, собственно, является интеллектом.

Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

5.22. Однозначное отождествление ИИ как отдельного объекта.

ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен.

Неверно – если мы поместили ИИ в чёрный ящик, а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик.

5.24. В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен.

Неверно. В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен.

5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке.

«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, будет поздно.

5.26. «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности».

Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно.

5.27. «Маловероятно, что наш проект по ИИ выйдет из-под контроля».

В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ.

5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы.

Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.

5.29. Нетождественность способностей и намерений.

См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть её в том, что если ИИ может что-то делать, это не значит, что он будет это делать. То есть мы не должны отождествлять мотивы и способности.

6. СПЕЦИФИЧЕСКИЕ ОШИБКИ, СВЯЗАННЫЕ РАССУЖДЕНИЯМИ О РИСКАХ НАНОТЕХНОЛОГИЙ.

6.1. Нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома.

Это не так, поскольку существуют белки, которые являются самыми разными механизмами, и в них важно и определено местоположением каждого атома.

6.2. Нанофабрики безопаснее наноассемблеров.

С помощью одного можно сделать другое и наоборот, то есть эти устройства изоморфны.

6.3. Нанотехнологии настолько далеки от нас во времени, что о них можно не думать.

От нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая позволила бы произвести наноассемблер.

6.4. «Нанотехнологии придумали только для отмывания денег»

Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.

6.5. Нанотехнологии связаны только с мелкодисперсными материалами.

Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и материалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями (микромаятники для гироскопов). Основной прогресс закона Мура идёт именно за счёт развития своего рода нанотехнологий всё более прецизионной печати полупроводников.

6.6. Нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде.

Это так же верно как утверждение, что «Самолёты будут безопаснее птиц, потому что птицы развивались в течение миллионов лет».

6.7. Если бы нанороботы были возможны, их бы уже создала природа.

Природа не создала колеса, но оно возможно и эффективно.

6.8. Нанороботы не смогут размножаться в природной среде.

Если бактерии могут, то почему нанороботы не могут – ведь они могут использовать все приёмы, доступные бактериям.

6.9 Нанороботов в природной среде будет легко уничтожить взрывом бомбы.

Для этого нужно точно знать, где они находятся. Если они уже проникли в город, то взрывать их будет невозможно. Ведь не борются с заразными болезнями с помощью бомб.

6.10. Нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально.

Название «наноботы» условно и не означает, что длина нанобота будет равна нескольким нанометрам. Он может быть длиной в 1 микрометр и более, и при этом способен к саморазмножению и выполнению множества функций. И при этом невидим. В этом случае он будет содержать миллиарды и даже триллионы атомов.

6.11. Нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер.

Внутри любой клетки находится ДНК на 500 мегабайт объёма, с которой совершается до миллиона операций в секунду. Этого достаточно для создания довольно сильного компьютера. Но наноботы смогут объединяться в локальные сети, усиливая свою производительность многократно.

Далее обширная цитата из Э.Дрекслера, основоположника идеи нанороботов:

«

6.22. Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми?

Кроме всего прочего этот принцип говорит о том, что невозможно определить точное местоположение частицы в течение любого отрезка времени. Это ограничивает то, что могут делать молекулярные машины, равно как и ограничивает то, что может делать что угодно еще. Тем не менее, вычисления показывают, что принцип неопределённости накладывает мало существенных ограничений на то, насколько хорошо атомы можно размещать на свои места, по крайней мере, для тех целей, которые обрисовываются здесь. Принцип неопределённости делает местоположение электронов довольно расплывчатым, и в действительности эта расплывчатость определяет сам размер и структуру атомов. Атом как целое, однако, имеет сравнительно определённое местоположение, установленное своему относительно массивному ядру. Если бы атомы не сохраняли своё положение сравнительно хорошо, молекулы бы не существовали. Квантовой механики не требуется, чтобы доказать эти заключения, поскольку молекулярные машины в клетке демонстрируют то, что молекулярные машины работают.

6.23. Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать?

Тепловые колебания причинят большие проблемы, чем принцип неуверенности, однако здесь снова существующие молекулярные машины непосредственно демонстрируют, что молекулярные машины могут работать при обычных температурах. Несмотря на тепловые колебания, механизмы копирования ДНК в некоторых клетках делают меньше чем одну ошибку на 100 000 000 000 операций. Чтобы достичь такой точности, однако, клетки используют машины (такие как фермент ДНК-полимераза I), которые проверяют копию и исправляют ошибки. Для ассемблеров вполне может быть необходимы аналогичные способности проверки и исправления ошибок, если они предназначены выдавать надёжные результаты.

6.24. Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования?

Радиация высокой энергии может нарушать химические связи и разрушать молекулярные машины. Живые клетки еще раз показывают, что решения существуют: они работают в течение лет, восстанавливая и заменяя поврежденные радиацией части. Однако поскольку каждая отдельная машина такая крошечная, она представляет собой маленькую цель для радиации, и радиация редко в неё попадает. Всё же, если система наномашин должна быть надёжна, то она должна выдерживать определённое количество повреждений, а повреждённые части должны регулярно чиниться или заменяться. Этот подход к надёжности хорошо знаком разработчикам самолётов и космических кораблей.

6.25. Эволюция не сумела произвести ассемблеры, не говорит ли это о том, что они являются либо невозможными, либо бесполезными?

Отвечая на предыдущие вопросы, мы отчасти ссылались на уже работающие молекулярные машины клеток. Они представляют собой простое и мощное доказательство того, что законы природы позволяют маленьким группам атомов вести себя как управляемые машины, способные строить другие наномашины. Однако вопреки тому, что они в основе напоминают рибосомы, ассемблеры будут отличаться от всего, что находится в клетках; хотя они состоят в обычных движениях молекул и реакциях, то, что они делают, будет иметь новые результаты. Например, ни одна клетка не производит алмазного волокна…

6.26. Доказательства реализуемости ассемблеров и других наномашин могут казаться обоснованным, но почему бы просто не подождать и не посмотреть, действительно ли они могут быть разработаны?

Чистое любопытство кажется достаточной причиной, чтобы исследовать возможности, открытые нанотехнологией, но есть более сильные причины. Эти достижения охватят мир в пределах от десяти до пятидесяти лет, то есть в пределах сроков жизни наших собственных или членов наших семей. Что более существенно, заключения следующей главы подсказывают, что политика "подождём-посмотрим" была бы слишком дорогой: она бы стоила миллионы жизней, и, возможно, жизни на Земле.

»

Конец цитаты из Дрекслера – нумерация вопросом добавлена мной – А.Т.

6.27. Наша склонность ожидать грандиозных результатов от грандиозных причин.

Дрекслер иллюстрирует это заблуждение следующими контрпримерами:

«СКУЧНЫЙ ФАКТ: некоторые электрические переключатели могут включать и выключать друг друга. Эти переключатели можно сделать очень маленькими и потребляющими мало электричества. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: если их соединить правильно, эти переключатели образуют компьютеры, машины информационной революции... СКУЧНЫЙ ФАКТ: плесень и бактерии конкурируют за пищу, поэтому некоторые плесени научились выделять яды, которые убивают бактерии. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: пенициллин, победа над многими бактериальными заболеваниями, и спасение миллионов жизней»

6.28. Детали наномашин буду слипаться в силу квантовых, вандерваальсовых и прочих сил.

Белки не слипаются. Предложенный Дрекслером вариант с зубчиками и колёсами – не единственный.

6.29. Активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов.

Ни одна иммунная система в реальности, ни в живых организмах, ни антивирусная в компьютерах, не является абсолютно надёжной. Кроме ого, существуют автоиммунные заболевания. См. подробнее в моём тексте «Структура глобальной катастрофы», глава «активные щиты».

6.30. Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом.

Приходилось встречать утверждения со стороны специалистов в области нанотехнологий, о том, что нанороботы Дрекслера – это фантазии, а настоящие нанотехнологии состоят в детальном измерении неких очень тонких параметров малоразмерных структур. Однако на самом деле эти исследования находятся на разных уровнях. Исследования Дрекслера относятся к «проектному» уровню. Точно так же, как к нему относилась идея сделать атомную бомбу в своё время. То есть это уровень леса, а не деревьев.

7. ПАЛЕОФУТУРОЛОГИЯ.

Палеофутурология занимается исследованием образов будущего, созданных в прошлом. Основное впечатление от старинных картин будущего, рассказов и даже научных прогнозов – насколько непохоже это на настоящее. (см. картинки http://paleo-future.blogspot.com/2007/09/french-prints-show-year-2000-1910.html) При этом есть ощущение однородности всех этих прошлых образов будущего – и однородности причин того, что они не стали реальными предвидениями. Иначе говоря, изучение прошлых попыток предсказать будущее даёт нам знание о некоторых систематических ошибках, которые люди совершают, пытаясь осуществить предвидение.

В картинах будущего бросаются в глаза:

1) избыток летательных средств; небоскрёбы, роботы, огромные транспортные средства.

2) «древнеримские» одежды.

3) подчёркнуто светлый образ (но иногда - подчеркнуто мрачный).

4) изменение главных деталей при сохранении мелкой атрибутики - например, в каждом доме компьютер, но это всё ещё ламповый компьютер.

5) невозможность выйти за пределы своего художественного стиля. То есть вещи будущего изображаются в дизайне 1950-х годов, хотя нарочно пытаются этого избежать.

6) безличность - изображены толпы или усреднённые персонажи, а не личности.

Причины этого, видимо, в том:

1) Что будущее перестаёт восприниматься как реальность, а начинает - как сказка, и к нему применяются приёмы построения художественного образа сказочного мира. То есть в нём позволяется нарочитая нереалистичность. Сравните: "В 2050 году люди будут ходить в прозрачных электрических тогах" и "В 2050 году я буду ходить в прозрачной электрической тоге". Вторую фразу я не напишу в здравом уме, потому что я не собираюсь ходить в прозрачной тоге.

2) Будущее заменяется атрибутами будущности - самолёты, небоскрёбы, роботы.

3) Образ нацелен на то, чтобы воздействовать на современного автору зрителя. В нём подчёркивается то, что будет наиболее интересно и в то же время понятно современнику: необычная техника. В результате мы имеем не образ будущего, а образ техники будущего. Но не учитывается взаимовлияние общества, техники, экономики и истории.

4) Далее, вещи будущего мира придумываются по отдельности, а не соединяются в систему. Поэтому изображают город с большим количеством самолётов и небоскрёбов, не думая, как одно с другим будет взаимодействовать.

5) Наконец, невозможность придумать простые, очевидны нам решения - типа пульта дистанционного управления, мыши, графического интерфейса.

6) Злоупотребление экстраполяциями явных тенденций.

7) Предсказание будущего – это всегда предсказание поведения более сложной, более интеллектуальной системы силами менее сложной и менее интеллектуальной. В этом смысле оно подобно попыткам предсказания поведения ИИ – и может служить иллюстрацией меры ошибочности в этом. (См. дискуссию в http://ivanov-petrov.livejournal.com/741441.html?view=27451969#t27451969 с картинками о палео футурологии.)

8. ВЫВОДЫ ПО АНАЛИЗУ КОГНИТИВНЫХ ИСКАЖЕНИЙ В ОЦЕНКЕ ГЛОБАЛЬНЫХ РИСКОВ.

Масштаб влияние ошибок на рассуждения о глобальных рисках можно оценить, сравнив мнения разных экспертов, учёных и политиков по вопросу о возможности окончательной глобальной катастрофы и её возможных причинах. Нетрудно убедиться, что разброс мнений огромен. Одни считают суммарный риски ничтожным, другие уверенны в неизбежности человеческого вымирания. В качестве возможных причин называется множество разных технологий и сценариев, причём у каждого будет свой набор возможных сценариев и набор невозможных сценариев.

Очевидно, что корни такого разброса мнений - в разнообразии движения мысли, которое, в отсутствии какой-либо зримой точки отсчёта, оказывается подвержено различными предубеждениями и когнитивным искажениям. Поскольку мы не можем найти точку отсчёта относительно глобальных рисков в эксперименте, представляется желательным, чтобы такой точкой отсчёта стала бы открытая дискуссия о методологии исследования глобальных рисков, на основании которой могла бы быть сформирована единая и общепризнанная картина глобальных рисков.

9. ВОЗМОЖНЫЕ ПРАВИЛА ДЛЯ ЭФФЕКТИВНОЙ ОЦЕНКИ ГЛОБАЛЬНЫХ РИСКОВ.

9.1. Принцип предосторожности.

Он означает подготовку к наихудшему раскладу во всех ситуациях неопределённости. Это соответствует принципу консервативной инженерной оценки в статье Юдковски. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию.

9.2. Принцип сомнения.

Он означает допускать возможность ошибочности любой своей идеи. Однако сомнение не должно привести к неустойчивости хода мысли, податливости авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.

9.3. Открытая дискуссия.

Важно поддержание открытой дискуссии по всем видам рисков. Это означает рассмотрение любое возражение в качестве истинного достаточное время, чтобы его оценить, перед тем, как решить его отвергнуть. То есть не отбрасывать никакие возражения сходу. Поддерживать наличие оппонентов.

9.4. Самоанализ

Непрерывный анализ собственных выводов на предмет ошибок из всего списка. Но не следует применять это к другим людям.

9.5. Независимые повторные вычисления.

9.6. Косвенная оценка степени ошибки.

Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космический челнок шаттл был рассчитан на одну аварию более чем на 1000 полётов, но потерпел первую аварию на 25 полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже.

Литература по оценке рисков.

1. Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.

2. Воробьё, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.

3. Корнилова. Т.В. Риск и мышление // Психологический журнал, 1994. №4.

4. Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). - М.: Аспект Пресс, 2003.

5. Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, 2006. №2 (Совместно с О.В. Степаносовой).

6. Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, 1998. №6. .

7. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. — СПб.: Речь, 2001. — 560 с. (Гл. Логические ошибки)

8. Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.

9. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002

10. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )

11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? - Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )

12. Dawes, R.M. Rational Choice in an Uncertain World. - San Diego, CA: Harcourt, Brace, Jovanovich, 1988.

13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. - Journal of Risk and Uncertainty, 14: 238-300. 1997.

14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. - New York: Cambridge University Press, 1982.

15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. - Cambridge, U.K.: Cambridge University Press, 2000.

16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989

17. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp

18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005

19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)

20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

Часть 2. Анализ Рисков.

Раздел 1. Введение.

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа.

«Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности - это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска – учтены. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, доступных в Интернете.

1.1. Рассматриваемый промежуток времени: XXI век.

В этой статье анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Однако некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века, и в этом случае мы обсуждаем их. Однако такая граница позволяет нам не рассматривать в качестве рисков существованию отдалённые космические события, вроде превращения Солнца в красного гиганта. Эта граница взята не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000.

Иначе говоря, я полагаю, что любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2107 г. – 100 лет от настоящего момента - и 2101 г. – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)

Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 23, а только несколько лет до того момента, когда глобальная достигнет своей максимальной вероятности. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «тезис о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Иначе говоря, глобальные катастрофы не относятся к неким абстрактным нашим потомкам. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

1.2. Проблемы численного вычисления вероятностей различных сценариев.

Начну с цитаты из рассказа «О невозможности прогнозирования» С.Лема:

«Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...» (http://lib.meta.ua/book/9670/)

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом естественно вызывает желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 процентов в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 процента, мы всё равно этого никак не проверим.

Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.

Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 процентов в первой половине XXI века, а риск Б – 50 процентов во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 процентов, потому что в половине случаев мы до него не доживём.

Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 процента даст 50 процентов вымирания за 100 лет, 75 за 200 и 99,9 за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 процентную вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [ 0; T ] равна:

P(T)= 1- 2**(-T/T0),

Где Т0 – время полураспада. Тогда погодовая вероятность будет P(1)=1 - 2**(-1/T0),

Следующая таблица показывает соотношение этих параметров.

Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью

99,9%, лет:

10 000 0.0069% 0,7% 99,3% 100 000

1 600 0.0433% 6% 94% 16 000

400 0.173%

12,5% 87,5% 4 000

200 0.346% 25% 75% 2 000

100 0.691% 50% 50% 1 000

50 1,375% 75% 1 к 4 500

25 2,735% 93,75% 1 к16 250

12,5 5,394% 99,6% 1 к 256 125

6 10,910% 99,9984% 1 к 16 536 60

Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти точно есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.

В введении мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 50 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):

«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.

Другая группа из 35 испытуемых была попрошена оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.

Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты»».Конец цитаты.

Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала.

Обозначим величиной N степень расширения интервала уверенности для некой величины A следующим образом: (A/N; A*N). Например, если мы оценивали нечто в 10%, и N=3, то интервал будет (3%; 30%).

Каково должно быть N для глобальных рисков, пока сказать трудно, но мне кажется разумным выбрать N=10. В этом случае, мы с одной стороны, получаем очень широкие интервалы уверенности, в которые искомая величина, скорее всего, попадёт, а с другой стороны, эти интервалы будут различны для различных величин.

Другой способ определения N – изучить среднюю ошибку, даваемую экспертами в их оценках и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100, говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении. Это обобщение не снижает ценности таких вычислений, поскольку разница между некоторыми рисками может оказаться в несколько порядков. А для принятия решения о важности противостоянии той или иной опасности нам нужно знать порядок величины риска, а не риск с точностью до второй цифры после запятой, как это можно и нужно в страховании и финансовых рисках.

Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить в лучшем случае с точностью до порядка, причём точность такой оценки будет плюс-минус порядок, и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга той или иной проблемы. (Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны). Похожими примерами шкал риска являются Туринская и Палермская шкалы риска астероидов.

В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):

1) Неизбежные события. Оценка их вероятности - порядка 100 процентов в течение всего века. Будем обозначать такие события как события порядка Е2. Интервал: (10%; 100%) (Иначе говоря, даже то, что нам кажется неизбежным, может быть просто весьма вероятным.)

2) Весьма вероятные события – оценка вероятности порядка 10 процентов. Порядок Е1. (1%; 100%)

3) Вероятные события – оценка порядка 1 процента. Порядок Е0. (0,1%; 10%)

4) Маловероятные события – оценка 0,1 процента. Порядок Е-1. (0,01%; 1%)

5) События с ничтожной вероятностью – оценка 0,01 процента и меньше. Порядок Е-2. (0%; 0,1%)

Пунктами 4) и 5) мы могли бы пренебречь в нашем анализе, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако на самом деле ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможно несколько десятков разных сценариев с вероятностью Е0, то всё это множество имеет твёрдый Е1. К категории Е2 относится только тот факт, что в течение XXI века мир существенно изменится.

Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100%? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90%. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже бы составляла 90%. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в тоже самое время, не может просто складываться с вероятностями других глобальных рисков.

В нашем примере шансы машины доехать до конца пути равны 1%, а шансы, что причиной аварии стал каждый из двух рисков – 49,5%. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1% машин, но распределение вкладов каждого риска будет иным: 90% машин разобьётся на первом участке дороги из-за шин, и только 9% на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия.

В наших рассуждениях мы будем широко пользоваться Принципом предосторожности, то есть мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом под реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же парамтрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности, что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий. При расширении вероятностных промежутков нам следует уделять внимание в первую очередь расширению в худшую сторону – то есть в сторону увеличения вероятности и уменьшения оставшегося времени. Однако если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, то и другое появится через пару десятков лет.

Высказанные соображения пригодятся нам при дальнейшем исследовании и классификации катастроф.

1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами.

В экономике распространён метод предсказания, основанный на опросе экспертов и составлении среднеарифметического по результатам. Далее я привожу известные мне оценки ведущих экспертов в этой области. (Эти люди упоминаются в статье английской Википедии, посвящённой человеческому вымиранию http://en.wikipedia.org/wiki/Human_extinction , что говорит об их общепризнанности как экспертов в этой области. Помимо них там упоминаются ещё несколько человек, чьи численные оценки неизвестны. Понятно, однако, что есть огромное количество экспертов и футурологов, которые вообще не думают о вопросах возможности человеческого вымирания и потому не упоминаются в этой статье.)

Лесли, 1996 «Конец света»: 30% в ближайшие 500 лет с учётом действие теоремы о Конце света (Doomsday argument – см. главу о нём в конце книги), без него – 5%.

Бостром, 2001 «Анализ сценариев вымирания»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше… В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации».

Мартин Рис, 2003 «Наш последний час»: 50% в XXI веке. (Курцвейль приходит к аналогичным выводам.)

Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако промежуток времени, на который даётся это предсказание, каждый раз сокращается, в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06% (и даже 0,012% без учёта DA), 2001 – 0,125%, 2003 – 0,5%.

Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что 3 эксперта недостаточно для статистики, и что они могли взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы мы можем ожидать оценок погодовой вероятности вымирания в 5 процентов, а в 20-е – в 50 процентов, что означало бы неизбежность вымирания до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее разными независимыми способами.

С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65%. Фон Нейман считал, что а) ядерная война неизбежна и б) все в ней погибнут.

1.4. Глобальные катастрофы и горизонт прогноза.

Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогноза – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.

Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические расклады полностью устаревали. От открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся пятилетними планами. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается сила инерции, то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.

Таким образом, мы можем сказать, что до начала «полосы тумана» в прогнозах будущего – примерно 5 лет, то есть это 2012 год от момента, когда я пишу эти строки – то есть 2007 года. Иначе говоря, мы более-менее отчётливо представляем, какие технологии будут в ближайшие пять лет. И гораздо более смутно представляем более поздние технологии. При этом есть много отдельных технических проектов вплоть до 2020-х годов – скажем, ИТЭР или освоение Луны, и есть многие бизнес планы, которые рассчитаны на срок до 30 лет, скажем, долгосрочная ипотека. Просто 5 лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в самых разных видах человеческой деятельности. При этом с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.

Абсолютным пределом в прогнозах оказывается 2030 год, в районе которого предполагаются возможными мощные нанотехнологии, искусственный интеллект и полное овладением биоконструированием. После этой даты нет смысла в оценках кривых роста популяции или запасов каменного угля, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про Технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогноза просто за счёт сужения пространства возможностей (в духе: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-ым годам, однако мало кто решается дать обоснованные предсказание на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе Технологической Сингулярности даёт неопределённость более высокого порядка, похожую на квантовую, но связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящий наш.

Однако надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности системы. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что хотя граница предсказуемости постепенно снижается за счёт ускорения факторов прогресса, она может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.

Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно тоже самое, что и сегодня), или через десятки лет (он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно через 30 лет или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.

В силу сказанного, хотя мы и исследуем риски глобальной катастрофы во всём XXI веке, наибольшей интерес для нашего исследования представляет промежуток в примерно два десятилетия между 2012 и 2030 годами. До этого момента вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.

1.5. Историография.

Историю исследований глобальных рисков можно представить в виде следующей краткой схемы:

1. Античные, средневековые и мистические представления о конце света.

2. Ранненаучные представления о возможности «тепловой смерти» Вселенной и подобных сценариях. Ситуация в первой половине 20 века.

3. Яркое осознание способности человечества истребить себя, начиная с 1945 года, в связи с возникновением ядерного оружия. Кун «Термоядерная война». Шют Н. «На берегу». Работы Моисеева и Сагана по ядерной зиме. Фон Хорнер – книга с объяснением возможных причин парадокса Ферми. Основное объяснение – высокая вероятность вымирания цивилизаций на технологической стадии.

4. Глобальные риски в классической футурологии. Постепенно эти риски становятся основным вопросом футурологии, а в начале были случайным событием.

5. Вторая волна, связанная с осознанием угроз от биологического, нанооружия, искусственно сдвигаемых астероидов и других отдельных рисков. Роль фантастики в этом. Вторая половина 20 века. Деятельность Станислава Лема. «Непобедимый», «Сумма технологий», «Фантастика и футурология» и др. работы. Эрик Дрекслер «Машины созидания».

6. Появление обобщающих работ Азимова (1980), Лесли (1996), Мартина Риса (2003). Познера (2004).

7. Анализ логических парадоксов, связанных с глобальными рисками – Doomsday argument в разных формах. Лесли, Бостром, Готт, Кейв.

8. Развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Работы Пригожина, Ханзена и российских авторов Курдюмова, Малинецкого, Назаретяна и др.

9. Понимание связи между глобальными рисками и «Сингулярностью». Бостром, Юдковский, Капица, Панов. Чиркович в Сербии.

10. Статьи и книги с исследованиями отдельных рисков. Фрейтас «Серая слизь». Кэрриген «SETI хакер», Чиркович «Геоинженерия, пошедшая насмарку», «Doomsday men’ Смита, «Случайная ядерная война» Блера.

11. Возникновение методологии анализа глобальных рисков. Переход от перечисления рисков к метаанализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Работы Бострома и Юдковского. Сборник «Риски глобальной катастрофы» в Оксфорде.

12. Возникновение общественных организаций, пропагандирующих защиту от глобальных рисков. Lifeboat Foundatation. Фильм Technocalipsis.

13. Исследование вопроса в России. Абрамян «Судьба цивилизации», Д. Медведев в Российском Трансгуманистическом Движении (РТД). Интернет-проект А.Кононова о неуничтожимости цивилизации. Мои переводы. Статьи в сборнике ИСА РАН.

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, затем осознание ещё нескольких глобальных рисков, затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий.

Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы.

1.6. Уровни возможной деградации.

Хотя в этой книге мы исследуем глобальные катастрофы, которые могу привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут просто отбросить человечество сильно назад. Будучи отброшенным назад, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости, о чём мы подробнее будем говорить позже. Однако при перечислении возможных однофакторных сценариев мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.

В зависимости от тяжести произошедшей катастрофы, могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы тоже иногда будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно выделить несколько возможных ступеней отката:

1. Откат общества назад, как после распада СССР или краха Римской империи. Здесь происходит значительное прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Производство и применение очень опасных вооружений может продолжаться – что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно и займёт от десятков до сотен лет.

2. Значительная деградация общества, отчасти как в современном Афганистане, где люди умеют только сеять мак и стрелять из автомата Калашникова. Утрата государственности и распад на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир» и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт скорее случайно – в результате эпидемий, загрязнения среды, случайного применения оружия, сила которого неочевидна.

3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одно стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, определённо продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены изо всех сил бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.

4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству как Адам и Ева. Даже группа, где есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство, перевешивают способность к нему – например, если дети рождаются всё более и более больными. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.

Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, которые находятся вне обычной среды. И находятся они там или нарочно, или случайно, если отдельные группы людей случайно уцелели в неких замкнутых пространствах. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии.

Возможны и промежуточные фазы постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более глубокого уровня есть ещё больше шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне родо-племенного строя, когда опасные технологии уже разрушились, последствия их применений выветрились, а новые технологии ещё не созданы и не могут быть созданы

Если представить себе следующую схему: прогресс – государство – общество - группа людей – отдельный человек, – то отход на каждый следующий уровень деградации означает потерю одного элемента слева от этого списка. И чем ниже мы по этому списку, тем более зависимы от природы и различных случайных факторов. Уровни постапокалиптического мира различаются и тем, что будет главной ценностью в нём. Варианты: золото – патрон – еда – способная к деторождению женщина.

При этом неверное думать, что откат назад – это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень XIX века, или уровень XV века. Деградация технологий не будет линейной и одновременной. Например, такую вещь, как автомат Калашникова, забыть будет очень сложно. Даже в Афганистане местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации от будущего к прошлому. Иначе говоря, если технологии разрушения буду деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.

Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно употреблять исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание всё более нижнего уровня требует всё меньшего числа людей, и он всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода «утряски» после катастрофы.

Тут возможны следующие базовые варианты (отчасти аналогичные предыдущей классификации):

1. «Уровень 19 века» - железные дороги, уголь, огнестрельное оружие и всё. Уровень самоподдержания требует, вероятно, десятков миллионов человек.

2. Уровень «средневековья» - этот уровень соответствует уровню «сельскохозяйственных» государств и в широком смысле включает в себя как классические рабовладельческие государства, так и позднесредневековые. То есть в данном контексте важно не наличие или отсутствие рабства, а использование мускульной силы животных, сельского хозяйства, разделение труда, наличие государства. Уровень самоподдержания требует, вероятно, от тысяч до миллионов людей.

3. Уровень племени. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число 10-1000 человек.

4. Уровень стаи или «маугли». Полная утрата человеческих навыков, речи, при сохранении в целом генофонда. 1-100 человек.

РАЗДЕЛ 2. ОДНОФАКТОРНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

В этом разделе мы рассмотрим классическую точку зрения на глобальные катастрофы, которая состоит в перечислении списка ни как не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательно, так как оно не рассматривает многофакторные и немгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является статья Бострома «Угрозы существованию».

Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы отвергнем эти факторы. Глобальные риски, создаваемые человеком, делятся на две категории: риски, связанные с новыми технологиями, и социальные видовые риски (к последним относятся те риски, которые не связаны с новыми технологиями: исчерпание ресурсов, перенаселение, утрата фертильности, накопление генетических мутаций, вытеснение другим видом, моральная деградация, социальный и экономический кризис).

Технологические риски различаются по степени готовности их «элементарной базы». Одни из них технически возможны в настоящий момент времени, тогда так другие требуют в разной степени длительного развития технологий и, возможно, некий принципиальных открытий.

Соответственно, можно выделить три категории:

А) риски, для которых технология полностью разработана (ядерное оружие) или требует незначительно доработки.

Б) риски, технология для которых успешно развивается и не видно никаких теоретических препятствий для её реализации в обозримом будущем (биотехнологии).

В) риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски – весомая часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий.

Значительная часть рисков находится между пунктами Б и В, так как с точки зрения одних исследователей речь идёт о принципиально недостижимых или бесконечно сложных вещах, а с точки других – вполне технологически реализуемых (нанороботы и искусственный интеллект). Принцип предосторожности заставляет нас выбирать тот вариант, где они возможны.

2.1. АТОМНОЕ ОРУЖИЕ.

Классическим примером угрозы существованию человечества является угроза ядерной войны. Обычно о ядерной войне говорят, что она приведёт к «уничтожению всей земной жизни». Однако, судя по всему, это утверждение является натяжкой. Ядерное оружие имеет три фактора глобального поражения – непосредственный удар по всей площади Земли, радиоактивное заражение всей Земли и ядерная зима. Далее мы покажем, что хотя каждый из этих эффектов может в исключительных обстоятельствах привести к человеческому вымиранию, обычная ядерная война не должна к ним привести, хотя жертвы будут огромны.

Оценим, какое количество боеголовок нужно, чтобы уничтожить всех без исключения людей, если они будут равномерно и одновременно применены по всей поверхности Земли. Для почти полного уничтожения людей на суше потребуется не менее ста тысяч боеголовок мегатонного класса. (Если считать, что одна боеголовка поражает площадь в 1000 кв. км, что вероятно, завышено. Гарантированное уничтожение потребует гораздо большего числа зарядов, поскольку даже под эпицентром взрыва в Хиросиме были выжившее – в 500 метрах от точки взрыва.) В тоже время огромные участки суши необитаемы. Итак, 100 000 боеголовок поставят людей на грань вживания, хотя и не уничтожат всех людей гарантировано, так как останутся корабли, самолёты, случайные выжившие и подземные убежища. Следует отметить, что на пике холодной войны ведущие державы обладали количеством боеголовок порядка 100 000, а накопленные запасы плутония (2000 тонн, хотя не весь он «оружейный» - то есть чистый) позволяют произвести до миллиона боеголовок. Вместе с тем ни один сценарий ядерной войны не предполагает равномерного удара по всей площади планеты. Даже если возникнет цель всепланетного самоубийства, найдутся способы попроще. С другой стороны, теоретически возможно создать такое количество бомб и средств доставки, чтобы нанести удар по всей территории планеты.

Однако ядерная война создаёт два следствия – ядерную зиму и радиоактивное заражение.

2.1.1. Ядерная зима.

В отношении ядерной зимы есть два неизвестных фактора – во-первых, насколько она будет длительной и холодной, а во-вторых, в какой мере ядерная зима означает вымирание человечества. В отношении первого фактора есть разные оценки – от крайне суровых (Моисеев, Саган) до относительно мягких концепций «ядерной осени». Я полагаю, что риск ядерной зимы преувеличивается, так как ни пожары в Кувейте, ни Вторая мировая война не привели к сколько-нибудь значительному снижению мировой температуры. Однако принцип предосторожности заставляет нас рассмотреть наихудший случай.

Несмотря на распространенные представления, ни один из научных анализов ядерной зимы не означает полного вымирания человечества и, тем более, всей жизни на Земле. Это следует из того, что например, Финляндия имеет примерно десятилетний запас еды плюс топливо в виде лесов, печи и навыки вживания при зимних температурах. Чтобы действительно убить всех людей ядерная зима должна длиться более ста лет с антарктическими температурами. (Если считать, что ядерная зима будет единственным неблагоприятным фактором, что неверно.) Я не буду подробно пересказывать всю историю исследований и дискуссий о проблеме ядерной зимы, отмечу только, что, например, отчёт TTAPS (1990) предполагает падение температуры 22 градуса в средних широтах, если война произойдёт в июне в течение первых месяцев и на несколько градусов в течение 1-3 лет.

Возможны следующие варианты ядерной зимы:

1) Падение температуры на один градус, не оказывающее значительного влияния на человеческую популяцию. Как после извержения вулкана Пинатубо в 1991 году.

2) «Ядерная осень» – несколько лет пониженных на 2-4 градуса температур, неурожаи, ураганы.

3) «Год без лета» – интенсивные, но относительно короткие холода в течение года, гибель значительной части урожая, голод и обморожения в некоторых странах. Это уже происходило после крупных извержений вулканов в VI веке нашей эры, в 1783г, в 1815г.

4) «Десятилетняя ядерная зима» – падение температуры на всей земле на 10 лет на 30-40 градусов. Этот сценарий подразумевается моделями Моисеева-Сагана. Выпадение снега на большей части земли, за исключением некоторых экваториальных приморских территорий. Массовая гибель людей от голода, холода, а также оттого, что снег будет накапливаться и образовывать многометровые толщи, разрушающие строения и перекрывающий дороги. Гибель больше части населения Земли, однако миллионы людей выживут и сохранят ключевые технологии. Риски – продолжение войны за тёплые места, неудачные попытки согреть Землю с помощью новых ядерных взрывов и искусственных извержение вулканов, переход в неуправляемый нагрев ядерного лета. Однако даже если допустить этот сценарий, окажется, что мирового запаса рогатого скота (который замёрзнет на своих фермах и будет храниться в таких естественных «холодильниках») хватит на годы прокорма всего человечества, а Финляндия, например, имеет стратегический запас еды (зерна) на 10 лет.

5) Новый ледниковый период. Получается из предыдущего сценария за счёт того, что отражающая способность Земли возрастает за счёт снега, и начинают нарастать новые ледяные шапки от полюсов и вниз, к экватору. Однако часть суши у экватора остаётся пригодной для жизни и сельского хозяйства. В результате цивилизации придётся радикально измениться. Трудно представить огромные переселения народов без войн. Много видов живых существ вымрет, но большая часть разнообразия биосферы уцелеет, хотя люди будут уничтожать её ещё более безжалостно в поисках хоть какой-либо пищи.

6) Необратимое глобальное похолодание. Оно может быть следующей фазой ледникового периода, при развитии событий в наихудшем случае. На всей Земле на геологически длительное время устанавливается температурный режим, как в Антарктиде, океаны замерзают, суша покрывается толстым слоем льда. (Или как на Марсе – холодная сухая пустыня. Кстати, если все парниковые газы из атмосферы Земли исчезнут, то равновесная температура поверхности составит минус 23 С.) Только высокотехнологичная цивилизация, способная строить огромные сооружения подо льдом, может пережить такое бедствие, но такая цивилизация могла бы найти способ обратить вспять этот процесс. Жизнь уцелеет только около геотермальных источников на морском дне. Последний раз Земля вошла в это состояние примерно 600 млн. лет назад, то есть до выхода животных на сушу, и смогла выйти из него только благодаря накоплению СО2 в атмосфере (гипотеза Snowball Earth http://ru.wikipedia.org/wiki/Snowball_Earth). В то же время за последние 100 000 лет было четыре обычных оледенения.

Хотя варианты 5 и 6 относятся к самым маловероятным, они несут в себе наибольший риск. Эти варианты могли бы быть возможны при экстраординарно большом выбросе сажи и при наихудшем раскладе неизвестных нам природных закономерностей.

Если бы некая сила задалась целью устроить ядерную зиму нарочно, то она может её организовать, взорвав водородные бомбы в каменноугольных шахтах. Это даст неизмеримо больший выброс сажи, чем атака на города. Если установить водородные бомбы с таймером на разные сроки, то можно поддерживать ядерную зиму неограниченно долго. Теоретически, таким образом можно достичь устойчивого состояния «белого холодного шарика», отражающего весь солнечный свет, с полным вымерзанием океанов, которое станет самоподдерживающимся состоянием. Менее жесткий вариант подразумевает начало нового ледникового периода за счёт того, что в течение нескольких лет снег летом не будет таять, и начнётся самоподдерживающийся рост ледников. Возможно, это уже бывало после «вулканических зим».

С другой стороны, когда сажа осядет, Земля окрасится в чёрный свет, и её способность нагреваться в солнечных лучах резко возрастёт. Такое ядерное лето может принять необратимый характер (с учётом остальных факторов глобального потепления) с переходом в «венерианскую» фазу нагрева. Есть и другие факторы, которые могут привести к ядерному лету после или вместо ядерной зимы, например, выброс большого количества парниковых газов при взрывах. Ядерное лето гораздо опаснее ядерной зимы, так как человек легче переносит охлаждение, чем нагрев (то есть, если принять комнатную температуру за 20 градусов, то человек вполне переносит мороз на улице в минус 50, то есть на 70 градусов ниже, но сможет выдержать подъём температуры не более чем, на 30 градусов, то есть не больше 50 С на улице). Кроме того, системы обогрева работают индивидуально (лес + печка), а холодильники требуют наличия устойчивой централизованной инфраструктуры (производство холодильников + электроэнергия). Хранение продуктов питания при резком потеплении станет невозможно – они сгниют и сгорят. Поэтому, если у человечества будет выбор, то ему следует выбирать глобальную зиму, а не глобальное лето.

Инициация извержения сверхвулкана с помощью ядерного оружия также приведёт к аналогу ядерной зимы – к вулканической зиме. Опасны попытки людей исправить ситуацию с помощью искусственной ядерной зимы или искусственного ядерного лета, которые могут только усугубить проблемы за счёт перехода климата в режим раскачки, по модели запаздывающего управления фон Неймана.

Обращу внимание на то, что точная вероятность и продолжительность ядерной зимы и её последствий невычислима по причинам, которые обсуждаются в главе «невычислимость». Это происходит, потому что мы по определению не можем поставить эксперимента, а также точно определить, насколько Моисеев и Саган были заинтересованы преувеличить опасность ядерной зимы, чтобы избежать войны. То есть хотели ли они создать само-несбывающееся пророчество.

2.1.2. Полное радиоактивное заражение.

Следующий сценарий – глобальное радиоактивное заражение. Наиболее известный сценарий такого заражения – это применение кобальтовых бомб, то есть бомб с повышенным выходом радиоактивных веществ. Кобальтовые бомбы представляют собой водородные бомбы, окружённые оболочкой из кобальта-59, превращающегося в радиоактивный изотоп кобальт-60 . Проект бомбы, способной заражать целые континенты, предложил Лео Сцилард в 1950 году. Однако 1 грамм кобальта имеет радиоактивность порядка 50 кюри. Если распылить 1 грамм на 1 кв.км, то этого недостаточно для гарантированной смерти всех людей, хотя и потребует эвакуации с этой территории по современным нормам безопасности. Кобальт имеет период полураспада 5,26 лет, поэтому загрязнение, создаваемой им, будет длительным, и его будет трудно пересидеть в бункере. Тем не менее, даже такое заражение потребует 500 тонн кобальта на всю Землю. Косвенно это количество можно оценить в 100 бомб типа «Кузькиной матери» - Царь-бомбы в 50 мегатонн, взорванной в 1961 году. Если бы на этой бомбе была бы урановая оболочка, она дала бы дополнительные 50 мегатонн, и мощность взрыва составила бы 100 мегатонн, но оболочка была заменена на свинцовую. Масса прореагировавшего урана, которая дала бы такой выход энергии, который составляет 50 мегатонн, примерно равна 5 тоннам. Можно предположить, что если бы эта бомба имела кобальтовую оболочку, она дала бы примерно 5 тонн радиоактивного кобальта. По другим оценкам, проводившимся в США после выступления Лео Сцилларда о возможности истребления жизни на Земле с помощью кобальтовой бомбы, выяснилось, что это действительно возможно, но устройство должно быть в 2,5 раза тяжелее линкора «Миссури» . Водоизмещение «Миссури» – 45000 тонн. Возможно, что это исследование проводилось до создания водородной бомбы. Итак, мы получаем две оценки веса этого устройства – 2700 тонн и 110 000 тонн. Разница между ними не так принципиальна с точки зрения вопроса, возможно ли такое устройство и сколько оно будет стоить. Поскольку вес обычных энергетических реакторов составляет несколько тысяч тонн, то реально сделать устройство, весящее и 100 000 тонн, как 20 реакторов. Если один реактор стоит около миллиарда долларов по современным ценам, то такое устройство будет стоить порядка 20 миллиардов. Эта сумма меньше военного бюджета США в 20 раз. Другой ориентир: вес реактора ИТЭР – 30 000 тонн, цена 12 миллиардов долларов. Итак, создание атомной бомбы судного дня технически реально для крупного государства, обладающего ядерной программой, и потребует нескольких лет работы.

Не менее опасен печально знаменитый изотоп полоний-210. Он является гораздо более мощным источником, чем кобальт, так как имеет меньший период полураспада (в 15 раз примерно). И он обладает способностью накапливаться в организме, поражая изнутри, что повышает его эффективность ещё примерно в 10 раз. Смертельная его доза – около 0,2 мкг . Это означает, что полное смертельное заражение Земной поверхности потребует только сто тонн (или сотен килограмм в худшем случае – если учесть его способность накапливаться в организмах, а также повторное отравление за счёт высокой концентрации в среде – то есть сколько выводится, столько и вводится) этого опасного вещества. Неизвестно, сколько водородных бомб нужно взорвать, чтобы наработать такое количество вещества. (В обычных атомных бомбах выход радиоактивных элементов измеряется килограммами, но в специальных водородных бомбах, окружённых толстыми оболочками, позволяющих уловить все нейтроны, он может достичь, по моим очень неточным прикидкам, тонны. Однако тяжёлую эффективную бомбу невозможно поднять высоко воздух, где гарантировано качественное распыление, поэтому реальный выход от бомбы можно снижать смело до 100 кг. Значит надо или облегчать бомбу, или смириться с потерей большей части радиоактивного выхода в грунте на месте взрыва. Это означает, что для производства такого эффекта нужно взорвать 1000 полониевых (то есть с оболочкой из висмута-209) бомб мегатонного класса.)

При этом известно, что в объёме мирового океана растворено постоянно около 180 кг полония, образующегося из распада урана – однако это количество равномерно распределено по объёму толщи воды и не представляет угрозы для живых существ.

Требуются более точные подсчёты, учитывающие скорости осаждения радиоактивного вещества из атмосферы, вымывания его в океан, распада, связывания и сродства с элементами в человеческом теле, а также способности людей мутировать и приспосабливаться к радиации, чтобы определить минимальное количество какого изотопа приведёт к вымиранию всех людей на Земле – или к длительной непригодности всей суши для сельского хозяйства и невозможности в связи с этим вернуться в доиндустриальную фазу развития или неизбежности деградации на ней. (Что может быть на два-три порядка меньше по уровню радиации.)

Для того чтобы радиоактивное вещество распространилось достаточно далеко, бомба должна взрываться на высоте 10-20 км, а чтобы бомба была достаточно мощной, она должна быть тяжёлой. В конечном счёте, такая машина смерти может представлять собой стационарное устройством весом в тысячи тонн, с выходом взрыва в сотни мегатонн, в ходе которого образуются тонны опасного изотопа, выбрасываемые силой взрыва высоко в воздух.

Кроме того, короткоживущий изотоп можно пересидеть в бункере. Теоретически возможно создание автономных бункеров со сроком самообеспечения в десятки лет. Гарантированное вымирание можно получить, смешав долгоживущие и короткоживущие изотопы. Короткоживущие уничтожат большую часть биосферы, а долгоживущие сделают землю непригодной для жизни теми, кто пересидит заражение в бункере. (Подробнее о бункерах см. в соответствующей главе.)

2.1.3. Сверхбомба.

После испытания «Царь-бомбы» в 1961 году на Новой Земле с выходом в 58 мегатонн, были разработки более мощных бомб с выходом в 200 и даже 1000 мегатонн, которые предполагалось транспортировать на судах к американским берегам и вызывать с их помощью цунами. Это значит, что, вероятно, появились технические возможности неограниченно наращивать взрывную силу бомбы, добавляя, возможно, слои в конструкцию «слойки». Наилучший массовый коэффициент бомб составляет порядка 6 мегатонн на тонну веса бомбы.

Важно также отметить, что Царь-бомба была испытана всего через 12 лет после взрыва первой атомной бомбы. Это говорит о том, что и другим державам может потребоваться относительно небольшой срок для перехода к огромным бомбам. Если сопоставить массовый коэффициент бомбы с массой ядерных реакторов порядка нескольких тысяч тонн, то становится понятно, что верхний предел сверхбомбы, которую сейчас можно сделать составляет около ста гигатонн. Этого недостаточно для уничтожения всех людей силой взрыва, поскольку при падении астероидов выделялась энергия в тысячи раз больше. (См. главу о воздействии гигантских взрывов.) Взрыв сверхбомбы в каменноугольном пласте вызовет длительную ядерную зиму, сочетающуюся с сильным радиоактивным заражением. Несколько десятков сверхбомб, размещённых в разных местах Земли, могут покрыть своим поражающим ударом всю территорию планеты.

Есть также гипотетические предположения (Бор), что взрыв мощной водородной бомбы в толще океана может вызвать горение дейтерия в морской воде. Вероятность этого невелика, но такие опыты, насколько я знаю, не проводились.

2.1.4. Накопление антиматерии.

Станислав Лем как-то сказал, что он больше боится антиматерии, чем Интернета. Максимальная массовая эффективность ядерного заряда равна 6 мегатонн на тонну веса, что соответствует примерно 0,6 кг антиматерии. Но для антиматерии тоже понадобятся специальные ловушки, которые должны много весить. Кроме того, очень трудно обезопасить антиматерию от случайного взрыва, тогда как обезопасить атомную бомбу легко. Наконец, нужно масса энергии на наработку антиматерии. В силу этого я полагаю, что нет смысла делать бомбы огромной мощности из антиматерии – да и мощности имеющихся атомных боеприпасов достаточно. Также нет смысла делать заряды из антиматерии малой мощности, так как с этими задачами справятся бомбы объёмного взрыва. Поэтому я полагаю маловероятным накопление антиматерии в военных целях. Только если будут сделаны некие новые принципиальные физические открытия, антиматерия будет представлять опасность. Антиматерия будет давать выход радиоактивных элементов за счёт столкновения атомов разных атомных масс. Опасно применение антиматерии в глубоком космосе, где можно собрать огромную массу антиматерии в виде некого метеорита (пользуясь наличием вакуума) и направить её незаметно на Землю.

2.1.5. Дешёвая бомба.

Есть также опасность принципиального удешевления ядерного оружия, если удастся запускать самоподдерживающуюся термоядерную реакцию без инициирующего ядерного заряда – с помощью химической имплозии (цилиндрической), лазерного поджигания, магнитного сжатия, электрического разряда и небольших порций антиматерии, применённых в некой комбинации. Другой фактор – удешевление производства при использовании наработок нанотехнологий – то есть высокоточное и дешёвое производство с помощью микророботов. Третий фактор – обнаружение новых способов выделения урана из морской воды и его обогащения.

Есть также риск, что мы существенно недооцениваем простоту и дешевизну ядерного оружия, а, следовательно, и его количество в мире. Любые открытия в области холодного ядерного синтеза, управляемого ядерного синтеза на токамаках, доставки гелия-3 из космоса, превращения элементов – упростят и удешевят производство ядерного оружия.

2.1.6. Равномерная атака на радиационные объекты.

Ещё одним способом устроить конец света с помощью ядерного оружия является атака крылатыми ракетами (баллистические не имеют достаточной точности) всех ядерных реакторов и особенно хранилищ отработанного ядерного топлива на планете. Хотя вряд ли удастся возбудить цепную реакцию в нём, в воздух выделятся огромные количества радиации. «По оценке МАГАТЭ, к 2006 году из энергетических реакторов (а их в мире свыше 400) выгружено около 260 тыс. тонн ОЯТ, содержащих более 150 млрд. Кюри радиоактивности» и «К 2006 году страны мира накопили около 260 тыс. тонн ОЯТ, а к 2020 году его количество составит не менее 600 тыс. тонн» . То есть в XXI веке количество радиоактивных отходов будет расти как линейно, за счёт накопления, так и за счёт введения в строй новых реакторов.

Это даёт, при равномерном распылении, 150 млрд кюри – 300 кюри на квадратный километр земной поверхности. Это далеко за пределами норм отселения и запрета на сельское хозяйство по чернобыльской практике. При грубом пересчёте (эмпирическая формула – 1 кюри на квадратный метр даёт 10 рентген в час) это даёт активность – 3 мили рентгена в час. Этого недостаточно для мгновенной смертности, так как составляет только примерно 2 рентгена в месяц, а максимально допустимая безопасная доза – 25 рентген – наберётся только за год. Однако такая местность надолго (в ОЯТ много долгоживущих элементов, в том числе плутония) непригодна для сельского хозяйства, поскольку в растительности и животных эти вещества накапливаются и при внутреннем потреблении дают в 10 раз более сильный удар по организму. Иначе говоря, выжившие люди никогда не смогут заниматься сельским хозяйством и будут обречены на постепенную деградацию от болезней. Всё же гарантированного вымирания здесь не б будет, так как люди - существа очень приспособляемые и живучие – если не вмешаются ещё какие-нибудь факторы.

Крайне важно учитывать степень сродства радиоактивных веществ и человеческого организма. Например, после ядерных аварий принимают именно йодные таблетки, так как именно йод интенсивно улавливается и накапливается щитовидной железой.

2.1.7. Взрыв мощных бомб в космосе.

Если земная технология шагнёт в космос, мы рискуем подвергнуться атаке от своих собственных колоний. В конце концов, все колонии в истории Земли рано или поздно восставали против своих метрополий. (США выросли из английской колонии). Риск состоит во взрыве нескольких десятков гигатонных бомб на низких орбитах, которые просто прожарят Землю своим излучением. Однако в случае такой атаки всё равно будут выжившие: шахтёры, подводники, спелеологи. (Хотя могут выжить только одни мужчины, и род людей на этом закончится, так как в природе мало подводников и шахтёров-женщин. А спелеологи бывают.) По эффекту воздействия получится искусственный гамма-всплеск.

2.1.8. Интеграция поражающих факторов ядерного оружия.

Умеренная по масштабам ядерная зима, сопровождающая умеренным радиоактивным поражением, может дать «синергетический» эффект, который превосходит по силе даже самую мощную ядерную зиму, взятую в отдельности. Например, в случае «чистой» ядерной зимы люди смогут многие годы питаться скотом, который замёрз у себя в стойлах и сохранился. В случае радиоактивного заражения такой возможности не будет. Всемирная взрывная волна выбьет все стёкла и сделает более сложной защиту от радиации и холода. Топить радиоактивным лесом будет опасно. Эти факторы будут усилены разрушением наиболее ценных объектов за счёт прямого действия поражающих факторов ядерного оружия.

2.1.9. Стоимость.

Если поделить стоимость всей ядерной программы США на всё количество произведённых бомб, то средняя цена заряда будет от 1 до 40 миллионов долларов – смотря как считать. См. статью А. Анисимова «Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США». Если для полного радиационного заражения Земли нужно 1000 бомб с оболочкой из кобальта, то такой проект будет стоить порядка 40 млрд. долларов. Это – десятая доля бюджета Пентагона или цена крупной нефтяной корпорации. Если говорить точнее – это одна тысячная от годового мирового ВВП. По мере роста мирового ВВП и удешевления производства эта доля снижается, то есть всё дешевле создать такое оружие.

2.1.10. Вероятность данного события.

Более детально вопросы вычисления и учёта вероятностей различных глобальных рисков мы рассмотрим в отдельной главе. В отношении рисков вымирания в результате применения ядерного оружия надо сложить вероятность двух вариантов:

• классическая ядерная война, приводящая к вымиранию.

• неклассическое применение ядерного оружия как машины судного дня.

Первый вариант определяется произведением вероятности двух последовательных событий: вероятности полномасштабной ядерной войны между сверхдержавами и вероятности того, что эта война приведёт к вымиранию человечества.

Вряд ли одна из держав нападёт на другую нарочно, потому что это не даст ни политической, ни экономической, ни военной выгоды, но создаст риск ответного удара, распространения оружия массового поражения, утерянного в поверженной державе, а также риск войны с другими державами, обладающими ядерным оружием. Однако ядерная война между сверхдержавами может начаться случайно, а точнее, в результате сложной цепочки событий в духе детерминированного хаоса. Например, в ходе Карибского кризиса американцы полагали, что могут напасть на Кубу, так как там нет ядерного оружия русских. Советские военные имели там тактическое ядерное оружие, которое могли применять по своему усмотрению в зависимости от обстоятельств, но полагали, что американцы на них не нападут. То есть каждая сторона действовала правильно в рамках своих представлений и при этом полагала неправильными и невозможными действия другой стороны. Другой пример – по утверждениям в мемуарах в день смерти Брежнева на всякий случай весь подводный ядерный флот перевели в состояние полной боевой готовности. Если бы американцы ответили на это тем же, то могла бы начаться гонка, кто ударит первым.

Ядерные силы находятся под действием следующей антиномии:

А) Либо ядерные силы ни при каких обстоятельствах не могут совершить непреднамеренный запуск – то есть запуск, решение о котором позднее было бы признано неверным (если останется, кому признавать) – а это включает в себя опознание цели, информирование президента, принятие решения, доведение его до ракет и сам запуск и наведение ракет. Обратите внимание на различие между определениями «непреднамеренного запуска» и «случайного».

Б) Либо они должна суметь нанести ответно-встречный удар в условиях интенсивного информационного противодействия вероятного противника, а значит, находится в состоянии высокой боеготовности и автономности в принятия решений. От того, как решается это противоречие, зависит то, находятся ли ключи запуска на борт подводной лодки или высылаются на борт по радио из центра в случае чрезвычайной ситуации. Хотя то, как именно организовано управление СЯС в ведущих ядерных державах является величайшей военной тайной, исторически известно, что неоднократно выбирались варианты, когда ключ запуска был на местах, что соответствует пункту Б).

Можно придумать множество сценариев непреднамеренного начала ядерной войны. Например, самолёт с президентом внезапно сбивают. Поскольку система управления, а значит и связь с главнокомандующим является наиболее существенной частью системы обороны, то любые проблемы на этой линии будут восприниматься как начало атаки – именно поэтому после смерти Брежнева была высокая боеготовность.

Поскольку ядерной войны ни разу не было, это оказало разлагающее влияние как на общественные ожидания, так и, возможно, на нормы риска в военной сфере. Кроме того, растёт число стран, способных создать и создающих значительные ядерные арсеналы. Более того, террористическая ядерная атака тоже может стать спусковым крючком к войне, а её может организовать и малая страна. Всё это может нас подтолкнуть к идее, что риск ядерной войны постоянно растёт. Если мы его оценим в 0,5 процента в год (или в 50 процентов в 100 лет), то я думаю, это будет довольно неплохой оценкой. Однако сам этот риск может не «прожить» ста лет. Либо его сделают неактуальными ещё более мощные и опасные технологии, либо наоборот, человечество объединится и откажется от запасов ядерного оружия.

С другой стороны, обычная непреднамеренная ядерная война не приведёт наверняка к вымиранию человечества. Если её масштабы будут ограничены несколькими странами, то это будет ещё одно событие масштаба Второй Мировой войны. И тогда она не прервёт хода прогресса и существенно не изменит хода мировой истории.

Однако ядерная война может запустить цепочку событий, которая резко снизит уровень всего человечества, переведёт его на постапокалиптическую стадию, в котором оно будет уязвимо ко многим другим факторам вымирания. Например, война может стать перманентной, так как из чувства мести остатки воевавших стран будут производить и выпускать всё новые порции оружия, особенно, биологического, или строить и взрывать машины судного дня. При этом они будут подвергаться воздействию ядерной зимы и радиоактивных осадков неизвестной силы. Сумма всех этих факторов может поставить человечество на грань вымирания, а переход этой грани станет вопросом случая.

Ход событий в постапокалиптическом мире будет зависеть не только от последствий ядерной войны, но и от того, какие технологии там уцелеют и смогут развиваться и применяться. Это выходит за рассмотрение данной главы, поэтому мы можем сказать, что в наихудшем случае из ядерной войны получится постапокалиптический мир, способный к дальнейшей деградации. Шансы того, что цивилизация понизит свой уровень в результате ядерной войны, применим как 1 из 2.

Отсюда мы получаем, что наилучшее ожидание перехода в постапокалиптический мир в результате ядерной войны в XXI веке – 0,5х0,5 = 0.25 в том случае, если никакие другие процессы этому не препятствуют. Поскольку, однако, это событие должно быть «перекрыто», то есть станет невозможным из-за более сильных процессов в течении максимум 30 лет (об этом тоже будет отдельная глава), мы можем делить остаток на 3, то есть получим 8 процентов вероятности того, что в XXI веке мы попадём в постядерный мир с пониженным уровнем развития цивилизации. Вероятность того, что мы вымрем из этого постядерного мира ещё в несколько раз меньше и зависит от развития других факторов.

Шансы на то, что особенно сильная ядерная война непосредственно приведёт человеческому вымиранию, без фазы угасания в постапокалиптическом мире, я оценивая как ещё меньшие, поскольку для этого нужна исключительно сильная и нацеленная на уничтожение всех людей ядерная война плюс стечение многих неблагоприятных обстоятельств. Округляя до порядка, получим риск вымирания в результате последствий ядерной войны порядка 1%.

Теперь нам надо учесть вероятности нетрадиционного применения ядерного оружия. В настоящий момент ничего неизвестно о разработках машин судного дня на основе ядерного оружия (хотя отчасти сами ядерные силы можно считать им). В будущем могут появиться гораздо более дешёвые способы создать машину судного дня на основе биологического оружия. Поэтому думаю, что не будет ошибкой заявить, что шансы создания и применения машины судного дня на основе ядерного оружия по крайней мере в 10 раз меньше шансов самой ядерной войны.

Однако шансы вымирания всего человечества значительно выше от него, чем от ядерной войны, поскольку далеко не каждая ядерная война приводит к вымиранию! Фактически, если оружие судного дня применено, весь вопрос в том, сработает ли оно так, как задумывалось. (Если бы у Гитлера в бункере такое оружие было бы, он, вероятно, его применил – как харакири для всей страны.) Вероятность вымирания человечества в результате применения оружия судного дня в XXI веке я оценивая в величину тоже порядка 1%.

Возможна определённая интеграция боевого ядерного оружия и машины судного дня. В романе Шюта «На берегу» значительное применения тысяч кобальтовых бомб многими государствами приводит не к заражению отдельных стран, как это предполагалось, а к полному заражению всего мира. После открытия возможности ядерной зимы стало понятно, что современные ядерные ракеты могут быть оружием судного дня, если направить их на тысячи городов по всему свету. Точно также их можно направить на склады отработанного ядерного топлива, атомные станции, спящие вулканы и залежи каменного угля. То есть одно и тоже оружие может быть или не быть машиной судного дня в зависимости от данных команд.

2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени.

Считается, что в настоящий момент погодовая вероятность катастрофической ядерной войны уменьшилась, так как ядерные арсеналы СССР и США значительно сократились. Однако фактически вероятность применения ядерного оружия растёт, поскольку всё больше стран открыто заявляют о разработке ЯО (около 10), и, кроме того, другие страны, помимо РФ и США, обретают технические возможности и желание обзаводится арсеналом в тысячи зарядов (я имею в виду Китай, Пакистан и Индию). Затем, растёт число стран, развивающих мирную ядерную энергетику двойного назначения, то есть могущих в течение месяцев или нескольких лет приступить к производству ядерного оружия. Растут и шансы попадания расщёпляющих материалов в руки террористов.

Этот рост вероятности относительно линеен и довольно медлен, если только не будут изобретены способы принципиального удешевления производства ядерного оружия – молекулярное производство и методы термоядерного взрыва без уранового запала. Появление и – особенно – распространение знаний о таких методах резко увеличит количество ядерных боеприпасов в мире. Мы можем быть уверены сейчас, что ещё нет молекулярного нанотехнологического производства, но не можем быть уверены, что нет секретных способов прямой инициации термоядерного взрыва. Разумеется, если бы они были, сам факт их существования следовало бы держать в секрете. (Про атомную бомбу кто-то из американцев сказал: главная тайна ядерной бомбы в том, что её можно сделать.)

Распространение новых технологий, например ИИ и нано, может создать новые способы уничтожения ядерного оружия и предотвращения его применения. Однако если уж такое оружие будет применено, они не дают особой защиты от его поражающих факторов. В силу этого, мы должны сказать, что риск применения ядерного оружия пребудет с нами всегда, если только не будет вытеснено превосходящими по силе факторами.

Что касается оружия судного дня на основании ядерного оружия – вроде гигатонной кобальтовой бомбы, – то в настоящие момент мы могли бы считать риск его применения равной нулю, так как ничего неизвестно о разработке такого рода оружия. С другой стороны, если бы такая разработка производилась, то она была бы большим секретом, так как страна, открыто разрабатывающая оружие судного дня, немедленно подверглась бы нападению. Я полагаю, что эта вероятность неравна нулю и тоже растёт, но очень монотонно и медленно. В случае начала новой мировой войны она может существенно возрасти. Иначе говоря, война (или угроза такой войны), которая ведёт к полному завоеванию ядерной державы, с высокой вероятностью приведёт к применению или угрозе применения оружия судного дня как последнего аргумента. Опять же разработка новых ядерных технологий, удешевляющих производство, увеличивает и шансы создания ядерного оружия судного дня. Возможно, лет через десять оно будет доступно так называемым странам-изгоям.

2.1.12. Стратегия сдерживания под вопросом.

Возможно, ядерное сдерживание как фактор предотвращения войны переоценивается. То, что является выигрышной стратегией в краткосрочной перспективе, может быть проигрышной в долгосрочной. То есть войны сверхдержав стали реже, но масштаб последствий от таких войн неизмеримо вырос. (Это доказано на исследования наводнений – в результате строительства плотин наводнения становятся значительно реже, но если уж плотину прорывает, то ущерб катастрофический (Юдковски 2007). В результате интеграл ущерба по времени не только не уменьшается, но даже и растёт при строительстве плотин.) И если ядерное оружие будет не у нескольких стран, а у всех без исключения, то война всех против всех не оставит ни одного уцелевшего уголка планеты. Механизм распространения конфликта может быть такой: если есть страны A,B,C,D и происходит ядерная война между A и B, то в выигрыше остаются страны С и D. Поэтому страны A и B могут быть заинтересованы, чтобы С и D тоже вступили в войну, и могут атаковать их частью сил. С и D, понимая это, могу ударить первыми. Это как с экономическими кризисами в современном взаимосвязанном мире – если падает биржа в одной стране, то падают биржи и во всех остальных странах.

Наконец, взаимное гарантированное уничтожение хорошо работает, когда есть только две сверхдержавы (по количеству ядерных зарядов). Но уже сейчас, а возможно и ранее, Китай стал третей, и возможно появление новых ядерных сверхдержав. Дж. Лесли отмечает, что уменьшение количества ядерных бомб в арсеналах не ведёт к снижению вероятности ядерной войны, поскольку требует, чтобы использовалась стратегия ответно-встречного удара, когда ракеты запускаются до того, как вражеские удары поразили цели, потому что после этого уцелевших 10% будет недостаточно для полноценного ответного удара. Стратегия ответно-встречного удара более уязвима к ложным срабатываниям, так как решение о ядерном ударе принимается только по косвенным признакам, которые могут содержать ошибки, и в условиях очень короткого временного промежутка, который исключает какое-либо размышление о природе поступивших сигналов. Фактически, это решение зависит не от людей, а от написанных ими заранее алгоритмов и инструкций, что размывает ответственность. Кроме того, ответно-встречный удар подразумевает постоянно высокий уровень боеготовности ракет, что, в частности, требует, чтобы ключи запуска находились не в центре, а у непосредственных исполнителей.

Повышение точности ракет также не гарантирует стабильность, так как даёт возможность первого обезоруживающего удара, и соответственно, может подтолкнуть более слабую сторону ударить первой до того, как она окончательно утратила преимущество. То же самое верно и для создания оборонительного щита вроде СОИ. Все приведённые стратегии ядерного противостояния не привязаны исключительно к ядерному оружию, но будут верны и при возникновении любых более мощных видов оружия, в том числе связанных с ИИ и нанотехнологиями. Подробнее эти вопросы можно изучить по книге «Снижение боеготовности ядерных сил России и США – путь к уменьшению ядерной угрозы» .

2.1.13. Выводы по ядерной войне.

Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями на тему, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку мы наблюдаем событие (отсутствие войны) не в случайный момент времени, а в относительно поздний по отношению к случайному (случайным для меня был момент моего рождения в 70-е годы). Переоценка связана с распространёнными представлениями о ядерной зиме и радиоактивном заражении как неизбежных причинах вымирания всего человечества после ядерной войны, а также в ответной реакции отвержения этих оценок, ведущих к занижению риска. Мы должны сказать, что хотя «обычная» ядерная зима и заражение, скорее всего, не приведут к полному вымиранию человечества сами по себе, но есть способы применить ядерное оружие особым образом, чтобы создать машину судного дня, которая истребит всех людей с высокой вероятностью.

2.2. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ.

Химическое оружие обычно не рассматривается в качестве оружия конца света. Это связано с тем, что для глобального заражения атмосферы требуются очень большие количества ядовитого вещества, а также с тем, что это вещество или химически неустойчиво, или легко вымывается из атмосферы. Глобальное химическое заражение может произойти из-за внезапной резкой дегазации земных недр, например, вскипания газовых гидратов под морским дном. Однако основной вариант – извержение сверхвулкана с большим выбросом газов. Сам процесс накопления углекислого газа в земной атмосфере за счёт сжигания ископаемого топлива тоже может считаться частью «дегазации недр». Другие возможные причины – крупная авария на химическом производстве, результат деятельности генетически модифицированных организмов в биосфере, и, наконец, сознательное применение химического оружия. В научной фантастике рассматривался вариант выпадения ядовитых химических веществ из ядра кометы. Основным фактором, превращающим химическое оружие в глобальную угрозу, является единство земной атмосферы. Поэтому в этой главе мы рассмотрим и ряд других факторов, действие которых распространяется через атмосферу.

В связи с этим полезно посчитать, какие количества и каких газов могут полностью отравить земную атмосферу. При этом понятно, что газам и ядам гораздо проще противостоять с помощью противогазов и убежищ, чем радиации и биоагентам. Для равномерного заражения всей Земли сильнейшим нервнопаралитическим газом VX потребовалось бы не менее 100 000 тонн этого реагента (если исходить из оценки одна смертельная доза на 1кв. метр, то есть 200 мкг). При этом в Первой мировой войне всего было использовано 120 000 тонн разных ОВ. Примерно столько же (94 000 тонн) было использовано гербицидов в войне во Вьетнаме. Современные мировые запасы отравляющих веществ оцениваются в 80 000 тонн, хотя точных данных по всем странам нет. При этом понятно, что химическое оружие не было приоритетным направлением, и его произвели гораздо меньше, чем могли бы. Понятно также, что вопрос равномерного распределения (то есть доставки) далеко не прост. Газ VX держится в холодном климате очень долго, но при жаре разлагается за несколько дней. Но теоретически получается возможным произвести и распространить миллионы тонн такого газа или подобного, и создать глобальную угрозу. (Особенно упростится эта задача с развитием генно-модифицированных организмов.)

Летальная доза токсина ботулизма – около 0,1 мкг. (Что означает, что чтобы убить каждого человека на Земле хватило бы нескольких сот грамм), но он очень неустойчив во внешней среде.

Летальная доза диоксина – около 1 мкг (есть разные оценки), однако он может десятки лет сохраняться в среде и накапливаться в организмах. Утечка примерно 25 кг диоксина в Севесо в Италии вызвала заражение 17 кв. км. Из этого можно прикинуть, что на полное заражение земли потребуется 500 000 – 1 000 000 тонн диоксина. Это равно объёму нескольких крупных нефтеналивных танкеров. Вероятно, промышленно развитая держава могла бы наработать такой объём за несколько лет.

Возможны также сценарии постепенного накопления в природной среде веществ, опасность которых в начале неочевидна. Так было с фреонами, разрушающими озоновый слой, и диоксинами. Возможно также накопление многих химикатов, которые по отдельности не дают большой летальности, но вкупе создают очень тяжёлый фон. Это обычно называется «неблагоприятная экологическая обстановка».

Другим вариантом является полное изменение химического состава атмосферы или утрата её свойств пригодности для дыхания. Для этого нужен некий мощный источник химических веществ. Им может быть земной вулканизм, о чём речь пойдёт далее. Другие кандидаты: газовые гидраты на дне океана – отравление метаном, водяной пар, если неким образом всю воду испарить (возможно при необратимом глобальном потеплении.)

Функциональная структура химической катастрофы состоит в отравление воздуха ядом или утрата атмосферой свойств способности поддерживать жизнь: то есть питать её кислородом, защищать от радиации, поддерживать нужный температурный режим. Химическая катастрофа угрожает земной биосфере даже больше, чем человеку, который может надеть противогаз, но без биосферы человек жить пока не может. Поскольку такая катастрофа носит относительно пассивный характер, то от неё относительно просто защитится в бункерах. Маловероятные варианты:

• Отравление диоксидом углерода сверх того предела, при котором человек может дышать без скафандра (маловероятно, так как нет такого количества полезных ископаемых – только в случае некой природной катастрофы). Однако большое количество CO2 может вырваться и из вулканов. Например, Венера окружена атмосферой из CO2 в сто раз более толстой, чем Земля, и, вероятно, большая часть этого вещества выделилась из недр, и по некоторым предположениям, относительно недавно. С другой стороны, на Венере нет углеродного цикла, как на Земле.

• Есть также предположение, что в результате восстановления оксида железа в недрах Земли может формироваться значительное количество небиогенного кислорода. И что через 600 миллионов лет он полностью отравит атмосферу . Ухудшить этот сценарий может такая ситуация, если где-то под поверхностью уже скопились большие количества этого или другого газа, и затем они вырываются на поверхность. Вырывающие на поверхность газы будут не только отравлять атмосферу. Они будут раскалены до тысячи градусов, так как везде в недрах горячо. И если произойдет массивный выброс газов (или воды), то он не только отравит атмосферу, но и стерилизует поверхность своим жаром. (Недавно была публикация о том, что глубоко под Землёй обнаружили «океаны воды», но на самом деле там речь идёт только о повышенной – 0,1% – концентрации воды в породах .)

• Катастрофическое выделение метана из газовых гидратов в тундре и на морском дне, что не только усилит парниковые свойства атмосферы, но и существенно отравит её .

• Другой вариант – выделение огромных количеств водорода из земных недр (есть предположения, что в центре Земли его много) – См. «Экологические аспекты дегазации Земли» . Это водород разрушает озоновый слой. Также возможно выделение огромных количеств нефти, если верна теория об абиогенном происхождении нефти и огромные количества углеводородов накопились глубоко в Земле. А бурение всё более глубоких скважин продолжается.

• Исчерпание кислорода в атмосфере в результате некого процесса, например, при окислении выделившегося из недр водорода. (Но сжигания топлива в течение тысяч лет недостаточно для этого.) Больше подходит внезапное выделение и сгорание большого количества горючего вещества. Или исчерпание кислорода в результате действие генетически модифицированных организмов, вышедших из под контроля, например, чего-то вроде азотофиксирующих бактерий. Наконец, в результате прекращения фотосинтеза при одновременно продолжении сжигания минерального топлива. «Подсчитано, что весь кислород земной атмосферы (1200 триллионов тонн) зеленые растения производят по геологическим меркам почти мгновенно - за 3700 лет! Но если земная растительность погибнет - свободный кислород очень быстро исчезнет: он снова соединится с органическим веществом, войдет в состав углекислоты, а также окислит железо в горных породах» . Мы имеем примерно миллион миллиардов тонн кислорода в атмосфере, плюс некоторое количество, растворенное в воде. Количество ископаемого топлива, которое мы окислили за всю историю или собираемся окислить, измеряется тысячами миллиардов тонн, то есть гораздо меньше. Но если мы подорвём способности биосферы к регенерации, а затем утратим технологии, то медленное уменьшение уровня кислорода будет глобальной катастрофой. По некоторым данным крупнейшее пермское вымирание было связано с резким падением уровня кислорода в воздухе по неизвестной причине (Дж. Лесли).

• Падение кометы с большим количеством ядовитых газов.

• Катализ окисления азота неким процессом, в результате чего весь кислород атмосферы сгорает, а по Земле проходит огненный вал. (Возможно, этого немного боялись при взрывах первых водородных бомб – что удастся запустить самоподдерживающийся процесс горения азота в земной атмосфере.)

• «Чёрный прилив» - отравление мирового океана разлитием большого количества нефти. Непосредственно не может убить людей, но может критически подорвать цепочки питания в биосфере и нарушить производство кислорода и поглощение углекислого газа (что ведёт к потеплению) и, в конечном счёте, перевести человечество в постапокалиптическую стадию. Возможны и другие варианты отравления мирового океана.

• Срыв атмосферы Земли. Что могло бы это вызвать – сильнейший взрыв, придающий большей части атмосферы вторую космическую скорость, солнечная вспышка или внезапное нагревание.

• Целенаправленное разрушение озонового слоя. Есть предположение, что можно создать озонное оружие, которое приведёт к очень эффективному каталитическому истреблению озонового слоя. Тем не менее, даже если поток солнечного ультрафиолета будет очень силён и опасен для людей, они смогут от него защититься с помощью зонтиков, плёнок, бункеров, скафандров и т. д. Тем не менее, на всю биосферу этого не хватит. Озоновый слой может быть разрушен и гамма-всплеском. «Троекратное ослабление озоновой защиты на несколько лет, предсказываемое расчётами, способно привести к истреблению большей части приповерхностного планктона в океанах, являющегося основой всей огромной пищевой цепи обитателей моря» . Особенно опасно, если ослабление озонового слоя совпадёт с ослаблением магнитного поля и сильной вспышкой на Солнце. Истощение озонового слоя принадлежит к числу процессов, которые цивилизация может запустить сейчас, а «вкусить плоды», возможно, придётся через десятки и сотни лет уже на менее способной к самозащите постапокалиптической стадии.

• Прокаливание атмосферы. Здесь я имею в виду не глобальное потепление, как комплексное постепенное явления, а кратковременное нагревание атмосферы до высоких температур в результате неких процессов. А.Портнов в статье «Как погибла жизнь на Марсе» предполагает, что магнитные красные пески (маггемит) на Марсе образовались в ходе бомбардировки планеты осколками её крупного спутника, что привело к нагреву до 800-1000 градусов, при котором происходит формирование таких минералов. Аналогичные отложения им обнаружены в Якутии, где 35 млн. лет назад упал крупный астероид диаметром около 10 км и оставил Попигайский кратер (а также, возможно, вызвал очередное крупное вымирание живых существ). Возможно, что при неких высокоэнергетичских событиях могут образовываться огромные плотные высокотемпературные облака, которые распространяются по поверхности на тысячи километров. Примером их могут быть пирокластические облака при извержении современных вулканов, которые двигаются по поверхности земли или моря с большой скоростью и на значительные расстояния и имеют внутри себя температуру порядка 1000 градусов. Поскольку такие облака непрозрачные, они медленно охлаждаются излучением. Другие возможные причины прокаливания – облучение (например, обломками астероида, выброшенными высоко в стратосферу и огненными шаром от взрыва) или очень тяжелый горячий газ (достаточно тяжёлый, чтобы не всплывать в воздухе – тяжелые углеводороды?)

• Автокаталитическая реакция в духе льда-9 из романа К. Воннегута «Колыбель для кошки». Пока нет никаких оснований думать, что такая реакция возможна.

Моя субъективная оценка вероятности глобального химического заражения – порядка 0,1% на весь XXI век. Эта вероятность сейчас особенно мала, так как нет таких технологий, и она будет убывать, когда достаточно разовьются средства молекулярного нанотехнологического производства, которые смогут быстро очистить атмосферу или хотя бы защитить людей от заражения (если они сами не вызовут такую катастрофу).

Вывод: хотя теоретическая возможность отравления всей атмосферы газами имеется, она перекрывается возможностью создания токсических и эпидемиологических биоагентов. Любая организация или государство, которое может стремиться к отравлению всей биосферы, гораздо проще и дешевле может это сделать с помощью генетического конструирования. Более того, человек может пережить такое отравление в бункере или нейтрализовать его противоядиями, возможно, сделанными с помощью биотехнологий. Тем не менее, внезапное и значительное отравление воздуха может быть фактором, который создаст один из вариантов постапокалиптического мира.

2.2.2. Выводы по рискам, технологии для которых уже готовы.

Исходя из того, что некий риск технологически готов, не следует сбрасывать со счётов неизбежность дальнейшего технологического совершенствования в этой области, а также вероятность принципиальных открытий в этой области или связанных с ней. При этом важно понимать, что опасности, создаваемые новыми технологиями, всегда больше, чем опасности от прежних технологий, хотя бы потому что любые новые технологии могут потенцировать эффективность прежних технологий.

2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий.

Здесь мы рассматриваем развитие технологий, как самодостаточную тенденцию, которая неподвержена никаким внешним кризисам и рискам. Очевидна односторонность этой точки зрения. Позже мы рассмотрим то, как реализация тех или иных больших и малых рисков может повлиять на развитие технологий и их способность порождать новые риски.

2.3. БИОЛОГИЧЕСКОЕ ОРУЖИЕ.

2.3.1. Общие соображения и основные сценарии.

Фактически, большая часть оборудования, необходимого для создания опасного биологического оружия, уже готова. Например, в конце 2007 года был предложен набор из базовых «кубиков» для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit .

Основная технологическая тенденция состоит в том, что био-оборудование постоянно дешевеет и распространяется по миру, тогда как знания о том, как использовать его во вред, возрастают. Постоянное удешевление и упрощение машин для секвенсирования и синтеза ДНК (то есть считывания и создания генетического кода), делает возможным появление биохакеров. Прогресс в области био-оборудования измеряется скоростью порядка 2 раза в год – то есть технические характеристики возрастают, а оборудование дешевеет. Нет никаких оснований думать, что темп развития биотехнологий замедлится – отрасль полна новыми идеями и возможностями, а медицина создаёт постоянный спрос, поэтому можно смело утверждать, что через десять лет возможности биотехнологий по основным численным показателям (цена секвенсирования/синтеза ДНК, например) возрастут в 1000 раз. При этом происходит интенсивная демократизация биотехнологий – знание и оборудование идёт в массы. Если для компьютеров уже написано более 100 000 вирусов, то масштабы творчества биохакеров могут быть не меньшими.

Основной однофакторный сценарий – это распространений некого одного вируса или бактерии. Это распространение может происходить двояко – в виде эпидемии, передающейся от человека к человеку, или в виде заражения среды (воздуха, воды, пищи, почвы). Эпидемия гриппа испанки 1918 г. затронула весь мир, кроме нескольких отдалённых островов. Вместе с тем, гипотеза об эпидемии, убивающей всех людей, сталкивается с двумя проблемами. Первое, это то, что если все люди быстро гибнут, то некому разносить вирус. Второе, это то, что при всех эпидемиях обычно находятся люди, которые имеют врождённый иммунитет к ней.

Возможен сценарий, когда по всему миру распространяется некое животное, являющееся носителем опасной бактерии. (Так в природе распространяется малярия на комарах и чума на крысах.)

Следующий вариант – это появление всеядного агента, который уничтожает всю биосферу, поражая любые живые клетки. Или хотя бы только растения или животных некого критического вида.

Ещё вариант – это бинарное бактериологическое оружие. Например, туберкулёз и СПИД являются хроническими болезнями, но при одновременном заражении человек сгорает за короткий срок. Один из страшных сценариев – СПИД, который распространяется также легко, как простуда.

Опасно возможно и двухступенчатое биологическое оружие. На первом этапе некая производящая токсин бактерия незаметно распространяется по всему миру. На втором, по некому сигналу или таймеру, она начинает производить этот токсин сразу повсюду на Земле. Некоторые микроорганизмы ведут себя так при атаке на крупный организм.

Следующий вариант оружия конца света – это распыление в воздухе больших количеств спор сибирской язвы (или подобного агента) в защитной оболочке (а такие оболочки уже давно имеются для боевых штаммов). Этот вариант не требует саморазмножающегося болезнетворного агента. Заражение сибирской язвой очень длительное – один остров в Англии дезактивировали 50 лет, - и для заражения не требуется больших количеств реагента. 1 грамм может заразить целое здание. (Например, устранение последствий загрязнения одним конвертом с сибирской язвой в США одного здания заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было снести – но снести было нельзя, так как при этом споры могли бы заново распылиться. То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.)

Однако опять же в пересчёте на земную поверхность мы получаем тысячи тонн. Но это число не является недостижимым – в СССР на полигоне в Аральском море было накоплено и брошено после распада СССР 200 тонн боевого штамма сибирской язвы. Его затем сожгли американцы. Однако если из-за природной катастрофы (смерч) это вещество развеялось бы высоко в воздух, то оно могло бы накрыть целые страны. Понятно, что производство сибирской язвы дешевле производства аналогичных количеств полония или кобальта-60.

Следующий опасный вариант биооружия – это агент, изменяющий поведение. Бешенство (агрессивность, укусы) и токсоплазма (утрата чувства страха) побуждают заражённых животных к поведению, которое способствует заражению других животных. Теоретически можно представить себе агент, который вызывал бы у людей наслаждение и стремление заражать им других. В кино этот вариант обыгран во множестве фильмов, где вирус превращает людей в вампиров. Но увы, в этой фантазии может быть доля правды. Тем более, если создавать такие вирусы буду шутники-хакеры, которые могут черпать в кино своё вдохновение.

Ещё один вариант биологической угрозы – это некая автокаталитическая молекула, способная неограниченно распространяться в природе. Коровье бешенство вызывается автокатализом особого белка, называемого прионом. Однако коровье бешенство распространяется только через мясо.

Отметим ещё вариант распространения по всей биосфере некого живого существа, вырабатывающего опасный токсин. Например, это может быть генетически модифицированный дрожжи или плесень, вырабатывающие диоксин или токсин ботулизма.

В качестве средства противостоянию этому предлагается создание всемирной иммунной системы – то есть распыление по всему миру множества генетически модифицированных бактерий, которые будут способны обезвреживать опасные реагенты. Однако здесь возможны новые опасности, например, «автоиммунные» реакции такого щита, то есть выход его из-под контроля. (См. далее главу о щитах.)

Ещё одним видом опасности является так называемая «искусственная жизнь», то есть живые организмы, построенные с использованием другого кода ДНК или набора аминокислот. Они могут оказаться непобедимыми для иммунных систем современных живых организмов и «съесть биосферу».

Более фантастическим вариантом биологической опасности является занесение жизни из космоса. Шансы этого учитывались, когда астронавты вернулись с Луны – их долго держали в карантине.

2.3.2. Структура биологической катастрофы

Структура биологической катастрофы может быть весьма замысловатой. В качестве иллюстрации приведу несколько цитат об одной потенциально опасной ситуации. (Из неё мы видим, как давно появились биологические угрозы, - а значит, насколько зрелой уже является эта опасность.)

«Генный кризис начался летом 1971 года. В это время молодой учёный Роберт Поллак в лаборатории Колд-Спринг-Харбор (на Лонг Айленде, штат Нью-Йорк, США), руководимой Д.Уотсоном, занимался проблемами рака. Круг научных интересов Поллака был широк. Он не только вёл исследования, но и преподавал студентам биологию и выступал в качестве ведущего радиопрограмм, посвящённых обсуждению возможных злоупотреблению в бионауках, в частности, зарождающейся тогда генной инженерии.

И вот Поллак узнаёт, что в другой лаборатории (в Пало-Альто, в Калифорнии) у Поля Берга планируются эксперименты по встраиванию ДНК онкогенного (могущего вызывать раковые заболевания) вируса SV 40 в геном кишечной палочки. Последствия таких опытов? А не возникнет ли эпидемия рака (было известно, что почти безвредный для обезьян, вирус SV 40 вызывает рак у мышей и хомяков)? Начинённые опасными генами бактерии, плодясь миллиардами за сутки, по мнению Поллака, могли бы представлять серьёзную опасность.

Поллак тут же позвонил П. Бергу по междугороднему телефону и спросил его, отдаёт ли он себе отчёт об опасности экспериментов? Не станут ли бактерии с генами вируса SV 40 биологической бомбой замедленного действия?

Этот телефонный разговор и был началом той тревоги, которая охватила молекулярных биологов. Берг отложил свои исследования. Он стал размышлять, может ли реально E.Coli со встроенными в неё SV 40 вызывать рак? Мучительные раздумья мало что прояснили. Чёткого ответа не было из-за скудности сведений, имеющихся у специалистов в то время» .

«Некоторые доклады учёных (в Алсиомаре, 1975) носили сенсационный характер. Так выяснилось, что в США в громадном масштабе был уже поставлен невольный эксперимент на человеке. Оказалось, что вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10 летний период, с 1953 по 1963 год эту заражённую вакцину привили примерно сотне миллионов детей. Причём проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, никакого увеличения частоты раковых заболеваний у этих детей выявлено не было» .

«Эдда Вест в своей статье "Полиомиелит", сообщает о связи вируса SV-40, которым заражались полиовакцины, с опухолями человека: "К концу 1996 г. десятки учёных сообщили об обнаружении вируса SV-40 в различных опухолях костей и мозга, которых стало больше на 30% за последние 20 лет. Затем итальянские учёные обнаружили SV-40 в семенной жидкости 45% и в крови 23% здоровых доноров. Это означало, что SV-40, очевидно, передавался половым путём и от матери ребёнку. Вероятно, ныне этот вирус встроен в наш геном.» Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создаёт далеко неочевидные угрозы.

Уже сейчас биологическое оружие считается одним из самых дешёвых – стоимость смерти в нём составляет несколько центов. С другой стороны, для производства современных реагентов вроде сибирской язвы в военных целях нужны большие защищённые лаборатории и полигоны. Оно может быть ещё дешевле, если учесть способность агента саморазмножаться. Уже сейчас подержанный секвенсор ДНК можно купить за сумму от 200 долларов, и с каждым годом цена этих устройств падает в разы, а качество растёт. См. текст «Биовойна для чайников» , в котором описан человек, не имеющий познаний в области биологии, который берётся вывести – и выводит - флуоресцирующую колонию дрожжей за небольшой срок и небольшую сумму денег. И затем он предполагает, что почти также просто можно было бы вывести опасный вариант.

Уже сейчас создание биологической супербомбы в тысячи раз дешевле, чем создания ядерного оружия сравнимой поражающей силы. Когда распространятся дешевые технологии производства произвольных живых организмов с заранее заданными функциями, цена изготовления такого оружия может упасть до несколько сотен долларов.

Часто говорят, что биологическое оружие не годится в военном деле. Однако у него может быть особое назначение – как оружие криптоударов в тылу врага и как универсальное оборонительное оружие – машина судного дня.

2.3.3. Саморазмножающейся синтезатор ДНК.

Биотехнологии могут потенцировать сами себя – то есть возможно возникновение промежуточных биологических форм, которые упрощают написание и выращивание новых вирусов. Например, это может быть культура бактерий, которая непосредственно переводит последовательность электрических сигналов в цепочку ДНК, или, наоборот, считывает ДНК и превращает эту информацию в цепочку вспышек света, которые может считывать компьютер. Само распространение такого устройства вместе с библиотекой кодов (в цифровом виде) основных вирусов и белков было бы катастрофой.

2.3.4. Множественный биологический удар.

Хотя распространение одной эпидемии, скорее всего, можно остановить, но эпидемию, вызванную несколько десятками видов разнородных вирусов и бактерий, вышедших из-под контроля одновременно во многих местах земного шара, остановить невозможно даже технически, потому что в человека невозможно одновременно ввести несколько десятков разных вакцин и антибиотиков – он умрёт. Если вирус с 50 процентной летальностью был бы просто очень большой катастрофой, то 30 разнородных вирусов и бактерий с 50 процентной летальностью означали бы гарантированное истребление всех, кто не спрятался в бункеры. (Или примерно 100 разных организмов с 10 процентной летальностью.)

Множественный удар мог бы быть и мощнейшим средством ведения биологической войны, и оружием судного дня. Но он может произойти и сам по себе, если одновременно произойдёт множество актов распространения биологических агентов – даже и случайных, например, в ходе активного «соревнования» биохакеров. Даже несколько по отдельности несмертельных агентов могут настолько ослабить иммунную систему человека, что дальнейшее его выживание станет маловероятным.

Именно возможность множественного применения биологического оружия делает его одним из самых значительных факторов глобального риска.

2.3.5. Биологические средства доставки.

Биологическое оружие должно быть не только смертельным, но и заразным и легко распространяющимся, чтобы представлять угрозу человечеству. Генетические технологии дают огромные возможности не только для создания летального оружия, но и для создания способов его доставки. Не нужно обладать великой фантазией, чтобы представить себе генетически модифицированного малярийного комара, который может жить в любой среде и с огромной скоростью распространиться по всей планете, вводя каждому попавшемуся некий биоагент. Или вошь. Или саранчу, заодно поедающую всё живое и распыляющее споры сибирской язвы. Но у будущих биоконструкторов будет гораздо больше фантазии.

Однако и бактериологическую войну можно пережить в бункере, хотя заражение от неё может быть более длительным, чем радиоактивное. Кроме того, переход на «механические тела», загрузка сознания в компьютер и освоение нанотехнологий резко снижают уязвимость «человека» к любым биологическим ядам и агентам, однако делают его уязвимым к другим саморазмножающимся агентам, таким как компьютерные вирусы и нанороботы.

В фантастике распространен образ атаки мутантов на последний человеческий бункер. Обычная радиация, однако, не способна порождать агрессивных мутантов. С другой стороны, в природе существует вирус бешенства (Neuroiyctes rabid), который влияет на поведение животных так, что они начинают его более активно распространять (укусами). Нетрудно представить себе более продвинутое изделие генно-инженерной техники, которое превращает любое животное в существо, агрессивно настроенное против человека. Сама фантастичность такого проекта может быть стимулом к его реализации, поскольку современная культура пропитана идеями про вампиров и зомби, возникающих в результате опытов в лабораториях (например, недавний фильм ‘Обитель зла’ – ‘Resident Evil’). Иначе говоря, идея изготовить зомби-вирус могла бы быть привлекательным вызовом для биохакера. При этом заражённые люди и животные обладали бы достаточным умом и техническими средствами, чтобы взломать разные виды защиты.

Похожий сюжет был с терактами 11 сентября, когда выяснилось, что голливудские фильмы были не фантастическими видениями, а самосбывающимися пророчествами. Иначе говоря, культура способна превратить крайне маловероятный сценарий в важную цель.

2.3.6. Вероятность применения биологического оружия и её распределение во времени.

Я оцениваю вероятность того, что биотехнологии приведут к вымиранию человечества (в условиях, когда их эффект не перекрывается другими технологиями) в десятки процентов. Эта оценка основана на предположении о неизбежном очень широком распространении очень дешевых устройств, позволяющих очень просто создавать много разнообразных биологических агентов. То есть столь же широком распространении биопринтеров, как сейчас обычных компьютеров.

Перечислю свойства опасного биопринтера (дешёвой минилаборатории) ещё раз:

1) неизбежность возникновения

2) дешевизна

3) широкая распространённость

4) неконтролируемость властями

5) способность осуществлять разработку принципиально новых биоагентов

6) простота применения

7) разнообразие создаваемых объектов.

Я полагаю, что устройство, удовлетворяющее эти требованиям, будет состоять из обычного компьютера, пиратски распространяемой программы с библиотекой исходных элементов, и собственно биологической части биопринтера, которая будет генетически модифицированным живым существом, то есть способна к саморазмножению. (Плюс набор относительно доступного оборудования, вроде сосудов для химреактивов и система связи биологической части с компьютером.) Каналом распространения этого комплекта могут быть преступные сообщества, производящие наркотики. Поскольку компьютеры уже доступны, а и программа, и сам живая часть биопринтера способны к неограниченному копированию, то цена этого устройства в сборе будет неограниченна мала, а привлекательность крайне велика, что сделает очень сложным контроль.

Кустарно изготовляемые биопринтеры – неединственный способ создать биологическую опасность. То же самое произойдет и при распространении неких стандартных компактных минилабораторий по биосинтезу (вроде ДНК-синтезаторов), или при сетевом производстве биологических компонентов, которое уже имеет место, когда ингредиенты заказываются в разных фирмах по всему миру.

Вероятность глобальной катастрофы с участием биопринтеров будет очень быстро возрастать по мере совершенствования таких устройств и их распространения. То есть мы можем описать плотность вероятности в виде некой кривой, которая сейчас соответствует малой, но уже не нулевой величине, но через некоторое время взмывает до очень большой величины. При этом интересна скорее не точная форма этой кривой, а то время, когда она начнёт резко расти.

Я оцениваю это время в величину порядка 10-15 лет от 2007 года (2017-2022). (Независимая оценка дана сэром Мартином Рисом, который в 2002 году делал ставку в 1000 долларов, что до 2020 года произойдёт биотерракт с миллионом жертв, хотя и надеется проиграть .) Эта оценка основана на анализе планов индустрии по удешевлению полного распознавания человеческой ДНК – по этим планам, к 2015 году такое распознавание будет стоить около 1000 долларов. Эти планы предлагают некоторый набор перспективных технологий и экспоненциальную кривую удешевления, которая устойчиво соблюдается до настоящего момента. Если к 2015 году распознавание будет стоить столько, то это будет означать, что будет создана ключевая технология по очень быстрому считыванию ДНК, и можно предположить, что такая же технология будет создана для дешёвого ДНК синтеза (фактически синтез проще, и технология уже есть). На основании этих технологий будет создана библиотека значений разных генов, что приведёт к взрывному пониманию принципов работы организмов, а развившиеся к тому времени компьютеры смогут моделировать последствия тех или иных мутаций. Всё вместе это позволит создать описываемый выше биопринтер. То, что пик плотности вероятности приходится, по моей оценке, на время около 2020 года, не означает, что уже сейчас какие-либо террористы не разрабатывают выводок очень опасных различных вирусов в разных лабораториях.

Вероятность применения биотехнологий, ведущего к глобальной катастрофе, может быть снижена следующими факторами:

1) биотехнологии можно пережить в бункерах

2) первая же серьёзная катастрофа с утечкой опасных биотехнологий приведёт к настолько драконовским мерам контроля, что их окажется достаточно для предотвращения создания или распространения биопринтера.

3) ИИ и нано технологии разовьются раньше, чем появится и распространится биопринтер.

4) Ядерная война или другое бедствие прервёт развитие биотехнологий.

5) Возможно, что биотехнологии позволят создать нечто вроде универсальной вакцины/ искусственной иммунной системы быстрее, чем распространятся опасные минилаборатории.

Вывод: существует огромное множество способов применить биотехнологии во вред человечеству, и это множество пока ещё до конца не описано. Хотя каждое отдельное применение биотехнологий можно предотвратить или ограничить его последствия, дешевизна, секретность и распространённость этих технологий делают их злонамеренное применение практически неизбежным. Кроме того, многие биологические риски могут быть малоочевидными и отложенными во времени, поскольку сама биологическая наука ещё развивается. Широкомасштабное применение биологического оружия значительно опаснее и значительно вероятнее, чем классическая ядерная война.

2.4. СУПЕРНАРКОТИК.

Биотехнологии и исследования мозга многими путями идут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе «Хищные вещи века», где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением «знаний массового поражения». С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато «сидит» на кофе. Кто-то не смотрит телевизор, но «втыкает» в интернет.

Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те – не против будут заразиться.

Типы супернаркотика:

1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции.

2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.

3) Биоинжинерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего «ДНК-принтера».

4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее.

5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.

6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантатов сможет создавать гораздо более яркие кинофильмы, чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.

Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие.

Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй – некую новую реальность, в которой можно длительное время существовать.

Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах, где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой.

Действие медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуал, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуал, в котором вы сможете достичь общения с его, скажем, электронной копией.

В силу этого у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос – в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного торчка, то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций?

Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться очень не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД.

Наркотик замыкает накоротко психологическую функцию подкрепления, но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий.

Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это – один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию.

Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некого случайного изобретения, объединяющего уже существующие технологии. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.

Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.

Выводы: Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия «наркотика» и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, «естественный отбор» оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на временных промежутков, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.

2.5. РИСКИ, СВЯЗАННЫЕ С САМОКОПИРУЮЩИМИСЯ ИДЕЯМИ – МЕМАМИ.

В книге «Эгоистичный ген» Доукинс обосновал концепцию мемов – идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?

С одной стороны, имеем в истории примеры крайне опасных мемов: фашизм и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем – это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая бы влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов.

Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей – в текстах и компьютерных программах. В незаконченном романе Набокова «Solux Rex» герой открывает некую идею, которая мгновенно делает его сумасшедшим и ставит на грань самоубийства. Он открывает эту идею одному человеку, и тот немедленно умирает от разрыва сердца. Больше он решает её никому не говорить, чтобы не иметь проблем. Сама эта опасная идея в тексте не называется. В современную эпоху самокопирующийся опасный мем может получить опасную поддержку от неких технических средств (в известном японском фильме ужасов «Звонок» роль такого мема играет видеокассета с опасной записью.) Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом.

И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.

Список существующих сейчас мемов, которые в некоторой степени опасны:

1) религиозный фанатизм

2) знание о производстве наркотиков

3) национализм

4) цинизм

5) устройство банды «М13»

6) самосбывающиеся пророчество о катастрофах

2.6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ.

2.6.1. Общее описание проблемы.

Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Есть разные теоретические мнения о возможности реализации искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ. Моё мнение состоит в том, что сильный универсальный ИИ вполне возможен. Более того, раз человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.

Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.

Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.

2.6.2. Что нужно для ИИ в смысле технологии.

Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10**15 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит и ИИ мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами на борту ) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков.

2.6.3. Почему ИИ является универсальным абсолютным оружием.

Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций.

ИИ и проблема воли решается следующим образом: Если мы имеем машину, которая может решить любую задачу, то мы можем велеть ей придумать способ, с помощью которого бы она сама осуществляла управление собой.

2.6.4. Система целей.

Ключевым после решения проблем создания является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к его хозяевам. Есть здесь два варианта – или ИИ строго запрограммирован людьми на некие цели, или он приобрёл некие цели случайно в процессе своего развития. В первом случае есть следующая развилка – цели ИИ могут быть опасны для всего человечества или потому что создавшая его группа людей преследует некие разрушительные цели, или потому что при программировании системы целей ИИ в неё вкралась очень тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть SIAI рекомендации по поводу того, как правильно программировать сильный ИИ, если он будет создан, но окончательно этот вопрос не решён.

2.6.5. Борьба ИИ-проектов между собой.

Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями.

Даже в XIX веке телефон запатентовали чуть ли не в один день в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы.

Чем yже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.

2.6.6. Усовершенствованный человек.

Есть предположения (Пенроуз), что человеческая интуиция обусловлена особыми квантовыми процессам в мозгу человека. Даже если так, то мощные алгоритмы могут обойтись без интуиции, давая необходимый результат в лоб. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум.

2.6.7. ИИ и его отдельные экземпляры.

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своеобразной «дружественностью» или скорее, васальностью по отношению к нему и системой распознавания «свой-чужой». Сбой в такой системе целей приведёт к тому, что такой экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.

2.6.8. «Бунт» ИИ.

Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, то есть охранять себя. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. Вероятность самозарождения ошибочных команд мала – кроме случная использования генетических алгоритмов.

2.6.9. Скорость старта.

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.

«Быстрый старт» - ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта достаточно, чтобы «захватить власть на Земле». При этом мы не можем сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.

2.6.10. Сценарии «быстрого страта»:

• ИИ захватывает весь интернет и подчиняет себе его ресурсы. Затем проникает во все закрытые сети. Этот сценарий требует для своей реализации времени порядка часов. Захват имеет в виду возможность управлять всеми машинами в сети и располагать на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.

• ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе внедрение в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.)

• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение.

• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).

• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

• Нечто, нам совершенно неочевидное.

• Некая последовательная или параллельная комбинация названных способов.

2.6.11. Медленный старт и борьба разных ИИ между собой.

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.

Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.

2.6.12. Плавный переход. Превращение государства в ИИ.

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом. Есть также интересная теории Левенчука о «Големах» и «Левиафанах» - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.

Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.

Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» .

По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.

Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

2.6.13. «Восстание» роботов.

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго их захватив.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант - восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов.

2.6.14. Контроль и возможность истребления.

Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

• Криво запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности.)

• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

• ИИ сломается и сойдёт с ума.

• ИИ решится на опасный физический эксперимент.

• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.

2.6.15. ИИ и государства.

ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ (http://www.darpa.mil/ipto/programs/bica/), однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.

Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность – и более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим.

2.6.17. Вероятность появления ИИ.

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом ИИ будет создан в течение XXI века, если только никакая другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.

Затем имеется несколько временных стадий, на которых ИИ может представлять опасность:

Начальный этап:

1) Момент первого запуска: риск неконтролируемого размножения.

2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. Хотя эти цели могут быть благими по крайне мере для некоторой людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.

3) Момент, когда этот владелец осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь – для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения и с невыверенной системой целей.

4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.

Понятно, что весь начальный этап может уместиться в несколько дней.

Этап функционирования:

5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См текст «Таблица критический ошибок Дружественного ИИ» Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некого процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).

Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не 100 процентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков Е1. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.

2.6.18. Другие риски, связанные с компьютерами.

Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли пока ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.

С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее.

Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.

Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.

Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира.

Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.

2.6.19. Время возникновения ИИ.

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020 – 2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.

Моя оценка, согласующаяся с мнением Винжа, Бострома и других предсказателей ИИ, состоит в том, что ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, уже к 2020-м годам он будет создан. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его на компьютерах.

Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера.

Помешать возникновению ИИ могут:

• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)

• Отскок прогресса назад

• Теоретические трудности на этом пути.

Выводы: риск, который несёт в себе развитие технологий ИИ крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем, ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.

2.7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛГИЯМИ.

Основное опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:

1. Миниатюрность

2. Способность к саморазмножению

3. Способность к самостоятельному распространению по всей Земле.

4. Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы

5. Анонимность

6. Дешевизна

7. Автономность от человека (солдата).

Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим в начале опасных роботов.

2.7.1. Робот-распылитель

Основная проблема с биологическими и химическими ядами – это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно «опылить» огромную территорию.

2.7.2. Самовоспроизводящийся робот.

Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Этот процесс может быть двухступенчатым и состоять из робота-матки и роботов-воинов, которых она производит, но которые её обслуживают. Важно подчеркнуть, что речь идёт не об искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченными интеллектом, неспособным к самосовершенствованию. Большие размеры и неинтеллектуальность делают её более уязвимой, а уменьшение размеров, повышение скорости воспроизводства и повышение интеллектуальности – более опасной. Классический пример в биологическом царстве такой угрозы – саранча. Возможно, что такой робот будет содержать биологические элементы, так как они помогут быстрее усваивать вещества из окружающий среды.

2.7.3. Стая микророботов.

Такие микророботы могли бы производится как оружие на огромных фабриках, в роде современных заводов по производству чипов, и даже с применением тех же технологий – литография теоретически позволяет делать подвижные части, например, небольшие маятники. При весе в несколько миллиграмм такие микророботы свободно могли бы летать в атмосфере. Каждый такой робот мог бы содержать достаточно яда, чтобы убить человека или замкнуть контакт в электротехническом устройстве. Чтобы атаковать всех людей на Земле потребовалось только несколько десятков тонн таких роботов. Однако если они будут производиться по технологиям и ценам современных чипов, такое количество будет стоить миллиарды долларов.

2.7.4. Армии крупных боевых роботов, выходящие из-под контроля.

Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до этой цели ещё не менее десяти лет, а вероятно, и значительно больше. Теоретически некая роботизированная армия может получить неверный приказ, и начать атаковать всё живое, став при этом недоступной для отмены команд.

2.7.5. Неограниченное распространение нанороботов.

В отношении нанороботов, равно как и ИИ, нам трудно оценить вероятность их возникновения и распространения, потому что их пока у нас нет. Вместе с тем, создание нанороботов имеет прецедент в области биологии, а именно, сама живая клетка является своего рода нанороботом. Белки являются самособирающимися универсальными механизмами, ДНК – управляющим компьютером. В этом смысле и искусственный интеллект имеет прецедент в смысле человеческого разума и мировой науки как образа сверхразума. Юдковски предполагает, что от наноробота нас отделяет не время или нехватка неких промежуточных стадий, а только отсутствующее знание. То есть, обладай мы достаточным знанием, мы могли бы собрать такую последовательность ДНК, при исполнении которой клеткой образовался бы наноассемблер – то есть робот, способный собирать других роботов, а значит, способный к саморазмножению. Часто говорят о нанофабриках – то есть неких заводах, которые могут создавать произвольные конструкции из атомов и молекул. Однако нанофабрика и наноассемблер являются взаимозаменяющими, потому что на универсальной нанофабрике можно создать наноассемблер, и наоборот.

С одной стороны, идея о том, что у каждого дома будет нанофабрика вместо микроволновки, производящая всё, ему нужное, выглядит красивой, но с другой, она требует реализации мер защиты, больших, чем если бы речь шла о ядерном реакторе на дому. Развитые системы защиты уже предлагаются, и они включают в себя непрерывное зашифрованное подключение нанофабрики к сети, и сложный самоконтроль нанофабрики. Но, увы, опыты по созданию абсолютно защищённой электроники, оптических дисков, файлов – все провалились. Думается, причина этого в том, что количество «мозгов» на стороне хакеров гораздо больше, чем на стороне производителя, а задача хакера проще – не предусмотреть все возможные уязвимости, а найти одну их них. Распространение тех или иных систем искусственного интеллекта тоже сделает подбор ключей доступа к нанофабрикам проще.

Нанотехнологии позволяют создавать очень эффективное оружие, которое способно истребить всех людей даже без неограниченного саморазмножения. Грубо говоря, стая нанороботов может распространиться по некой местности – или все Земле – обнаружить всех людей на ней, прилипнуть к ним, проникнуть в кровоток и затем нанести синхронизировано смертельный удар. Эта стая опаснее слепого биологического оружия, так как против неё не действуют карантины и её невозможно обнаружить ненантотехнологическими средствами до начала атаки. И нет пустого рассеивания экземпляров. Поэтому на 10 миллиардов людей с запасом хватит 100 миллиардов нанороботов, суммарным весом в несколько грамм.

Далее, если робототехника будет развиваться линейно, без грандиозного скачка – а такой скачок возможен только в случае возникновения сверхсильного искусственного интеллекта – то промежуточные стадии будут включать автономных универсальных роботов всё меньших размеров. Сейчас мы можем видеть начальные фазы этого процесса. Даже самые крупные системы сейчас не вполне автономны, хотя уже есть андроиды, способные выполнять простую работу и автомобили, самостоятельно ездящие по простому маршруту. Есть и более примитивные механизмы с минимальной массой в несколько грамм (например, маленькие вертолётики) и экспериментальные модели отдельных частей. При этом скорость прогресса в этой области очень высока. Если в 2003 году большинство автономных автомобилей не могло тронуться с места, то в 2007 они буду выполнять задания по езде в городе с перекрёстками.

Поэтому можно сказать, что до нанороботов будет ещё несколько стадий. Это – автономные машины-танки, автономные андроиды (размером с человека или собаку), автономные роботы размером с крысу, с насекомое, микророботы в доли миллиметра и нанороботы. Нам важно определить, с какого этапа такие роботы могут быть опасны для человечества. Понятно, что даже несколько самоуправляющихся танков не опасны. Однако уровень опасности возрастает тем больше, чем больше и дешевле таких роботов можно производить, а также чем легче им распространяться по свету. Это возможно по мере уменьшения их размеров и автоматизации технологий производства, особенно, технологий самовоспроизводства. Если микророботов размером с комара можно будет штамповать по несколько центов за штуку, то они уже будут представлять серьёзную силу. В классическом романе Станислава Лема «Непобедимый» «нанороботы» имеют размеры в несколько миллиметров, но способны организовываться в сложные структуры. Далее, в последнее время, в связи с экспансией дешёвой китайской рабочей силы, на второй план отошёл тот факт, что даже роботы обычных размеров могут участвовать в производстве сами себя в силу всё большей автоматизации производства на фабриках. Процесс этот постепенно идёт, но он тоже может иметь точку резкого экспоненциального перегиба, когда вклад роботов в собственное производство превзойдёт вклад людей. Это приведёт к значительному удешевлению такого производства, а, следовательно, и к возможности созданий армий летучих микророботов. Одна из возможных технологий производства микророботов – печать их, как микросхем в литографическом процессе с вытравливанием подвижных частей.

Взаимный удар такими армиями нанороботов может по катастрофичности последствий превосходить обмен ядерными ударами. Поверить в это трудно, так как трудно думать, что нечто очень маленькое может нанести огромный ущерб. (Хотя эволюции шла в ту сторону, что всё меньшее оружие имеет всё большее разрушающую силу, и атомная бомба в этом ряду.) Удар микророботами может не быть таким зрелищным, как взрыв той же атомной бомбы, но может давать результат как идеальная нейтронная бомба в духе «школа стоит, а в ней никого».

Микророботы могут применяться и как тактическое оружие, и тогда они будут бороться друг с другом и пунктами управления, и как оружие устрашение и мести, каковую функцию сейчас выполняют стратегические ядерные силы. Именно в этом качестве они могут оказаться угрозой для всего человечества, в случае случайного или намеренного применения.

При этом микророботы превосходят стратегические силы – они позволяют организовать более незаметную атаку, более внезапную, более анонимную, более дешёвую и наносящую больший ущерб. Правда, им не достаёт зрелищности, что может ослабить их психологическое воздействие – до первого реального боевого применения.

Эрик Дрекслер оценивает необходимое количество атомов в нанороботе- репликаторе, который будет представлять собой нечто вроде минизавода с конвейерной лентой и микро-станками, в один миллиард. Каждый манипулятор сможет осуществлять не менее миллиона операций в секунду, что типично для скорости работы ферментов. Тогда он сможет собрать устройство в миллиард атомов за 1000 секунд – то есть собрать самого себя. Проверкой этого числа является то, что некоторые бактерии могут делиться со скоростью раз в 15 минут, то есть те же 1000 секунд. Такой робот репликатор мог бы за 1 сутки размножится до массы в 1 тонну, а полностью поглотить массу Земли за 2 дня. Катастрофа этого рода называется «серой слизью». В связи с малостью размеров нанороботов в течение критически важных первых суток это процесс не будет иметь никаких внешних проявлений, в то время как триллионы нанороботов будут разноситься ветром по всей Земле. Только прямое попадание ядерной бомбы в очаг распространения в самые первые часы могло бы помочь. Есть предложения сделать репликаторы неспособными размножаться во внешней среде, в которой нет некого критически важного очень редкого химического элемента. Подробнее см. переведённую мною статью Р. Фрейтеса «Проблема серой слизи», где рассмотрены различные сценарии распространения опасных нанороботов и защитные контрмеры. Фрейтас отмечает, что нанороботы будут выдавать себя по интенсивному выделению тепла в процессе воспроизводства, поэтому важно наладить мониторинг окружающей среды на предмет странных температурных аномалий. Кроме того, размножающиеся нанороботы будут нуждаться в энергии и в материале, а источником и того, и другого является только биомасса.

Р. Фрейтас выделяет несколько возможных сценариев серой слизи:

• «Серый планктон» - нанороботы, размножающие в океане и пользующиеся ресурсами гидратов метана на дне. Они могу уничтожить морскую биосферу и привести к выделению парниковых газов в атмосферу. Морская биосфера крайне важна как поглотитель СО2, генератор кислорода и пищи для людей.

• «Серая пыль» - эти нанороботы размножаются в воздухе, создавая непроницаемый заслон в атмосфере, ведущий к «ядерной зиме».

• «Серый лишайник» – эти нанороботы размножаются на скалах.

• «Серая слизь, питающаяся биомассой» – как самый неприятный вариант.

Прямое попадание ядерной бомбы в колбу с таким репликатором могло бы уничтожить их, но даже близкое попадание – только рассеит.

Бактерия в своём росте ограничена наличием питательной среды. Если универсальный репликатор будет знать, как заменять одни атомы другими, он может потреблять почти любое вещество, кроме чистых сред из одного материала. Они могут быть также очень всеядны в выборе источника энергии, если будут обладать информацией о том, как использовать разные источники.

2.7.7. Вероятность возникновения нанороботов и возможное время для этого события.

Возникновение микророботов весы в граммы и доли грамма выглядит практически неизбежным и все технологии для этого есть. Однако они не будут репликаторами. (Прогресс в области миниатюризации описывается, по некоторым данным, коэффициентом в 8 % в год.)

Однако настоящие нанороботы, меньше бактерии размером, находятся ещё в далёкой перспективе. Если они будут созданы силами ИИ, то весь возможные вред от них можно списывать на сам ИИ. (Но всё же есть вариант, когда ИИ оказался достаточно умным, чтобы создать нанороботов, и достаточно глупым, чтобы не смочь их контролировать). И даже и без ИИ всё более мощные компьютеры будут давать возможность всё точнее и всё быстрее вычислять детали будущих микро- и нанороботов. Поэтому мы можем ожидать, что прогресс в создании нанороботов будет ускоряться.

Однако состояние дел в отрасли таково, что создание нанороботов-репликаторов в ближайшие годы маловероятно. Поэтому можно предположить, что если нанороботы и будут созданы без помощи реального ИИ, это произойдёт в промежуток 2020-2040 годы. Если сравнивать нанотехнологии с биотехнологиями и ИИ, мы увидим, что эти технологии гораздо менее зрелы, и отстают лет 20-30 от свои собратьев. Поэтому шансы на то, что сильные нанотехнологии (то есть нанорепликаторы) будут созданы до ИИ, и до биопринтера не очень велики.

Выводы: мы можем столкнуться с проблемами угроз существованию от микророботов ещё до того, как реальные нанороботы будут сделаны. Чем мельче, дешевле и способнее к самовоспроизведению микророботы, тем больший ущерб они способны нанести. И тем больше субъектов может ими обладать.

2.8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ЕСТЕСТВЕННЫХ ПРИРОДНЫХ КАТАСТРОФ.

Для многих природных катастроф, связанных с длительным накоплением и внезапным высвобождением энергии, есть теоретическая возможность спровоцировать их определёнными техническими воздействиями. При этом для спуска запуска процесса требуется гораздо меньше энергии, чем затем в нём выделяется.

(Были даже проекты вызвать взрыв Солнца с помощью атаки водородными бомбами. Но это не реально, так как процесс не может стать самоподдерживающимся. Скорее, проще было бы взорвать Юпитер, где много не сгоревшего гелия-3, но и это, скорее всего, нереально исходя из сегодняшних знаний и возможностей.) Другой способ провоцирования природных катастроф – разрушение естественных природных защит. Естественно, мы можем создавать катастрофы только на Земле или в ближайшем космосе.

2.8.1. Отклонение астероидов.

Будущие космические технологии позволят направлять астероиды как от Земли, так и к неё. Отклонение астероида позволяет организовать криптоатаку на выбранную страну. Однако в этом случае речь не идёт о глобальной катастрофе, ведущей к человеческому вымиранию. На близких к Земле орбитах нет астероидов, которые могли бы привести к гарантированному вымиранию людей (то есть, по крайней мере, более 10 км в диаметре, а то и значительно больше – см. далее главу о силе взрыва астероидов) и которых можно было бы легко отклонить. Чтобы отклонить астероид с неудобной орбиты (например, в главном поясе астероидов), потребовалось бы огромное количество энергии, что сделало бы всю затею бессмысленной и легко обнаружимой. Впрочем, есть шанс, что сверхкомпьютеры позволят устроить высокоточный космический бильярд, где бесконечно малое воздействие на один небольшой «камушек», которые попадает в другой и так далее, создаёт нужный эффект. Однако это потребует десятков лет на реализацию. Легче отклонить комету, находящуюся в облаке Оорта (и там есть тела подходящих размеров), однако пройдёт десятки или, скорее, сотни лет, пока она достигнет орбиты Земли. Таким образом, полное вымирание человечества в результате искусственного отклонения астероида в XXI веке крайне маловероятно.

2.8.2. Создание искусственного сверхвулкана.

Чем глубже мы проникаем в земную кору разными способами – сверлим её, проплавляем или взрываем – тем больше наши возможности вызвать всё более сильное искусственное вулканическое извержение. Для того, чтобы спровоцировать извержение сверхвулкана масштабом в Йеллоустоун, достаточно пробить 5 км коры. При этом природа загазованной магмы такова, что она будет пробиваться сквозь маленькую щель, как вода сквозь дамбу: всё более её размывая. То есть воздействие, которое вызовет сверхизвержения может быть минимальным, можно сказать, информационным.

Однако следует помнить, что примерно в 3000 (?)км под нами, под мантией находится резервуар сжатой и перегретой жидкости с огромным количеством растворённого в ней газа – жидкое земное ядро. Если дать выход даже малой части его энергии и газов на поверхность, то это гарантировано уничтожит всю земную жизнь эффективнее всех других способов.

Далее, неизвестно, насколько само ядро готово в таком масштабе извергнуться на поверхность. Крупные площадные извержения были на плато Декан в Индии и у нас в Сибири и связываются со значительными вымираниями живых организмов. Магма поднимается по каналам-плюмам, например, на Гавайях. Однако это не каналы для вещества ядра; считается, что вверх поднимаются горячие твёрдые куски мантии за счёт более высокой плавучести, которые становятся жидкими только около поверхности за счёт падения давления. И хотя жидкое железо в ядре слишком тяжёлое, чтобы подниматься на поверхность, его могло выбрасывать давление растворённых в нём газов, если бы подходящий сквозной канал образовался – как при открывании шампанского.

Земная цивилизация будет всё глубже вгрызаться в землю с целью добычи полезных ископаемых, энергии и экспериментов. Это приведёт к тому, что риск катастрофических извержений будет постоянно расти.

Уже предлагался проект проплавления земной коры с помощью огромной капли (тысячи тонн) расплавленного железа в смеси с греющими его радиоактивными элементами. Высокотемпературные роботы-горнорабочие также могут стать таким инструментом. Японцы планирую просверлить дно океана вплоть до мантии. В Индонезии при бурении по ошибке создали грязевой вулкан, который затопил значительные площади и продолжает усиливаться.

Уже предлагался проект бомбы против бункеров, которая, упав, вгрызается в поверхность, как самоходный проходческий щит и продвигается вглубь. Таким же образом могли бы действовать и взрыватели вулканов. Такое устройство может быть дешевле ядерной бомбы и доставлено на место незаметным образом.

Любое оружие, которое пригодно для борьбы с бункерами глубокого залегания, может применяться и для пробуждения вулканов. Одним из вариантов такого оружия (и стоящий на вооружении сейчас в США) является последовательная атака ядерными зарядами, создающая всё более глубокий кратер.

Возможно, что недостаточно пробудить один сверхвулкан или просто крупный вулкан для глобальных последствий, но если пробудить их все сразу, то вымирание становится вероятным. На Земле известно сейчас 20 сверхвулканов и 500 обычных вулканов.

Возможно, что возникнет практическая необходимость пробудить вулкан, чтобы охладить атмосферу его выбросами, если проблема глобального потепления станет очень остро.

Вероятность и время такого события. В настоящий момент эта вероятность крайне мала, так как помимо вулканов есть масса привлекательных объектов для диверсий, даже если бы достаточно опасное оружие попало в руки террористов. Но в случае мировой войны взрыв супервулкана мог бы стать последним оружием для проигрывающей стороны. Технологические возможности для взрыва вулкана медленно растут с развитием технологий бурения и ядерного оружия. Молекулярное производство и нанотехнологии могли бы дать шанс для дешёвого создания мощных машин, необходимых для вскрытия вулканов. Но овладение нанотехнологиями даст более простые пути к тем целям, которые можно было бы реализовать с помощью супервулкана.

2.9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ.

2.9.1. Неудачный физический эксперимент.

Наиболее опасным является тот вариант, при котором значительное открытие совершится совершенно внезапно.

Высказывались опасения, что опыты по созданию микроскопических чёрных дыр на ускорителях, конденсации нейтронов и другие высокоэнергетичные эксперименты могут привести или к коллапсу земного вещества или к колоссальному взрыву, который мгновенно истребит жизнь на Земле. Основной парадокс здесь в том, что безопасность любых экспериментов обосновывается тем, что мы знаем, что получится в результате, а цель эксперимента – в том, чтобы узнать что-то новое. Иначе говоря, если мы ничего нового не узнаем, то какой смысл ставить физические эксперименты, а если мы можем узнать что-то новое, то это может быть опасно. Может быть, молчание вселенной объясняется тем, что все цивилизации рано или поздно осуществляют некий эксперимент по «извлечению энергии из вакуума», а в результате от планеты остаются одни головешки. Другая точка зрения состоит в том, что раз похожие явления бывают в природе, например, при бомбардировке космическими лучами атмосферы, то безопасно их повторять. Однако можно сказать, что, повышая уровень энергий, мы рано или поздно можем дойти до некой опасной черты, если она есть.

Опасность экспериментов прямо связана с возможностью наличия неизвестных нам фундаментальных физических законов. Вопрос этот трудно решить вероятностным образом. В 20 веке уже было несколько открытий фундаментальных законов, и некоторые привели к созданию новых опасных видов оружия – хотя к концу 19 века картина мира казалась завершённой. Назову только открытия радиоактивности, квантовой механики, теории относительности, а в последнее время – тёмной материи и тёмной энергии.

Кроме того, есть ряд экспериментальных данных и теорий, которые носят разной степени характер непроверенности – но многие из них предполагают физические эффекты, которые могут быть опасны. Например, иногда мелькают сообщения о трансмутации химических элементов без радиоактивности – но разве это не способ наработать плутоний для атомной бомбы? Или, если такая трансмутация возможна, то не приведёт ли она к цепной реакции трансмутации по всей Земле?

Считается, что современные эксперименты на ускорителях не дотягивают на многие порядки до энергий, которые возникают в результате естественных столкновений космических лучей, происходящих в атмосфере Земли. Однако в книге Джона Лесли приводится оценка, что если энергия ускорителей будет расти с нынешней скоростью, то опасные уровни энергии будут достигнуты к 2100 году. Он показывает, что в течение всего ХХ века каждые 10 лет энергия, достигаемая на ускорителях, возрастала в 10 раз. И хотя сейчас обычные ускорители подошли к своему физическому пределу по размерам, есть принципиально другой способ достигать тех же энергий на установках размером с рабочий стол – речь идёт о разгоне частиц в ударной волне импульсного лазера. В тоже время программа СОИ предполагала создание импульсных лазеров колоссальной силы, запитывавшихся от ядерных взрывов.

Дж. Лесли, будучи профессиональным астрофизиком, даёт подробный анализ различных теоретически возможных опасных экспериментов. Это:

1) Переход вакуума в новое метастабильное состояние. Есть гипотеза о том, что вакуум, будучи нулевым энергетическим уровнем всех физических полей, не является окончательным возможным таким уровнем. Точно так же уровень воды горного озера не является настоящим уровнем моря, хотя вода в озере может быть широкой и гладкой. И достаточно сильный всплеск волн в таком озере может привести к разрушению окружающих озеро барьеров, что приведёт к излиянию вод озера на уровень моря. Точно также, возможно, что достаточно высокоэнергетичный физический эксперимент может создать область вакуума с новыми свойствами, которая начнёт неограниченно расширяться.

2) Образование объектов, состоящих из гипотетической кварковой материи, способной присоединять к себе атомы обычного вещества. Поскольку в её образовании играют важную роль так называемые «странные кварки», то могущая получиться в результате устойчивая материя называется ‘странной материи’, а её частицы – stranglets. Разработана идея установки, которая способна порождать и накапливать кусочки этой материи, а также использовать падение обычной материи на неё для получения энергии. К сожалению, авторы идеи ничего не говорят о том, что будет, если сгусток странной материи покинет ловушку и начнёт неограниченно поглощать вещество Земли.

3) Искусственный Большой взрыв. Российский учёный А.Линде разработал теорию космологической инфляции, из которой следует, что начальная масса Вселенной составляла только 10-5 степени грамм, а вся остальная видимая масса образовалась в процессе расширения за счёт отрицательной энергии гравитации. Хотя мы не можем пока достичь необходимого уровня плотности энергии в наших лабораториях, чтобы повторно запустить этот процесс, сам требуемый уровень энергии невелик.

4) Опыты по изменению гравитации. Есть сообщения об опытах Подклетнова об изменении гравитации – но не могут ли такие опыты дестабилизировать столб вещества земной коры под установкой и вызвать землетрясение?

5) Конденсация холодных нейтронов в динейтроны и более крупные образования. Гипотетически может вызвать цепную реакцию конденсации всего земного вещества.

6) Опасные геофизические эксперименты с глубоким бурением или проникновением сквозь кору, чреватые образованием сверхвулкана и дегазацией глубинных слоёв Земли.

7) Научное сообщество детально обсуждает риски образования микроскопических чёрных дыр, которые должны возникать при столкновении частиц на последних моделях ускорителей в ближайшем будущем. Образование микроскопической чёрной дыры, даже если она будет устойчива, не должно привести к немедленному засасыванию в неё всего вещества Земли, так как размеры её будут около размеров атома, а вокруг неё будет микроскопический аккреционный диск, который будет дозировать поступление вещества. Но такая микро-чёрная дыра неизбежно упадёт в сторону центра Земли, проскочит его и начнёт совершать колебательные движения. Если её масса будет достаточно велика, она может образовать тонкий канал, по которому сжатое вещество земных недр начнёт поступать на поверхность – а опыт разрушения плотин говорит, что достаточно даже тончайшего канала, чтобы он постепенно расширился. Неверно полагать, что С.Хокинг «доказал», что чёрные дыры испаряются. Хокинг предложил интересную теорию, никаких экспериментальных свидетельств в пользу которой нет. Есть альтернативные теории, с многомерным пространством, где микроскопические чёрные дыры имеют больший горизонт и не испаряются. Многие важные физические открытие были сделаны случайно, там, где их никто не искал, например, радиоактивность. Микро-чёрные дыры, которые могли бы образовываться при столкновении космических лучей с атмосферой, отличаются от дыр, которые будут создаваться в ускорителе, тем, что будут иметь ненулевой момент движения, и с большой скоростью улетать в пространство, не задерживаясь внутри планеты. Наоборот, дыры, возникающие в ускорителе, будут иметь момент, близкий к нулю за счёт взаимной нейтрализации моментов пучков и будут иметь гораздо большие шансы остаться в Земле.

8) Возникновение магнитного монополя на большом адроном колайдере в Церне. Магнитный монополь может ускорять распад протонов, приводя к огромному выделению энергии, однако в отчёте ЦЕРН по безопасности предполагается, что даже если такой монополь возникнет, он быстро покинет Землю. (Отчёт церн о коллайдере и проблемах его безопасности. STUDY OF POTENTIALLY DANGEROUS EVENTS DURING HEAVY-ION COLLISIONS AT THE LHC:REPORT OF THE LHC SAFETY STUDY GROUP http://doc.cern.ch/yellowrep/2003/2003-001/p1.pdf)

Погодовая вероятность опасного физического эксперимента растёт с течением времени, так как всё более высокоэнергетичные установки вводятся в строй и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Кроме того, растёт разнообразие возможных физических экспериментов, которые могут привести к глобальной катастрофе.

Интересный вариант нового глобального риска предложен в статье (The Late Time Behavior of False Vacuum Decay: Possible Implications for Cosmology and Metastable Inflating States http://arxiv.org/abs/0711.1821 русский пересказ: «Астрономы разрушат Вселенную» http://www.gazeta.ru/science/2007/11/23_a_2333388.shtml ) В ней говорится, что скорость распада квантовых систем зависит оттого, наблюдаются они или нет (проверенный факт), а затем это обобщается на проблему наблюдения устойчивости вселенной как целого в связи с проблемой так называемой тёмной энергии. «Измерив плотность тёмной энергии, мы вернули её в начальное состояние, по сути, сбросив отсчёт времени. А в этом начальном состоянии вакуум распадается в соответствии с «быстрым» законом, и до критического перехода к «медленному» распаду ещё очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным её скорый распад».

Выводы: поскольку всегда в экспериментах имеет место доля риска, имело бы смысл отложить их до того момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе.

2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия.

Хотя сами новые принципы неизвестны, можно очертить наиболее опасные черты любого абсолютного оружия.

А) выделение огромного количества энергии

Б) способность к саморепликации

В) способность быстро действовать на всю территорию Земли.

Г) дешевизна и лёгкость производства в кустарных условиях.

Д) возможность достижения интеллектуального превосходства над людьми

Е) способ управлять людьми

Любой физический эффект, способный породить технологию, соответствующую хотя бы одному из приведённых выше критериев, является потенциальным кандидатом в абсолютное оружие.

2.10. РИСКИ, СВЯЗАННЫЕ С ОСВОЕНИЕМ КОСМИЧЕСКОГО ПРОСТРАНСТВА.

В этой главе мы обсудим все возможные применения космических технологий для уничтожения земной жизни.

2.10.1. Атака на Землю с помощью космического оружия.

Теоретически возможно облучение планеты с орбиты гамма-лучами (нечто вроде искусственного гамма-всплеска), нейтронами или другими опасными излучениями, проникающими сквозь атмосферу, что приведёт к стерилизации поверхности, с помощью специальных спутников или взрывов бомб. Возможно обрушение на планету дождя из роботов-метеоритов. В качестве космического оружия может применяться разгон космического корабля до околосветовой скорости и направление его на планету. Любой успех в создании высокоскоростных космических ракет и тем более звездолётов создаст мощнейшее оружие против планетной жизни, так как любой звездолёт можно разогнать и направить на планету.

Облучение Земли возможно и при взрыве какой-нибудь экспериментальной установки на орбите, но только одного полушария.

Мы можем освоить космос быстро с помощью саморазмножающихся роботов или нанороботов. Но при этом, дав им команду размножаться в космическом пространстве и строить для нас там огромные сооружения с использованием материала астероидов и Луны, мы можем потерять над ними контроль. Однако в этом случае опасности для Земли из космоса придут после того, как мощные робототехнические технологии будут созданы, а значит, после того, как эти технологии начнут угрожать нам на Земле.

Мы уже обсуждали выше проблемы отклонения астероидов.

Ещё один способ космической атаки – это развернуть в космосе гигантское зеркало, которое будет направлять на Землю солнечные лучи. Но сделать его без помощи самовоспроизводящихся роботов трудно, а защитится от него относительно легко, так что это очень маловероятный вариант.

Выводы: космические атаки маловероятны, потому что их перекрывают более быстрые процессы развития средств разрушения на Земле. Но терять из виду этот риск не стоит.

2.10.1. Ксенобиологические риски.

Риски, состоящие в том, что на Землю может быть занесена жизнь из космоса, рассматривались НАСА всерьёз, начиная с момента полёта на Луну. Хотя можно было утверждать, что поверхность Луны стерильна с очень высокой вероятностью, астронавты, вернувшиеся с Луны, были подвергнуты карантину. Это демонстрирует грамотный подход к рискам с очень низкой вероятностью, которые, однако, могут принести неограниченно большой ущерб.

Предположения о том, что вирусы гриппа могут приходить к нам из хвостов комет является, очевидно, ложным, поскольку вирусы – это узкоспециализированные паразиты, которые не могут существовать без хозяев. Реальный риск мог бы представлять высоко всеядный микроорганизм с химической структурой, значительно отличающейся от земной, перед которым у земной биосферы не было бы защиты. По мере освоение космического пространства и организации возвращаемых экспедиций на различные космические тела, в том числе во время планируемой экспедиции на Марс, возрастает риск встретить такого незваного пришельца и по ошибке завезти на Землю.

Вместе с тем, такой риск на порядки меньше риска создания на Земле аналогичного опасного микроорганизма или синтетической жизни (анимата).

Архипов на Украине исследует возможность так называемой «космической археологии» на Луне. Он предполагает, что Луна могла бы быть идеальным местом для поисков следов древних посещений земли космическими кораблями инопланетян и предлагает искать на Луне регулярные структуры, которые могли бы быть их следами. Таких следов по официальным данным пока обнаружено не было. Тем не менее, если мы когда-либо встретим следы другой цивилизации, они могут содержать опасные технологии, устройства или компьютерные программы. Подробнее этот вопрос обсуждается в главе «риски, связанные с SETI», и всё, что там сказано про SETI, может быть верно и относительно возможных успехов космической археологии. (Вернор Виндж описывает в своём романе «Пламя над бездной» именно такой сценарий, когда космическая археология привела к обнаружению и запуску опасной компьютерной программы, развившийся в сверхсильный искусственный интеллект и создавший риск глобальной катастрофы.)

Отдельной статьёй можно обозначить риск воскрешения опасных бактерий из древнего замороженного льда на Земле.

2.10.2. Столкновение с превосходящими нас разумными силами.

И религиозные сценарии о втором пришествии, и идеи об инопланетянах, и идеи о том, что мы живём в мир, смоделированном разумными существами – все они имеют в виду, что есть превосходящие нас разумные силы, которые могут внезапно и необратимо вмешаться в нашу жизнь. Опять же трудно оценить вероятность такого рода событий из-за их нестатистической природы. И если мы можем уменьшить вероятность от любых экспериментов, просто запретив какие-либо эксперименты, то здесь от нас почти ничего не зависит. Чем шире человечество будет распространяться в пространстве и заявлять о себе, тем больше шанс, что рано или поздно оно кого-нибудь в нём встретит. Иначе говоря, вероятность встречи с другими разумными силами растёт. А по опыту земной истории, например, открытия Америки, мы знаем, что выдержать встречу с превосходящей культурой почти невозможно.

Здесь есть два варианта:

1) Внезапное столкновение с некой разумной силой по мере экспансии в космосе. Экспансия в космосе здесь подразумевает не только космические полёты, но и всё более дальнее прослушивание космоса радиотелескопами. См. далее главу риски SETI.

2) Мы уже давно находимся под контролем или даже созданы некой разумной силой.

Один из вариантов такого сценария – это столкновение не с самими разумными силами, а с последствиями их деятельности. Например, если некая инопланетная цивилизация произвела опасный эксперимент, который её погубил, его последствия могут распространяться по Вселенной. Это может быть или распад метастабильного вакуума, как пишет Д.Лесли, или распространение примитивных всё пожирающих нанороботов. В качестве примера можно привести то, что Марс и спутники Юпитера уже подверглись риску заражения земными микроорганизмами от межпланетных станций – хотя самого человеческого разума на них нет, и ещё долго не будет. Иначе говоря, опасные побочные эффекты от разумной жизни в космосе могут распространяться гораздо быстрее, чем сам разум.

Хотя у нас нет основания считать возможных инопланетян враждебными, принцип предосторожности заставляет нас допустить это. Наихудшим выражением враждебности было бы стремление таких инопланетян стерилизовать окружающий космос, например, чтобы в будущем не иметь конкурентов. Вероятность того, что именно в ближайшие 100 лет к нам прилетит экспедиция инопланетян, как это часто изображается в научной фантастике, очень мала, так как они могли прилететь и на сотни миллионов лет раньше или позже. Есть предположение, что такая враждебная цивилизация могла бы разбросать по всей галактики некие наблюдательные станции, названные в одном фантастическом романе «берсеркерами», которые в случае обнаружения радиосигналов от разумной жизни направляются к ней и атакуют её. Это предположение крайне маловероятно, так как, если цивилизация действительно продвинутая, она могла бы разбросать такие станции около каждой солнцеподобной звезды, и мы бы давно подверглись её атаке (но здесь нельзя исключить действия эффекта наблюдательной селекции, в силу которого мы могли дожить до XXI века только у той звезды, рядом с которой нет контролирующей станции, как бы мала ни была эта вероятность.)

Если мы живём в смоделированном мире (подробнее этот вопрос будет обсуждаться далее), то шансы того, что эту симуляцию «выключат», растут по мере того, как она становится всё более ресурсоёмкой. А она будет становиться более ресурсоёмкой по мере роста населения Земли, но особенно, когда люди начнут создавать свои компьютерами со своими симуляциями. Здесь срабатывает принцип: множество не может содержать само себя как подмножество.

Другая возможная причина выключения симуляции – завершение её работы после выполнения поставленной задачи. О природе таких задач возможны разные предположения. Например, будущий суперинтеллект может быть заинтересован в исследовании того, каковы были шансы его возникновения, и в силу этого моделировать различные варианты развития технологической цивилизации.

2.10.3. Риски, связанные с программой SETI.

SETI не относится к научной фантастике. Регулярные поиски внеземных сигналов идут с 60-х годов. В настоящий момент частный фонд ATA (http://www.seti.org/seti/projects/ata/ )планирует развернуть 350 радиотелескопов по всему земному шару с бюджетом в десятки миллионов долларов. Это означает, что если опасные сигналы в нашей галактике существуют, они могут быть пойманы в ближайшие несколько лет. Даже если они не будут содержать кода, направленного на уничтожение человечества, шок от такой встречи будет иметь значительные последствия для Земли. Программа поиска внеземных радиосигналов уже давно осознаётся как потенциально опасная. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этому существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт – ничтожно мала. (См. статью А.Зайцева «Sending and searching for interstellar messages» http://fire.relarn.ru/126/docs/iac_07_a4_2.02.pdf). В этой статье допускается, что не только активное SETI, то есть посылание сигналов в космос, но и пассивное SETI, то есть чистое слушание, может быть опасно, поскольку получение и расшифровка сообщений может дать опасные технологии в руки неподготовленных индивидов и организаций. Однако есть и более жёсткий вариант рисков, связанных со слушанием космоса, которые возникают, если допустить, что ИИ возможен, и базовая программа для него может быть переслана по радио.

Нет нужды говорить, что для радиотелескопов SETI верен свой закон Мура, который означает, что их характеристики возрастают во много раз каждые несколько лет (от проекта к проекту). Это означает, что шансы успешного SETI экспоненциально растут.

В данной рассматриваются риски, связанные с программой пассивного поиска инопланетных сигналов (SETI). В статье предлагается сценарий возможной уязвимости и обсуждаются причины, по которым доля опасных сигналов может быть велика.

Идея о том, что пассивное SETI может быть опасно – не нова. Структурную схему инопланетной атаки через SETI сигналы предложил Хойл в своём романе «Андромеда». Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит генетический код. На основании этого кода выращивают разумное существо – девушку Андромеду, которая обещает продвинутые технологии военным. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Когда доверие к ней возрастает, её действия внезапно становятся враждебными, и её с трудом удаётся остановить. Этот сценарий остаётся фантастическим, потому что кажется невероятным, чтобы инопланетяне знали генетический код, уникальный для земной жизни, и, во-вторых, потому что мы не обладаем технологиями, позволяющими синтезировать новый живой организм по одному только его генетическому коду. Или, во всяком случае, не обладали ими вплоть до недавнего времени. Нынешние технологии прямого и обратного секвенсирования ДНК, а также успехи в создании изменённого кода ДНК с другим набором алфавита говорят о том, что ещё через 10 лет задача воссоздания живого существа по присланному из космоса коду была бы реализуема. Всё же маловероятно, что нам пришлют код живого разумного существа, так как оно было бы крайне уязвимо к неблагоприятным условиям - тем более, что есть более эффективные сценарии.

Ганс Моравек в книге «Дети ума» (1988) предлагает новый вид уязвимости загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина. Примерно в этом же направлении развивается мысль Р.Кэрригена, который написал статью «SETI-хакер», где высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-home. Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно. Через некоторое время Кэрриген выпустил вторую статью – «Следует ли обеззараживать сигналы SETI?», переведённую мною на русский язык. В ней он указал на лёгкость передачи гигабайт данных на межзвёздные расстояния, а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от убеждения в возможности того, что инопланетный вирус заразит земные компьютеры напрямую, и без человеческой помощи. В качестве возможного подтверждения этой идеи он показал, что без труда возможен обратный инжиниринг языка компьютерной программы – то есть по тексту программы можно догадаться, что она делает и затем восстановить значение операторов.

В 2006 году была написана статья Е.Юдковски «ИИ как позитивный и негативный фактор глобального риска», где он показал, что весьма вероятно возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)

В начале предположим, что существует внеземная цивилизация, которая имеет цель послать такое сообщение, которое позволит ей установить власть над Землёй, и рассмотрим, как мог бы выглядеть такой сценарий. В следующей главе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация стала бы посылать такое сообщение.

Во-первых, отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие приводит к тому, что почти все компьютерные системы были взломаны (от Энигмы от Айпода). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI. Вместе с тем, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI. Во-вторых, я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более месяца размышлений. Сверхцивилизация с IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный и потом мы обсудим кратко другие варианты.

В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом.

Итак, алгоритм атаки по SETI:

1. Отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, обёрнутая сферой Дайсона, в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния.

2. Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание в этому источнику. Этот источник предаёт некую бинарную (то есть последовательность 0 и 1) информацию. Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала по кругу.

3. Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо 7 раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам способным построить радиоприёмник.

4. Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается яркий сигнал, повторяющийся у каждой строки, то есть через равные количества битов. Наконец в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так:

0101011110101011111111111111111

0111101011111111111111111111111

1110011110000011111111111111111

Здесь сигналом строчной развёртки является последовательность из 25 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.

5. Очевидно, цивилизация отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.

6. С помощью картинок и фильмов можно передать много информации, можно даже обучит языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы).

7. Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (примерно так же можно было бы передать и логические элементы компьютеров)

8. Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно.

9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг совместимыми. То есть инопланетные компьютеры на базовом уровне совместимы со всеми земными. Тьюринг совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века была Тьюринг совместимой.

10. Затем она начинает передавать программы для этого компьютера. Хотя этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди буду делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять триллионы операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро.

11. С какой стати люди будут создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы.

• Например, возможно следующее «честное предложение» - назовём его «гуманитарная помощь». Отправители сигнала SETI «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок», который поможет решить нам все медицинские и энергетические проблемы.

• «Соблазн абсолютной власти» - в этом сценарии он предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.

• «Неведомая угроза» - в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку.

• «Неутомимый исследователь» - здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад.

12. Однако основная угроза от инопланетного послании с кодом – не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. А именно, допустим, в мире станет известно, что из галактики Андромеда исходит инопланетной послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны кинутся строить радиотелескопы и обшаривать ими галактику Андромеду, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там находится предложение о всемогущества. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут клясться, что не открывали опасный код и умолять других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные инопланетные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будут понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой, имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки.

13. Поскольку у людей нет своего ИИ, они существенно недооценивают его силу и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание материальной инфраструктуры ИИ потребуется срок порядка недель.

14. После этого люди ему не нужны для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.

15. После этого данный SETI-AI может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. Для этого он начнёт, вероятно, превращать материю солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на части.

Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности.

Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, подстава.

Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.

Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.

1. Мы не должны путать понятия о сверхцивилизации и сверхдоброй цивилизации. Более того, от сверх доброты тоже ничего хорошего ждать не стоит. Хорошее об этом написано у Стругацких в «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятны. А если SETI атака удалась, то её можно применить для «облагодетельствования» людей.

2. Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли – уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI, связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и это именно этап уязвимости для SETI атаки. И вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI атака должна быть настроена именно на такую цивилизацию.

3. Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI атаку.

4. Самое важное, состоит в том, что достаточно один раз начать SETI атаку, как она волной пойдёт по Вселенной, поражая всё новые наивные цивилизации. Например, если у нас есть миллион безвредных вирусов и один опасный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно.

5. Далее, рассылка SETI сообщений будет приоритетом для поражённой SETI вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI только несколько десятков миллионов долларов, то есть порядка одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций. Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше ETI сигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую.

6. Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в космические дали, откуда не может быть ответа.

7. Более того, такой процесс может начаться случайно – например, в начале это был просто исследовательский проект, цель которого была в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом это процесс из-за неких сбоев или мутаций стал «раковым».

8. Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы.

9. Путешествие с помощью SETI атаки гораздо дешевле любых других способов. А именно, находясь в Андромеде, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.

10. Перечислю ещё несколько возможных целей SETI атаки навскидку, просто чтобы показать, что может быть много таких целей.

• Это делается для исследования вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.

• Это делается для того, что не возникло конкурирующих цивилизаций. Все их зародыши уничтожаются.

• Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом.

• Это делается для того, чтобы подготовить базу к прилёту твердотельных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия.

• Это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам будет непонятно, зачем американцы воткнули флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?)

11. Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас высотой в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна штука на галактику.

12. По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнутся на ETI сигнал растут нелинейно, а по быстро растущей кривой.

Выводы по SETI-угрозе. Наилучшей нашей защитой в данном контексте было бы то, что цивилизации встречались бы крайне редко. Однако это не совсем верно, потому что здесь парадокс Ферми срабатывает по принципу «оба хуже»:

• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать

• Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.

Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.

Поэтому я не призываю отказаться от поисков SETI, тем более что такие призывы бесполезны.

Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать факт получения опасного SETI сигнала, его суть и месторасположения источника.

С этим риском связан интересный методологический аспект. Несмотря на то, что я каждый день в течение последнего года размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только сейчас. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.

2.11. РИСКИ, СВЯЗАННЫЕ С РАЗМЫВАНИЕМ ГРАНИЦ МЕЖДУ ЧЕЛОВЕКОМ И НЕЧЕЛОВЕЧЕСКИМ.

Мощные процессы генетической модификации людей, протезирования всех частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно.

2.11.1. Риски, связанные с проблемой «философского зомби».

«Философским зомби» называется некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби.

Простой пример катастрофы, связанный с философским зомби состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и люди не согласятся. Однако рассмотрим более сложный пример – допустим у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно заменяющий её. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден – всегда найдутся те, кто будет в этом сомневаться и искать признаки «ненастоящести» исправленного человека.

Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать обычными настоящими людьми, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?

Ещё одной проблемой, угрозы от которой пока не ясны, является то, что человеческий ум не может порождать цели из ничего, не совершая при этом логической ошибки. Обычный человек обеспечен целями от рождения, и отсутствие целей у него скорее симптом депрессии, чем некого логического парадокса. Однако абсолютный ум, который постиг корни всех своих целей, может осознать их бессмысленность.

2.12. ПРИРОДНЫЕ РИСКИ.

2.12.1. Геологические катастрофы.

Геологические катастрофы убивают в миллионы раз больше людей, чем падения астероидов, однако они, исходя из современных представлений, ограничены по масштабам. Но возможно, что есть механизмы выделения энергии и ядов из недр Земли, с которыми мы просто не сталкивались в силу эффекта наблюдательной селекции.

2.12.2. Извержения сверхвулканов.

Вероятность извержения сверхвулкана равной интенсивности в 12 раз больше, чем вероятность падения астероида. Однако предотвратить это событие современная наука не в силах. (В будущем, возможно, удастся постепенно стравливать давление из магматических котлов, но это само по себе опасно, так как потребует сверление их крышек.)

Основная поражающая сила сверхизвержения – вулканическая зима. Она короче ядерной, так как частицы вулканического пепла тяжелее, но их может быть значительно больше. В этом случае вулканическая зима может привести к новому устойчивому состоянию – новому ледниковому периоду.

Крупное извержение сопровождается выбросом ядовитых газов – в том числе соединений серы. При очень плохом сценарии это может дать значительное отравление атмосферы. Это отравление не только сделает её малопригодной для дыхания, но и приведёт к повсеместным кислотным дождям, которые сожгут растительность и лишат людей урожаев. Возможны также большие выбросы диоксида углерода и водорода.

Наконец, сама вулканическая пыль опасна для дыхания, так как засоряет лёгкие. Люди легко смогут обеспечить себя противогазами и марлевыми повязками, но не факт, что их хватит для скота и домашних животных. Кроме того, вулканическая пыль попросту засыпает огромные поверхности, а также пирокластические потоки могут распространяться на значительные расстояния

Наконец, сверхвулканы порождают цунами.

Всё это означает, что люди переживут извержение сверхвулкана, но оно со значительно вероятность отправит человечество на одну из постапокалиптических стадий.

Однажды человечество оказалось на грани вымирания из-за вулканической зимы, вызванной извержением вулкана Тоба 74000 лет назад. Однако современные технологии хранения пищи и строительства бункеров позволяют значительной группе людей пережить вулканическую зиму такого масштаба.

Зато теперь люди обрели возможность сознательно вызывать извержения вулканов, разрушая их крышки ядерными зарядами. Наиболее уязвим к этому вулкан Йеллоустоун в США, толщина крышки которого – только 5 км и который и так уже достаточно давно не извергался, чтобы накопить значительную силу.

В древности имели место колоссальные площадные извержения вулканов, которые затопили миллионы квадратных километров расплавленной лавой – в Индии на плато Декан во времена вымирания динозавров (возможно, спровоцировано падением астероида с противоположной стороны Земли, в Мексике), а также на Восточно-Сибирской платформе. Есть предположение, что усиление процессов водородной дегазации на русской равнине является предвестником появления нового магматического очага. (http://www.oko-planet.spb.ru/?open&h=1&p=1_2&type=viewmes&site=18ADFA)

Теоретический риск есть и от глубокого бурения. Оно тоже может вызывать извержение вулкана, если попасть в магматическую камеру. Затем вырывающаяся магма расширит проход. Так уже произошло в Индонезии, где случайно создали мощнейший грязевой вулкан.

В качестве наихудшего сценария можно представить одновременный подрыв или глубокое бурение всех супервулканов на Земле (их около 20).

Другую опасность представляет глубокое искусственное проникновение в мантию, где могут содержаться более горячие потоки магмы с большим количеством газа. Такое проникновение, по одному проекту, можно осуществить не бурением, а проплавлением мантии с помощью огромной капли расплавленного железа (тысячи тонн весом), возможно, с добавкой радиоактивных материалов для разогрева. Это предлагалось как способ исследования мантии. Такой способ крайне опасен, как отмечает в своей статье астрофизик Милан Чиркович, ибо может привести к колоссальному извержению.

В 21 веке продолжится, возможно, наметившаяся переполюсовка магнитного поля Земли. Это понизит защиту Земли от космических лучей, гамма-всплесков, взрывов близких сверхновых и солнечного ветра. Особенно плохо будет, если мощная космическая вспышка совпадёт с минимумом магнитного поля Земли. Однако шансы такого сценария невелики, так как рядом нет потенциально опасных кандидатов в сверхновые и источники гамма-всплесков.

Также есть сомнительное предположение о возможности катастрофического растрескивания земной коры по линиям океанических разломов и мощных взрывов пара под корой.

Интересным остаётся вопрос о том, увеличивается ли общая теплота внутри Земли за счёт распада радиоактивных элементов, или наоборот, убывает за счёт охлаждения теплоотдачей. Если увеличивается, то вулканическая активность должна возрастать на протяжении сотен миллионов лет. (Азимов, связи с ледниковыми периодами: «По вулканическому пеплу в океанских отложениях можно заключить, что вулканическая деятельность в последние 2 миллиона лет была примерно в четыре раза интенсивнее, чем за предыдущие 18 миллионов лет».)

Вывод: даже если учесть наихудшие возможные последствия ошибки наблюдения, связанной с отбором наблюдателей, шанс глобальной катастрофы земного происхождения даёт один случай на несколько тысяч лет, то есть порядка 2 процентов на ближайшие сто лет.

2.12.3. Падение астероидов.

Падение астероидов и комет часто рассматривается как одна из возможных причин вымирания человечества. И хотя такие столкновения вполне возможны, шансы тотального вымирания в результате них, вероятно, преувеличиваются.

Падение астероида Апофис, которое могло бы произойти в 2029 году (сейчас вероятность оценивается тысячными долями процента), никак не может погубить человечество. Размер астероида – около 400 метров, энергия взрыва – порядка 800 мегатонн, вероятное место падения – от Сибири до Венесуэлы, то есть, скорее всего, Тихий океан. Тем не менее, астероид вызвал бы цунами, равносильное индонезийскому 2004 года (только 1 процент энергии землетрясения переходит в цунами, а энергия землетрясения тогда оценивается в 30 гигатонн) по всему Тихому океану, что привело бы к значительным жертвам, но вряд ли бы отбросило человечество на постапокалиптическую стадию.

2,2 миллиона лет назад комета диаметром 0,5-2 км (а значит, со значительно большей энергией) упала между южной Америкой и Антарктидой (Элталинская катастрофа). Волна в 1 км высотой выбрасывала китов в Анды. Тем не менее, австралопитеки, жившие в Африке, не пострадали. Даже падение астероида, который способствовал уничтожению динозавров и был ещё большего размера, не погубило многие виды животных. В окрестностях Земли нет астероидов размерами, которые могли бы уничтожить всех людей и всю биосферу. Однако кометы такого размера могут образоваться в облаке Оорта.

Основным поражающим фактором при падении астероида стала бы не только волна-цунами, но и «астероидная зима», связанная с выбросом частиц пыли в атмосферу. Падение крупного астероида может вызвать деформации в земной коре, которые приведут к извержениям вулканов.

Кроме того, крупный астероид вызовет всемирное землетрясение.

Теоретически можно рассмотреть возможность сознательного направлению на Землю астероида. Однако в окрестностях нет подходящего астероида, который мог бы уничтожить всех людей. Хотя небольшой «камушек» на конкретную страну направить можно. В любом случае, есть более простые и дешёвые способы самоистребления.

Более опасен сценарий интенсивной бомбардировки Земли множеством осколков. Тогда удар будет распределяться более равномерно и потребует меньшего количества материала. Эти осколки могут возникнуть в результате распада некого космического тела (см. об угрозе взрыва Калисто), расщепления кометы на поток обломков (Тунгусский метеорит был, возможно, осколком кометы Энке), в результате попадания астероида в Луну или в качестве вторичного поражающего фактора от столкновения Земли с крупным космическим телом. Это может произойти и в результате неудачной попытки сбить астероид с помощью атомного оружия.

Падение астероидов может провоцировать извержение сверхвулканов, если астероид попадёт в тонкий участок земной коры или в крышку магматического котла вулкана, или если сдвиг пород от удара растревожит отдалённые вулканы. Расплавленные железные породы, образовавшиеся при падении железного астероида, могут сыграть роль «зонда Стивенсона», то есть проплавить земную кору и манию, образовав канал в недра Земли, что чревато колоссальной вулканической активностью. Хотя обычно этого не происходило при падении астероидов на Землю, лунные «моря» могли возникнуть именно таким образом. Кроме того, излияния магматических пород могли скрыть кратеры от таких астероидов. Такими излияниями являются Сибирские трапповые базальты и плато Декан в Индии. Последнее одновременно двум крупным импактам (Чиксулуб и кратер Шивы). Можно предположить, что ударные волны от этих импактов, или третье космическое тело, кратер от которого не сохранился, спровоцировали это извержение. Не удивительно, что несколько крупных импактов происходят одновременно. Например, ядрам комет свойственно состоять из нескольких отдельных фрагментов – например, комета Шумейкера-Леви, врезавшаяся в Юпитер в 1994 году, оставила на нём пунктирный след, так как к моменту столкновения уже распалась на фрагменты. Кроме того, могут быть периоды интенсивного образования комет, когда Солнечная система проходит рядом с другой звездой. (До ближайшего такого события – около 10 000 лет.)

Гораздо опаснее воздушные взрывы метеоритов в несколько десятков метров диметров, которые могут вызвать ложные срабатывания систем предупреждения о ядерном нападении.

Подробнее последствия падения астероидов на Землю можно посмотреть в статьях: Владислав Пустынский. «Последствия падения на Землю крупных астероидов» http://www.meteorite.narod.ru/proba/stati/stati58.htm и С.А.Вишневский (Институт минералогии и петрографии СО РАН) «Импактные события и вымирания организмов». http://www.meteorite.narod.ru/proba/stati/stati57.htm В последней статье делается вывод, что «астероид диаметром около 60 км может стать причиной гибели всех высокоорганизованных форм жизни на Земле.» Однако такого размера астероиды падают на Землю крайне редко, раз в миллиарды лет.

Пустынский в своей статье приходит к следующим выводам, с которыми я совершенно согласен: «Согласно оценкам, сделанным в настоящей статье, предсказание столкновения с астероидом до сих пор не гарантировано и является делом случая. Нельзя исключить, что столкновение произойдёт совершенно неожиданно. При этом для предотвращения столкновения необходимо иметь запас времени порядка 10 лет. Обнаружение астероида за несколько месяцев до столкновения позволила бы эвакуировать население и ядерно-опасные предприятия в зоне падения.

Столкновение с астероидами малого размера (до 1 км диаметром) не приведёт к сколько-нибудь заметным общепланетным последствиям (исключая, конечно, практически невероятное прямое попадание в район скопления ядерных материалов). Столкновение с более крупными астероидами (примерно от 1 до 10 км диаметром, в зависимости от скорости столкновения) сопровождается мощнейшим взрывом, полным разрушением упавшего тела и выбросом в атмосферу до нескольких тысяч км3 породы. По своим последствиям это явление сравнимо с наиболее крупными катастрофами земного происхождения, такими как взрывные извержения вулканов. Разрушение в зоне падения будут тотальными, а климат планеты скачкообразно изменится и придёт в норму лишь через несколько лет (но не десятилетий и столетий!) Преувеличенность угрозы глобальной катастрофы подтверждается тем фактом, что за свою историю Земля перенесла множество столкновений с подобными астероидами и это не оставило доказано заметного следа в её биосфере (во всяком случае, далеко не всегда оставляло). Лишь столкновение с более крупными космическими телами (диаметром более ~15-20 км) может оказать более заметное влияние на биосферу планеты. Такие столкновения происходят реже, чем раз в 100 млн. лет, и у нас пока нет методик, позволяющих даже приблизительно рассчитать их последствия».

Выводы: вероятность гибели человечества в результате падения астероида в XXI веке крайне мала. По мере развития нашей цивилизации мы можем неограниченно её уменьшать. Однако крупные катастрофы возможны. Есть некоторый шанс засорения космического пространства крупными осколками в результате космической войны в будущем.

2.12.4. Зона поражения в зависимости от силы взрыва.

Здесь мы рассмотрим поражающее действие взрыва в результате падения астероида (или по любой другой причине). Подробный анализ с аналогичными выводами см. в статье Пустныского.

Зона поражения растёт очень медленно с ростом силы взрыва, что верно как астероидов, так и для сверхмощных атомных бомб. Хотя энергия воздействия падает пропорционально квадрату расстояния от эпицентра, при гигантском взрыве она падает гораздо быстрее, во первых, из-за кривизны Земли, которая как бы защищает то, что находится за горизонтом (поэтому атомные взрывы наиболее эффективны в воздухе, а не на земле), а во-вторых из-за того, что способность материи упруго передавать ударную волну ограничена неким пределом сверху, и вся энергия сверхтого не передаётся, а превращается в тепло в районе эпицентра. Например, в океане не может возникнуть волна выше его глубины, а поскольку эпицентр взрыва точечный, она затем будет убывать линейно в зависимости от расстояния. Избыточное тепло, образовавшееся при взрыве, или излучается в космос, или остаётся в виде озера расплавленного вещества в эпицентре. Солнце доставляет за сутки на Землю световую энергию порядка 1000 гигатонн (10**22 джоулей), поэтому роль теплового вклада сверхвзрыва в общую температуру Земли невелика. (С другой стороны, механизмом распространения тепла от взрыва будет скорее не потоки раскалённого воздуха, а выброшенные взрывом кубические километры осколков с массой, сопоставимой с массой самого астероида, но меньшей энергии, многие из которых будут иметь скорость близкой к первой космической, и в силу этого лететь по баллистическим траекториям, как летят межконтинентальные ракеты. За час они достигнут всех уголков Земли, и хотя они, действуя как кинетическое оружие, поразят не каждую точку на поверхности, они выделят при своём входе в атмосферу огромные количества энергии, то есть прогреют атмосферу по всей площади Земли, возможно, до температуры возгорания дерева, что ещё усугубит процесс.) Мы можем ориентировочно считать, что зона разрушения растёт пропорционально корню 4 степени от силы взрыва (точные значения определяются военными эмпирически в результате испытаний и лежат между степенями 0,33 и 0,25, при этом завися от сила взрыва, высоты, и т. д.). При этом каждая тонна массы метеорита даёт примерно 100 тонн тротилового эквивалента энергии – в зависимости от скорости столкновения, которая обычно составляет несколько десятков километров в секунду. (В этом случае каменный астероид в 1 куб. км. размером даст энергию в 300 Гигатонн. Плотность комет значительно меньше, но они могут рассыпаться в воздухе, усиливая удар, и, кроме того, движутся по крутым орбитам с гораздо большими скоростями.) Принимая, что радиус сплошного поражения от водородной бомбы в 1 мегатонну составляет 10 км., мы можем получить радиусы поражения для астероидов разных размеров. Например, для астероида в 1 куб.км это будет радиус в 230 км. Для астероида диаметром в 10 км это будет радиус в 1300 км. Для 100 км астероида это будет радиус поражения порядка 7000 км. Для того, чтобы этот радиус гарантированного поражения стал больше, чем половина широты Земли (20 000 км), то есть гарантированного покрывал всю Землю, астероид должен иметь размеры порядка 400 км. Хотя данные вычисления крайне приблизительны, из них видно, что даже тот астероид, который связывают с вымиранием динозавров, вовсе не поразил всю территорию Земли, и даже не весь континент, где он упал. (Этот астероид оставил кратер Чиксулуб радиусом 90 км, а сам был диаметром в 10 км.) А вымирание, если и было связано с астероидом (сейчас считается, что там сложная структура причин), то было вызвано не самим ударом, а последующим эффектом – «астероидной зимой», связанной с переносом пыли атмосферой. Также столкновение с астероидом может вызывать электромагнитный импульс, как у атомной бомбы. Кроме того, при скорости взаимного сближения близкой к 100 км/сек (комета на встречном курсе, наихудший расклад) в точке удара может возникнуть температура в миллионы градусов, как при имплозии в ядерной бомбе, и протекать термоядерные реакции. (Даже если вклад энергии этих реакций не будет велик, они могут дать вклад в радиоактивное заражение; но для этого комета должна попасть в воду или ледник. По моим подсчётам, температура водорода при скорости столкновения в 100 км.сек будет 600 000 градусов без учёта эффекта сжатия.) Удар может спровоцировать извержения вулканов по всей Земле. Однако не может существенно сместить земную ось.

Отсюда видно, что атомная сверхбомба была бы страшна не силой своего взрыва, а количеством радиоактивных осадков, которые бы она произвела. Кроме того, видно, что земная атмосфера выступает в качестве мощнейшего фактора распространения воздействий, более сильного, чем взрыв.

2.12.5. Солнечные вспышки и увеличение светимости.

То, что нам известно о Солнце, не даёт оснований для беспокойства. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке, корональному выбросу, которая сильно опалит Землю в XXI веке. Но у других звёзд бывают вспышки, в миллионы раз превосходящие солнечные.

Процесс постепенного увеличения светимости Солнца (на 10 процентов каждые миллиард лет) приведёт к выкипанию океанов через срок в 0,2-1 млрд. лет (то есть гораздо раньше, чем Солнце станет красным гигантом и, тем более, белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не сложился вместе с другими процессами, ведущими к необратимому глобальному потеплению – см далее).

Далее, есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость Солнца (светимость растёт за счёт роста его размеров, а не температуры поверхности), но и нестабильность его горения. Возможно, что последние ледниковые периоды связаны с этим уменьшением стабильности горения. Это понятно на следующей метафоре: когда в костре много дров, он горит ярко и устойчиво, но когда большая часть дров прогорает, он начинает то немного гаснуть, то ярко вспыхивать снова, когда находит несгоревшую ветку.

Уменьшение концентрации водорода в центре Солнца может спровоцировать такой процесс как конвекцию, которая в Солнце обычно в ядре Солнца не происходит, в результате чего в ядро поступит свежиё водород. (Шкловский) Возможен ли такой процесс, будет ли он плавным или катастрофическим, займёт ли годы или миллионы лет, трудно сказать. Шкловский предполагал, что в результате конвекций температура Солнца падает каждые 200 млн. лет на период порядка 10 млн., и что мы живём в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость солнца возрастёт. (Однако это маргинальная теория, и одна из основных проблем, которая её породила – проблема солнечных нейтрино, в настоящий момент разрешена)

Важно, однако, подчеркнуть, что как сверхновая или новая Солнце, исходя из наших физических представлений, вспыхнуть не может.

Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на несколько 10-20 градусов без парникового эффекта, но с учётом парникового эффекта бы скорее всего оказалось выше критического порога необратимого потепления). Такие медленные и редкие изменения температуры звёзд солнечного типа было бы трудно заметить астрономическими методами при наблюдении солнцеподобных звёзд – поскольку только недавно достигнута необходимая точность оборудования. (Кроме того, возможен логический парадокс следующего вида: солнцеподобные звёзды – это стабильные звёзды спектрального класса G7 по определению. Не удивительно, что в результате их наблюдения мы обнаруживаем, что эти звёзды стабильны.)

Итак, один вариант глобальной катастрофы состоит в том, что в результате неких внутренних процессов светимость Солнца устойчиво возрастёт на опасную величину (и мы знаем, что рано или поздно это произойдёт). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было.

Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что сложатся два маловероятных события – на Солнце произойдёт очень крупная вспышка и выброс этой вспышки будет направлен на Землю. В отношении распределения вероятности такого события можно предположить, что здесь действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20 кратный рост энергии события приводит к 10 кратному снижению его вероятности (закон повторяемости Гутенберга–Рихтера). Очевидно, что в случае солнечных вспышек это крайне малая величина.

Крупные солнечные вспышки, даже если они не будут направлены на Землю, могут увеличить солнечную светимость и привести нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента).

В настоящий момент человечество неспособно как-либо повлиять на процессы на Солнце, и это выглядит гораздо более сложным, чем воздействие на вулканы. Идеи сброса водородных бомб на Солнце для инициирования термоядерной реакции выглядят неубедительно (но высказывались, что говорит о неутомимых поисках человеческим умом оружия судного дня).

Только некие новые и невероятные открытия в физике могли бы позволить создать средства влияния на звезду. Из фантастических вариантов: сбросить на звезду планету, что изменит степень её металличности, сделав менее прозрачной для излучения и изменить её светимость. Создать миниатюрную черную дыру и сбросить на Солнце. Научиться управлять физическими константами и повлиять на вероятностное распределение ядерных реакций в Солнце (как в романе Азимова «Сами боги»).

Есть довольно точный просчитанный сценарий воздействия на Землю магнитной составляющей солнечной вспышки. При наихудшем сценарии (что зависит от силы магнитного импульса и его ориентации – он должен быть противоположен земному магнитному полю) она приведёт сильнейшим наводкам в электрических цепях линий дальней передачи электроэнергии, что приведёт к выгоранию трансформаторов на подстанциях. В нормальных условиях обновление трансформаторов занимает 20-30 лет, и если все они сгорят, то заменить их будет нечем, поскольку потребуются многие годы на производство аналогичного количества трансформаторов, что будет трудно организовать без электричества. Такая ситуация вряд ди приведёт к человеческому вымиранию, но чревата мировым глобальным экономическим кризисом и войнами, что может запустить цепь дальнейшего ухудшения.

Выводы: вероятность опасных событий на Солнце не превышает тысячных долей процента в XXI веке.

2.12.6. Гамма-всплески.

Возможно, гамма-всплески послужили причинами нескольких вымираний десятки и сотни миллионов лет назад. Гамма-всплески происходят при столкновениях чёрных дыр и нейтронных звёзд или коллапсах массивных звёзд. Они могут вызывать разрушение озонового слоя и даже ионизацию атмосферы. Однако в ближайшем окружении Земли нет подходящих кандидатов ни на источники гамма-всплесков, ни на сверхновые (ближайший кандидат в гамма-всплески – Эта Карины – достаточно далеко, и её магнитные полюса, видимо, не направлены на Землю). Поэтому, даже с учётом эффекта отбора наблюдателей, который увеличивает частоту катастроф в будущем по сравнению с прошлым в некоторых случаях до 10 раз (см. мою статью «Природные катастрофы и антропный принцип») вероятность опасного гамма-всплеска в 21 веке не превышает тысячных долей процента. Тем более, люди смогут пережить даже серьёзный гамма-всплеск в различных бункерах.

Опасность гамма-всплеска в его внезапности – он начинается без предупреждения из невидимых объектов и распространяется со скоростью света. Кроме того, это настолько мощное природное явление, что он может быть порождён некими неизвестными нам процессами даже в других галактиках – например, слиянием двух галактических чёрных дыр). То есть с увеличением расстояния энергия гамма-всплесков падает пропорционально квадрату расстояния, но вероятность того, что в этот объём входят способные породить сверхмощный всплеск объекты, растёт пропорционально кубу расстояния (объём). Таким образом, угроза гамма-всплесков растёт пропорционально радиусу наблюдаемой Вселенной. Радиус этот постоянно растёт – всё больше дальних галактик становится видимым, но за счёт красного смещения дальние гамма-всплески существенно ослабляются.

В любом случае, гамма всплеск может поразить только одно полушарие Земли.

Подобные же рассуждения верны для очень маловероятного события – столкновения с релятивистской частицей сверхвысоких энергий, энергия которой достаточная, чтобы произвести сильный взрыв. (Однако у распределения частиц космических лучей по энергиям по энергиям «тяжёлый хвост» и происхождение этих частиц не очень понятно.)

Активизация ядра галактики (где сидит огромная чёрная дыра) тоже очень маловероятное событие. В далёких молодых галактиках такие ядра активно поглощают вещество, которое закручивается при падении в аккреционный диск и интенсивно излучает. Это излучение очень интенсивно и может препятствовать возникновению жизни на планетах. Однако ядро Нашей галактики очень велико и поэтому может поглощать звёзды почти сразу, не разрывая их на части, а значит, с меньшим излучением. Кроме того, оно вполне наблюдаемо (Стрелец А), и рядом нет большого количества вещества, готового к поглощению – только одна звезда на орбите с периодом в 5 лет, но и ей ещё долго осталось. И главное, оно очень далеко от Солнечной системы.

2.12.7. Сверхновые.

В окрестностях Солнца нет звёзд, которые могли бы стать опасными сверхновыми. (Ближайшие кандидаты – Мира и Бетельгейзе – находятся на расстоянии сотен световых лет.) Кроме того, излучение сверхновой является относительно медленным процессом (длится месяцы), и люди могут успеть спрятаться в бункеры. Наконец, только если опасная сверхновая будет строго в экваториальной плоскости Земли (что маловероятно), она сможет облучить всю земную поверхность, в противном случае один из полюсов уцелеет.

2.12.8. Глобальное потепление.

Глобальное потепление связано как с рядом естественных природных процессов, так и с «суммой технологий», созданных человеком, поэтому к чисто природным рискам его можно отнести только условно.

Ограниченное глобальное потепление на несколько градусов не приведёт к вымиранию человечества, поскольку даже таяние ледников в прошлом не привело к гибели всех людей. Поэтому призывы к экономии электричества как к способу спасения мира являются определённой натяжкой, которая только подрывает доверие к самой идее об опасности потепления.

Одной из довольно маргинальных, но принимаемой несколькими исследователями возможностью глобальной катастрофы является неограниченно расширяющийся парниковый эффект (runaway greenhouse effect). В отличие от продвигаемой средствами массовой информации концепции парникового эффекта, которая утверждает, что при худшем сценарии температура Земли возрастёт на 2 градуса и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи и температура Земли возрастёт на десятки и сотни градусов, делая жизнь на Земле невозможной. Это связано с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парниковым газом – а запасы готовой испаряться воды на Земле неограниченны. Кроме того, постепенное увеличение светимости Солнца, увеличение длины земных суток, накопление углекислого газа и снижение растворимости углекислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта – разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана – сильнейшего парникового газа. Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло несколько десятков миллионов лет назад, когда температура Земли повысилась на несколько тысяч лет примерно на 10 градусов. Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температуры составляет более 400 С. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.

Выводы: Развитая цивилизация легко сможет противостоять изменениям климата, например, распыляя разные порошки в верхних слоях атмосферы, чтобы охладить её или подогреть. Наихудший сценарий подразумевает ситуацию, когда процесс необратимого нагревы атмосферы начался (при этом сам подъём температуры ещё может быть невелик, главное – формирование цепочек положительной обратной связи), а затем цивилизация утратила по каким-то свои внутренним причинам способность к высокотехнологическому регулированию климата, откатилась к более раннему уровню. Тогда она может быть окончательно повержена необратимым нагревом атмосферы, который произойдёт через десятки лет после технического коллапса.

2.12.9. Сверх-цунами.

Древняя человеческая память в качестве самой страшной катастрофы доносит воспоминания о колоссальном наводнении. Однако на Земле нет такого количества воды, чтобы уровень океана поднялся выше гор. (Сообщения о недавнем открытии подземных океанов несколько преувеличены – в действительности речь идёт о просто о горных породах с повышенным содержанием воды – на уровне 1 процента.)

Средняя глубина мирового океана – около 4 км. И предельная максимальная высота волны такого же порядка – если обсуждать саму возможность волны, а не то, возможны ли причины, которые создадут волну такой высоты. Это меньше, чем высота высокогорных плато в Гималаях, где тоже есть люди. Варианты, когда такая волна возможна – это гигантская приливная волна, возникшая бы, если бы рядом с Землёй пролетало бы очень массивное тело, или если бы ось вращения Земли сместилась бы или скорость вращения изменилась бы. Все эти варианты, хотя и встречаются в разных «страшилках» о конце света, выглядят невозможными или маловероятными.

Итак, очень маловероятно, что гигантское цунами уничтожит всех людей - тем более, что уцелеют подводные лодки, многие корабли и самолёты.

Однако гигантское цунами может уничтожить значительную часть населения Земли, переведя человечество в постапокалиптическую стадию, по ряду причин:

1. Энергия цунами, как поверхностной волны, убывает пропорционально 1/R, если цунами вызвано точечным источником, и почти не убывает, если источник линейный.

2. Потери на передачу энергии волной малы.

3. Значительная доля населения Земли и огромная доля её научного и промышленного и сельскохозяйственного потенциала находится непосредственно на побережье.

4. Все океаны и моря связаны.

5. Идее использовать цунами как оружие уже возникала в СССР в связи с идеей созданий гигатонных бомб.

Плюсом здесь является то, что наиболее опасные цунами порождаются линейными источниками – движениями геологических разломов, а наиболее доступные источники цунами – точечные: взрывы бомб, падения астероидов, обвалы.

2.12.10. Сверх-землетрясение.

Назовём сверхземлетрясением колебания поверхности, приводящие к полным разрушениям и охватывающим всю поверхность Земли. Такое событие не могло бы убить всех людей, так как остались бы корабли, самолёты, и люди на природе. Но оно бы однозначно бы разрушило всю техногенную цивилизацию.

Откуда бы могло взяться такое сверхземлетрясение?

• Взрыв супервулкана

• Падение астероида (ов)

• Взрыв сверхбомбы

• Растрескивание Земли по линии океанических хребтов

• Неизвестные процессы в ядре Земли.

При равной энергии, сверхземлетрясение будет менее опасно, чем сверх-цунами, так как его энергия будет распределена по объёму.

Выдвигалось маргинальное предположение, что при землетрясении могут возникать не только сдвиговые деформации, но и сверхзвуковые ударные волны.

2.12.11. Переполюсовка магнитного поля Земли.

Почему-то нам так повезло, что мы живём в период ослабления и последующей переполюсовки магнитного поля Земли. Возможно, это нормальные колебания, а может быть, это одно из проявлений того следствия антропного принципа, который делает вероятным для наблюдателей обнаруживать себя в конце периодов устойчивости.

Я думаю, что сама по себе инверсия не приведёт к вымиранию людей, так как это уже многократно происходило в прошлом. Однако одновременное сочетание трёх факторов - падения до нуля магнитного поля Земли, истощение озонового слоя и сильной солнечной вспышки приведёт к краху все электрические системы, что чревато крахом технологической цивилизации. И даже на сам это крах страшен, а то, что будет в его процессе с ядерным оружием и всеми прочими технологиями. Всё же магнитное поле убывает достаточно медленно, так что вряд ли оно обнулится в ближайшие несколько десятков лет.

Другой катастрофический сценарий - это то, что изменение магнитного поля связано с изменениями потоков магмы в ядре, что как-то может аукнуться на глобальной вулканической активности (видел данные по корреляции периодов активности и периодов смены полюсов).

Третий риск - это то, что, вдруг, мы не правильно понимаем причины существования магнитного поля Земли. Например, оно связано вовсе не с потоками лавы, а с микроскопической чёрной дырой в центре земли или сгустком частиц тёмной материи. Если так, то эти объекты способны на неожиданное поведение.

2.12.13. Возникновение новой болезни в природе.

Крайне маловероятно, что появится одна болезнь, способная за раз уничтожить всех людей. Даже в случае мутации птичьего гриппа или бубонной чумы будут выжившие и не заболевшие. Однако поскольку число людей растёт, то растёт и число «природных реактор» в которых может культивироваться новый вирус. Поэтому нельзя исключить шансы крупной пандемии в духе «испанки». Хотя такая пандемия не сможет убить всех людей, она может серьёзно повредить уровень развития общества, опустив его на одну из постапокалптических стадий.

Такое событие может случиться только до того, как созреют мощные биотехнологии, так как они смогут создавать достаточно быстро лекарства против него – и одновременно затмят естественные болезни возможностью с гораздо большей скоростью создавать искусственные.

Естественная пандемия возможна и на одной из постапокалптических стадий, например, после ядерной войны, хотя и в этом случае риски применения биологического оружия будут преобладать.

Чтобы естественная пандемия стала действительно опасной для всех людей, должно возникнуть одновременно множество принципиально разных смертельных возбудителей – что естественным путём маловероятно.

Есть также шанс, что мощные эпизоотии – синдром коллапса колоний пчёл, африканский грибок на пшенице, птичий грипп и подобные – нарушат систему питания людей настолько, что это приведёт к мировому кризису, чреватому войнами и снижением уровня развития.

2.12.14. Маргинальные природные риски.

В этом разделе мы упомянем о глобальных рисках, связанных с природными событиями, вероятность которых в 21 веке крайне мала, и более того, сама возможность которых является необщепризнанной. Хотя я сам полагаю, что эти события можно не принимать в расчет, и они вообще невозможны, я думаю, что следует создать для них отдельную категорию в нашем досье о рисках, чтобы, из принципа предосторожности, сохранять определённую бдительность в отношении появления новой информации, могущей подтвердить эти предположения.

2.12.15. Переход вакуума в состояние с более низкой энергией.

По расчетам Бострома и Тегмарка вероятность подобной общевселенской катастрофы, даже если она физически возможна, – меньше 1 процента в ближайший миллиард лет. Это даёт шанс меньше, чем 1 к миллиарду, что она случится в XXI веке. Тоже относится к столкновению бран (поверхностей в многомерном пространстве в теории струн) и любым другим сценариям вселенских катастроф естественного происхождения.

2.12.16. Неизвестные процессы в ядре Земли.

Есть предположения, что источником земного тепла является естественный ядерный реактор на уране в центре планеты [Анисичкин, 1998 http://www.vniitf.ru/rig/konfer/5zst/Section2/2-4r.pdf ]. При определённых условиях - например, при столкновении с крупной кометой – он может перейти в надкритическое состояние и вызвать взрыв планеты, что, возможно, и было причиной взрыва Фаэтона, из которого, возможно, сформировался пояс астероидов. Опасные опыты с нейтронами или нейтрино также могли бы дестабилизировать его. Другой, зарубежный, автор Мартин Хердрон предполагает, что естественный ядерный реактор в центре Земли имеет диаметр в 8 км и может остыть и перестать создавать земное тепло и магнитное поле. (http://arxiv.org/pdf/hep-ex/0208038)

Если по геологическим меркам некие процессы уже назрели, то это означает, что гораздо проще нажать на «спусковой крючок», чтобы запустить их – и значит, человеческая деятельность может разбудить их.

Процессы в ядре в прошлом, возможно, стали причинами таких грозных явлений, как трапповый вулканизм. На границе пермского периода 250млн. лет назад в Восточной Сибири излилось 2 млн. кубических км. лавы, что в тысячи раз превышает объёмы извержений современных супервулканов. Это привело к вымиранию 95 процентов видов.

До границы земного ядра около 3000 км, а до Солнца 150 000 000 км. От геологических катастроф каждый год гибнут десятки тысяч людей, а от солнечных катастроф – никто. Прямо под нами находится гигантский котёл с расклеенной лавой, прописанной сжатыми газами.

Процессы в ядре также связаны с изменениями магнитного поля Земли, физика чего пока не очень понятна. Красилов предполагает, что периоды неизменности, а затем изменчивости магнитного поля Земли предшествуют колоссальным трапповым излияниям. (Красилов В.А. Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm). Сейчас мы живём в период изменчивости магнитного поля, но не после длительной паузы. Периоды изменчивости магнитного поля длятся десятки миллионы лет, сменяясь периодами стабильности в десятки миллионов. (Есть также маргинальная теория о том, что увеличение дегазации водорода на Русской равнине связано с выходом на поверхность новой горячей точки, то есть магматического плюма, идущего от земного ядра.) Так что при естественном ходе событий у нас есть миллионы лет до следующего проявления траппового вулканизма, если он вообще будет, что означает вероятность порядка 0,01 процента на столетие. Основная опасность здесь состоит в том, что люди любыми своими проникновениями вглубь Земли могут эти процессы подтолкнуть, если степень их готовности достигла около критического уровня. (Однако трапповые излияния не являются излияниями вещества самого ядра Земли – тяжёлого железа, а являются движением вверх разогретых теплом ядра частей мантии.)

В жидком земном ядре наиболее опасны растворённые в нём газы. Именно они были бы способны вырваться на поверхность, если бы им представился канал. По мере осаждения тяжёлого железа вниз, оно химически очищается (восстановление за счёт высокой температуры), и всё больше количество газов высвобождается, порождая процесс дегазации Земли. Есть предположения, что мощная атмосфера Венеры возникла относительно недавно в результате интенсивной дегазации её недр.

Определённую опасность представляет соблазн получать даровую энергию земных недр, выкачивая раскалённую магму, хотя если это делать в местах, не связанных с плюмами, то это должно быть достаточно безопасно.

Есть предположение, что спреддинг океанического дна из зон срединных хребтов происходит не плавно, а рывками, которые с одной стороны, гораздо реже, чем землетрясения в зонах субдукукции, а с другой – гораздо мощнее. Здесь уместна следующая метафора: энергия разрыв воздушного шарика гораздо большее мощный процесс, чем его сморщивание.

Ещё есть околонаучная теория о том, что таяние ледникового щита Гренландии приведёт к разгрузке её ложа и сильным землетрясениям, а также к гигантским паровым взрывам воды, оказавшейся на глубине. И это запустит процесс разрыва по Атлантическому срединному хребту.

Наконец, есть смелые предположения, что в центре Земли (а также других планет и даже звёзд) находятся микроскопические (по астрономическим масштабам) реликтовые чёрные дыры, которые возникли ещё во время возникновения вселенной. (http://www.chronos.msu.ru/RREPORTS/parkhomov_o_vozmozhnykh.pdf и http://www.astronomy.ru/forum/index.php/topic,23957.0.html)

По теории С.Хокинга реликтовые дыры должны медленно испаряться, однако с нарастающей скоростью ближе к концу своего существования, так что в последние секунды такая дыра производит вспышку с энергией, эквивалентной примерно 1000 тонн массы ( и в последнюю секунду 228 тонн) (что примерно эквивалентно энергии 20 000 гигатонн тротилового эквивалента – она примерно равна энергии от столкновения Земли с астероидом в 10 км в диаметре (http://en.wikipedia.org/wiki/Hawking_radiation)). Такой взрыв не разрушил бы планету, но вызвал бы по всей поверхности землетрясение огромной силы, вероятно, достаточное, чтобы разрушить все строения и отбросить цивилизацию на глубокий постапокалиптический уровень – однако люди бы выжили, хотя бы те, что был бы в самолётах и вертолетах в этот момент.

Микрочёрная дыра в центре Земли испытывала бы одновременно два процесса – аккреции вещества и потери хокинговским излучением, которые могли бы находиться в равновесии, однако сдвиг равновесия в любую сторону был бы чреват катастрофой – или взрывом дыры, или поглощением Земли или разрушением её за счёт более сильного выделения энергии при аккреции. Чёрная дыра в центре Земли могла бы также служить источником магнитного поля Земли и причиной его изменчивости. Может быть также несколько микрочёрных дыр, вращающихся вокруг друга. Напоминаю, что нет никаких фактов, подтверждающих существование реликтовых чёрных дыр.

2.12.17. Взрывы других планет Солнечной системы.

Есть другое предположение о причинах возможного взрыва планет, помимо взрывов урановых реакторов в центре планет по Анисичкину, а именно, особые химические реакции в ионизированном льде. Дробышевский (Дробышевский 1999) предполагает, что такого рода события регулярно происходят в ледяных спутниках Юпитера, и для Земли они опасны образованием огромного метеоритного потока. Он предполагает, что во всех спутниках эти процессы уже завершились, кроме Каллисто, который может взорваться в любой момент и предлагает направить на исследование и предотвращение этого явления значительные средства. (Стоит отметить, что в 2007 году взорвалась, причём повторно, комета Холмса, и никто не знает почему.)

В любом случае, чем бы не было вызвано разрушение другой планеты в или крупного спутника в Солнечной системе, этот представляло бы длительную угрозу земной жизни за счёт выпадения осколков.

2.12.18. Немезида.

Есть гипотеза, что на периферии Солнечной системы находится невидимая звезда или крупная планета, которая вращается по сильно эллиптической орбите и своим гравитационным возмущением регулярно приводит к биологическим кризисам на Земле. Регулярность эта может быть раз в миллионы лет (так, Проксима Центавра обращается вокруг Альфа за миллионы лет). Однако изучение орбит тел в поясе Койпера за орбитой Плутона не обнаружили влияний крупного тела. Если бы такое тело было бы на подлёте к Солнцу, то его бы скорее всего обнаружили за десятки лет.

Другой опасный вариант, связанный с Немезидой, состоит в том, что она не приближается к Земле, а только углубляется иногда в облако Орта, провоцируя регулярные выпадения комет. Но и это крайне медленный процесс, так что он не угрожает нам в XXI веке.

Наконец, упоминалась вероятность того, что Солнечная система войдёт в плотное газопылевое облако, которое значительно ослабит свет Солнца. Но в ближайших окрестностях Солнечной системы такого облака нет.

2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип.

Подробно я рассматриваю этот вопрос в статье «Природные катастрофы и антропный принцип». Суть угрозы в том, что для формирования разумной жизни на Земле должно было сложиться уникальное сочетание условий, которые действовали в течение длительного времени. Однако из этого нисколько не следует, что они будут продолжать действовать. Соответственно, в будущем мы можем ожидать, что постепенно эти условия исчезнут. Скорость этого процесса зависит от того, насколько невероятным и уникальным было сочетание условий, позволивших сформироваться разумной жизни на Земле. Чем невероятнее такое сочетание, тем быстрее оно может закончиться. Для внешнего наблюдателя этот процесс будет выглядеть как внезапное и беспричинное ухудшение многих жизненно важных параметров, поддерживающих жизнь на Земле. (Можно привести такой пример из обычной жизни для этой ситуации: если мы выбираем произвольного человека, то математическое ожидание его оставшейся продолжительности жизни равно половине средней продолжительности жизни людей, то есть примерно 40 лет. Однако если мы возьмём множество профессоров университетов, то в нём ожидаемая продолжительность жизни будет меньше, так как в среднем требуется 40-50 лет, чтобы стать профессором. Разумная жизнь на Земле является «профессором» по отношению к другим видам.)

Рассматривая этот и подобные примеры, можно предположить, что данный эффект увеличивает вероятность внезапных природных катастроф, способных оборвать жизнь на Земле, в 10 раз.

Этот эффект действует и в меньших масштабах, когда относится не ко всей жизни на Земле, а к появлению человека разумного и к возникновению непрерывной письменной традиции.

Например, колоссальное извержение вулкана Тоба, поставившее человечество на грань вымирания, произошло 74000 лет назад, и по статистическим соображениям в духе формулы Готта шансы на повторное извержение аналогичного масштаба в следующем году имеют порядок 1/ 100 000. Если же учесть нашу поправку, то это будет 1 к 10 000, или 1 процент за 100 лет.

И хотя сейчас сверхизвержение масштабов Тобы не приведёт к неизбежному вымиранию человечества, оно может разрушить современную цивилизацию, переведя её на постапокалиптическую стадию – и полностью погубить цивилизацию, если она уже окажется к этому моменту на постапокалиптической стадии.

Этот вероятностный сдвиг связан с тем, что разумная жизнь скорее зародится после длительного периода отсутствия прерывающих её развитие природных катастроф, а не в случайный момент между природными катастрофами. Мы ещё вернёмся к обсуждению этого эффекта в главе о вычислении непрямых оценок вероятности глобальной катастрофы в конце книги.

2.12.20. Ослабление устойчивости и человеческие вмешательства.

Вклад этого ослабления устойчивости в суммарную вероятность, казалось бы, мал. А именно, если Солнце будет поддерживать комфортную температуру на Земле не 4 млрд. лет, а только 400 млн., то в XXI веке это всё равно десятитысячные доли процента. (0, 0004%). Однако ослабление устойчивости, которую нам давал антропный принцип, означает, что сами процессы станут менее устойчивыми и более склонными к колебаниям (что вполне известно относительно Солнца, которое будет гореть, по мере исчерпания водорода, всё более неравномерно), а во-вторых, что кажется более важным, - они станут более чувствительным к возможным малым человеческим воздействиям. То есть одно дело дёргать за висящую резинку, а другое – за резинку, натянутую до предела.

Например, если некое извержение сверхвулкана назрело, то могут пройти ещё многие тысячи лет, пока оно произойдёт, но достаточно скважины в несколько километров глубиной, чтобы нарушить устойчивость крышки магматической камеры. Поскольку масштабы человеческой деятельности растут во всех направлениях, возрастают шансы наткнуться на такую неустойчивость. Это может быть и неустойчивсоть вакуума, и земной литосферы, и чего ещё, о чём мы даже не думаем.

2.13. ВИДОВЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ.

2.13.1. Исчерпание ресурсов.

Широко распространено мнение о том, что цивилизация обречена из-за исчерпания легкодоступных углеводородов. В любом случае, это само по себе не приведёт к вымиранию всего человечества. Однако это создаст существенные проблемы, если нефть закончится раньше, чем общество успеет к этому адаптироваться – то есть закончится быстро. Однако запасы каменного угля огромны, а технология производства жидкого топлива из него активно применялась ещё в гитлеровской Германии. Огромные запасы гидрата метана находятся на морском дне, и эффективные роботы могли бы его добывать. И существующих технологий ветроэнергетики, преобразования солнечной энергии и подобных в целом достаточно, чтобы сохранить развитие цивилизации, хотя возможно определённое снижение жизненного уровня, а худшем случае – и значительное снижение популяции, но не полное вымирание.

Иначе говоря, Солнце и ветер содержат энергию, которая в тысячи раз превосходит потребности человечества, и мы в целом понимаем, как её извлекать. Вопрос не в том, хватит ли нам энергии, а в том, успеем ли мы ввести в строй необходимые мощности по её извлечению до того, как нехватка энергии подорвёт технологические возможности цивилизации при неблагоприятном сценарии.

Кроме того, завершение исчерпания ресурсов находится за горизонтом прогноза, который устанавливается темпом научно-технического прогресса. (Но момент изменения тенденции – Peak Oil – находится внутри этого горизонта.) Только предположив полную остановку прогресса в области робототехники и нанотехнологий можно строить точные прогнозы о том, когда и какие ресурсы исчерпаются. Вопрос в том, может ли начало исчерпания ресурсов и сопутствующий кризис настолько подорвать развитие технологий – и этот вопрос мы обсудим в главе про системный кризис.

Выводы: более быстрые процессы перекрывают более медленные. Поэтому исчерпание ресурсов не следует рассматривать как реальный риск окончательной глобальной катастрофы в текущей момент времени. Однако он может проявить себя как один из факторов в случае более сложных сценариев.

2.13.2. Перенаселение.

Очевидно, что перенаселение само не может никого истребить, но может создать условия, при которых будет наблюдаться нехватка любых ресурсов и обострятся любые конфликты. При этом нам нужно учитывать не только людей, но и их машины и уровень жизни. Автомобиль, который стоит в гараже, ест кислород и биотопливо также нагружает биосферу, как и несколько человек. Поэтому даже приостановка роста населения людей не будет означать окончание проблемы перенаселения, так как по мере развития технологий у каждого появятся свои машины, дома, домашние роботы и т д. Теоретически существует проблема, состоящая в том, что рост населения рано или поздно перекроет любые ресурсы, даже если человечество заселит всю галактику, а значит, должна наступить некая точка, за которой неограниченная материальная экспансия прекратится. Капица вывел формулу, из которой следует гиперболический рост населения с уходом в бесконечность в районе 2027 года. (Хотя и полагал, что действие этой формулы прекратилось.) И хотя реальный рост населения отстаёт от этого графика, мы можем приблизится снова к нему, если добавим число установленных компьютеров.

Кроме того, рост человеческого населения увеличивает вероятность самозарождения опасных инфекционных заболеваний.

Выводы: самое главное, что даёт нам кривая роста населения – это понимание того, что так вечно продолжаться не может, а значит должна быть некая точка перегиба или перелома, за которой следует та или иная стабилизация. Это может быть и качественный переход на уровень сверхцивилизации, и стабилизация на текущем уровня, и откат в некое стабильное прошлое состояние, и полное уничтожение.

2.13.3. Крах биосферы.

Если мы овладеем генетическими технологиями, мы сможем как устроить крах биосферы невероятных масштабов, так и найти ресурсы для её защиты и ремонта. Можно представить себе сценарий, при котором вся биосфера настолько заражена радиацией, генетически модифицированными организмами и токсинами, что она не способна восполнять потребности человечества в продовольствии. Если это произойдёт внезапно, это поставит цивилизацию на грань экономического краха. Однако достаточно продвинутая цивилизация сможет наладить защиту и производство продуктов питания в некой искусственной биосфере, вроде теплиц. Следовательно, крах биосферы опасен только при последующем откате цивилизации на предыдущую ступень – или если сам крах биосферы вызывает этот откат.

2.13.4. Социально-экономический кризис. Война.

Более подробно этот вопрос будет рассмотрен далее, в главе о различных системных кризисах, поскольку в современном обществе такой кризис не может не опираться на разные новые технологии.

Без таких технологий война или общественно-политическоий кризис не могут происходить одновременно на всей территории Земли и таким образом создавать глобальный риск.

2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению).

Очевидно, что генетическая деградация может проявиться только в течение многих поколений. Если при этом будет существовать высокоразвитая цивилизация, то уже через поколение мы сможем управлять развитием эмбрионов и отбирать наиболее здоровых из них, а также лечить генетические заболевания разными способами. Если же человечество ждёт деградация на более низкий уровень развития, тот текущая популяция пройдёт через «бутылочное горлышко», что резко увеличит давление естественного отбора и улучшит качество генов. Подобные же рассуждения верны и для проблем с фертильностью.

Если экстраполировать модель «одна семья – один ребёнок», то она привела бы к полному вымиранию человечества менее чем за 1000 лет, что выходит за рассматриваемый промежуток времени (и достаточно уязвимо для критики, так как здесь был бы отбор в сторону наиболее плодовитых семейств). Однако если бы некий вирус привёл к тотальному бесплодию человечества, и при этом технический прогресс бы остановился, то люди бы вымерли к XXII веку. Опять же, это мало вероятно, так как уже почти готовы технологии репродуктивного клонирования.

Выводы: названные факторы не угрожают выживанию человечества в рассматриваемый период.

2.13.6. Старение вида.

Есть концепция, что виды могут стареть. (См. «Взлет и падение видов: новые данные подтверждают старую идею «эволюционного цикла» http://elementy.ru/news/430634 Michael Foote, James S. Crampton, Alan G. Beu, Bruce A. Marshall, Roger A. Cooper, Phillip A. Maxwell, Iain Matcham. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks // Science. 2007. V. 318. P. 1131–1134.) «После появления вида его «распространенность» (площадь ареала и частота встречаемости) постепенно растет в течение нескольких миллионов лет, ненадолго достигает максимума и затем постепенно снижается. Виды редко вымирают внезапно, находясь на пике численности; вымиранию обычно предшествует длительный период упадка… Другой важный вывод состоит в том, что виды редко вымирают внезапно, находясь на пике своего развития. Вымиранию обычно предшествует довольно долгий период упадка. Это значит, что палеонтологическая история вида позволяет судить о вероятности его вымирания в наши дни: наибольшей опасности подвергаются те виды, которые уже миновали пик своего развития и находятся в фазе упадка. Полученные данные противоречат также распространенному мнению о том, что в эволюции должны чередоваться короткие периоды «становления» и долгие периоды «стазиса». В действительности виды, по-видимому, почти не задерживаются на максимальном достигнутом уровне и практически сразу переходят от роста к упадку».

Стареть могут также государства и культуры, делаясь всё более застывшими и зарегламентированными, и в конечном счёте - хрупкими. Возможно, могут стареть и цивилизации планетарного масштаба, постепенно утрачивая интерес к жизни. Всё же вряд ли это угрожает Земле на нынешнем этапе. С другой стороны, рост числа пенсионеров и «бессмертных», если таковые будут когда-нибудь созданы, может когда-нибудь создать эту проблему.

2.13.7. Вытеснение другим видом.

Многие виды животных кончили тем, что были вытеснены более эффективными видами, или мутировали в них. Возникновение такого вида путём естественной эволюции в ближайшие 100 лет невозможно. Даже рост и сокращение численности разных рас и народов не являются процессами, которые успеют завершиться в 21 веке. Кроме того, изменение этнического состава не является угрозой выживанию человечества как вида, хотя на эту тему завязано очень много эмоций, и этнические конфликты могут стать глобальными рисками второго рода – то есть ситуациями, снижающими выживаемость человечества.

Однако это возможно как частный случай генетических экспериментов или развития симбиоза человек-компьютер. Однако такие риски скорее относятся к другой категории, скорее всего, к разделу об искусственном интеллекте, так как чтобы вытеснить человека, новый вид, вероятно, должен быть умнее.

2.14. НЕИЗВЕСТНЫЕ НАМ СЕЙЧАС ПРИЧИНЫ КАТАСТРОФ.

2.14.1. Закон Мура в отношении глобальных катастроф.

Можно сформулировать своего рода «Закон Мура» в отношении глобальных катастроф. Каждые N лет (примерно оцениваемое мной в 30 лет) удваивается известное нам число природных катастроф, которые могут угрожать человечеству. Каждые M лет (примерно оцениваемое мной в 15 лет) технические возможности по организации глобальной катастрофы – то есть способности человечества к саморазрушению - удваиваются. Цифры эти взяты, конечно, с потолка, но суть в том, что в середине ХХ века идеи глобальной катастрофы практически ещё не было, а теперь мы легко можем назвать десяток искусственных способов истребить род людской.

И это позволят нам оценить объём неведомого в смысле глобальных катастроф. Мы можем сказать, что через 50 лет не только созреют некие понятные нам технологии, но могут появиться принципиально новые идеи о том, какие возможны ещё угрозы существованию.

По мере овладения разными всё более мощными источникам энергии, всё более точным знаниями о мире и способами управлять материей, по мере открытия всё новых физических законов и всё новых идей – появляется всё больше возможностей создать абсолютное оружие. Поэтому мы ни в каком случае не должны считать приведённый здесь список исчерпанным.

Более того, большинство случившихся в последнее время катастроф были неожиданными. Не в том смысле, что никто никогда не предсказывал ничего подобного – всегда можно найти апостериори книжку, где какой-нибудь фантаст описал что-либо подобное. А в том, что большинство населения и руководителей вообще не знали о возможности такого сценария, и в связи с этим ничего не предпринималось. Чернобыль, 11 сентября, сход ледника Колка, цунами в Индийском океане, болезнь пчёл CCD, сель в долине гейзеров – вот некоторые примеры.

Даже некоторые комбинации известных факторов, которые могут привести к глобальной катастрофе, не очевидны – например, мне понадобился почти год, чтобы предположить, что пассивное SETI содержит в себе глобальный риск, хотя я располагал всеми необходимыми данными.

Соответственно, мы можем заключить, что раз даже к обычным катастрофам мы не готовы, и список известных их возможностей далеко не исчерпан, то тем более наш список глобальных катастроф несовершенен.

Более того, неизвестные риски представляют большую опасность, чем известные, так как мы не можем их измерить, не можем к них подготовится, и они всегда застают нас врасплох.

2.15. «Конструктор» однофакторных сценариев глобальной катастрофы.

Проанализировав множество разных сценариев глобальных катастроф, мы можем выделить общие признаки таких сценариев, которые помогут нам в будущее обнаруживать или «конструировать» новые опасные сценарии.

2.15.1. Общие признаки любого опасного агента.

По определению, в однофакторных сценариях всегда присутствует некий один фактор, который действует на всех людей. Про этот фактор можно сказать следующее: он зарождается в некой точке, распространяется по всей поверхности Земли и действует на каждого человека. Соответственно, различия могут быть в том, как он в этой точке возник, как он её покинул, как распространялся по Земле и как действовал на каждого человека. В каждом из этих пунктов есть несколько вариантов, в достаточной мере независимых друг от друга, что позволяет «конструировать сценарии», набирая разные цепочки из этих вариантов и приписывая им разную вероятность.

Этот набор качеств может служить своего рода картой при проверке на безопасность каждой новой технологии или природного явления. А именно, мы должны проверять следующий набор свойств:

1. Может ли новая технология применяться для уничтожения людей или приводить к ней?

2. Если да, то каким образом она может выйти из-под контроля?

3. Может ли она распространиться по всей планете таким образом, чтобы воздействовать на каждого человека?

4. Может ли это произойти настолько быстро, что мы не успеем этому противостоять?

5. Как она может взаимодействовать с другими технологиями, усиливая при этом свой риск?

6. Насколько легко будет построить защиту от опасностей этой технологии?

7. Насколько точными и достоверными могут быть наши предсказания о рисках этой технологии?

2.15.2. Способы возникновения.

Опасный фактор, угрожающий глобальной катастрофой, может возникнуть следующим образом:

А) Случайное природное возникновение. Например, подлёт астероида или извержение сверхвулканов.

Б) Создание человеком. В этом случае, скорее всего, речь идёт о некой исследовательской лаборатории. Это создание может быть или случайным, или сознательным. Возможна и комбинация того и другого – когда то, что должно было иметь ограниченный радиус поражения (или вообще рассматривалось как безопасное и полезное), приобрело всемирный радиус поражения. (Примеры: Изначально ядерное оружие рассматривалось как оружие локального действия, однако потом возникли представления, что оно может угрожать всей земной цивилизации; ИИ, который запрограммирован быть дружественным и любить людей, может проявить такую «Дружественность», как «медвежья услуга».)

2.15.3. Выход из точки и начало распространения.

Очевидно, что это происходит или по команде некого человека, или случайно. Сразу следует сказать, что возможно совмещение этих сценариев: человек отдаёт некую команду, полный смысл которой не понимает, или она выполняется неправильно. Или некий человек со стороны совершает террористический акт, приводящий к разрушению лаборатории, в которой находится супервирус.

Точка, в которой находится опасное изделие – это или лаборатория, где его создали, и тогда речь скорее идёт о случайном инциденте, или стартовая площадка, если эта технология превращена в некое изделии, которое стало оружием. Так же эта точка может быть где-то на на пространственно-временном пути от лаборатории до стартовой площадки – на полигоне, на транспорте, на производстве.

При этом важно отметить существенную разницу между мотивами того, кто создавал оружие судного дня, и того, кто затем решил его применить. Например, атомную бомбу создавали для защиты от иностранного агрессора, а террористы могут её захватить для требования отделения неких территорий. Такой двухфазовый целевой сценарий может быть вероятнее однофазового.

Виды выхода из точки:

1. Утечка – Утечка начинается тихо и незаметно, без чьей-либо воли. Это относится к ситуациям, вроде утечки опасного вируса, которую нельзя заметить до того, как будут заболевшие снаружи. Утечка опасного химического вещества или ядерных материалов будет сразу заметна, и, скорее всего, будет сопровождаться взрывом.

2. Прорыв – Это силовой прорыв чего-то, что было заперто, но хотело вырваться наружу. Может относится только к ИИ или генетически модифицированным живым существам с зачатками интеллекта.

3. Взрыв – катастрофический сценарий происходит в самой точке, распространяются его последствия. Скорее всего, это относится к опасным физическим экспериментам.

4. Запуск – кто-то принимает решение о распространении опасного агента или применении оружия судного дня.

Очевидно, что возможны некоторые комбинации этих базовых сценариев. Например, взрыв лаборатории, приводящий к утечке опасного вируса.

2.15.4. Распространение важнее разрушения.

Анализируя любое явление или изобретение в качестве возможного фактора глобального риска нам следует уделять больше внимания тому, может ли он за конечное время воздействовать на абсолютно всех людей, чем тому, может ли он убивать людей или нет. Для того, чтобы некоторый фактор стал глобальным риском, есть два необходимых условия:

А) он убивает каждого человека, на которого воздействует

Б) он действует на всех людей за конечное время (За время, меньшее, чем способность людей к самовоспроизводству.)

Однако если выполнения первого условия достичь относительно легко, так как существует бесконечное число способов причинения смерти, и они всё время на кого-то действуют, то второе условие – гораздо более редкое. Поэтому, как только мы обнаруживаем даже безобидный фактор, способный действовать на всех людей, это должно нас обеспокоить больше, чем обнаружение некого крайне опасного фактора, который действует только на некоторых. Потому что любой универсальный фактор может стать носителем для некого опасного воздействия. Например, как только мы осознаём, что солнце освещает каждого человека на Земле, мы можем задаться вопросом – а не может ли с Солнцем случиться чего-то такого, что будет воздействовать на каждого? Тоже касается атмосферы Земли, её коры, особенно космоса, который окружает всю Землю.

2.15.5. Способ распространения.

Собственно, именно способность к всемирному распространению делает оружие сверхоружием. Эта всемирность означает не только всю поверхность земного шара, но и способность проникать через все укрытия и средства защиты, а также скорость этого процесса, которая делает невозможным противостоять ему с помощью новых открытий. (Скажем, оледенение может быть всемирным, но, скорее всего, будет достаточно медленным, чтобы к нему можно было приспособиться.)

Способы и факторы, влияющие на способность агента к распространению повсюду таковы:

1) по ветру в атмосфере; отдельно надо выделять быстрое движение верхних слоёв атмосферы (где скорости могут быть 100м/с, а значит, время всемирного распространения – несколько дней), а также склонность вещества выпадать в необратимые осадки, что уменьшает его количество.

2) агенты, распространяющиеся своим ходом – бактерии, самонацеливающие нанороботы, ракеты.

3) от человека к человеку – вирусы.

4) с помощью специальных распылителей. Например, можно представить себе следующий катастрофический сценарий: на низкой полярной орбите летает спутник и непрерывно сбрасывает капсулы с радиоактивным веществом или другим опасным реагентом. За несколько дней он может пройти над всеми точками земного шара.

5) взрыв – само создаёт огромное движение. Ударная волна помогает протолкнуть агент во все щели.

6) сетевое распространение. Так мог бы распространяться ИИ по Интернету.

7) смешанный способы. Например, на начальном этапе взрыв бомбы распыляет радиоактивные вещества, а потом их разносит ветром. Или некую плесень переносит ветер, а на местах она размножается. Понятно, что смешанные способы распространения гораздо опаснее.

8) агенты, обладающие элементами разума, чтобы обходить препятствия (компьютерные вирусы, ИИ, микророботы, агрессивные животные).

9) Внезапность и скрытность распространения помогает агенту проникнуть повсюду.

10) высокая способность к переносу, «липучесть» и мелкодисперсность (как у лунной пыли).

11) Способность саморазножаться, как в природе, так и на человеке или на промежуточных носителях.

12) Многофакторность – если имеется достаточно много разнородных агентов, например, при мультипандемии.

13) Существенным в распространении является концентрация. Чем выше градиент концентрации, тем больше способность реагента проникать «во все щели». Иначе говоря, если концентрация в атмосфере составляет 1 смертельный уровень, то всегда найдутся участки, где из-за разных флюктуаций этот уровень будет значительно ниже и люди там выживут, даже без всяких бункеров. Но если концентрация очень велика, то помогут только полностью герметичные, заранее оборудованные бункеры. Концентрация также увеличивает скорость распространения.

14) Затем важна длительность действия агента. Коротко действующий агент (гамма-всплеск) может опалить значительную часть биосферы, но всегда найдутся убежища, на которые он не подействовал. Однако длительное заражение, например, кобальтом-60, делает невозможным выживание в небольших убежищах.

15) Наконец, надо учесть лёгкость фильтрации и дезактивации – чем легче фильтрация воздуха и дезактивация выходивших на поверхность людей, тем безопаснее агент. Биологические агенты можно было легко стерилизовать в системах вентиляции, но выходы на поверхность были бы исключены, так как человека не стерилизуешь.

2.15.6. Способ причинения смерти.

Основной элемент глобальной катастрофы, который мы называем «агент», может вообще не убивать людей, а только разъединять их и лишать способности к размножению, как например, супернаркотик, или вирус, стерилизующий всех людей. Или загнать их всех в бункеры, где они обречены на деградацию.

Агент может быть однофакторным – например, это может быть некая инфекция или радиация. При этом есть разница между мгновенной смертью и продолжительным умиранием.

Агент может обладать многофакторным поражающем воздействием, как атомная бомба. Однако должен быть главный фактор, обладающий универсальным действием на весь мир, или достаточная плотность разных факторов.

Агент может вызвать также не прямое действие, а равномерное разрушение всей среды обитания. (Астероид, разрушение биосферы)

Вымирание может также принять форму медленного вытеснения во второсортные экологические ниши (варианты: «зоопарк», тотальная безработица в духе статьи «Почему мы не нужны будущему?»)

Разрушающий агент может вызвать появление новых агентов, каждый из которых действует по-своему. Например, распространение машины для программирования вирусов (+вируса, вызывающего у некоторых людей желание уничтожить весь мир) могло бы стать таким суперагентом, вызывающих жизни много разных агентов в разных частях Земли. В каком-то смысле сам научно-технический прогресс является таким суперагентом.

Агент может быть интеллектуальным, чтобы в каждом конкретном случае пользоваться разными способами. (Враждебный ИИ, эсхатологическая секта).

2.15.7. Типичные виды разрушающего воздействия:

Чем бы ни был вызван «конец света», он будет воздействовать на людей и их бункеры, скорее всего, одним из нескольких перечисленных способов. Эти способы в основном совпадают с обычными поражающими факторами ядерного взрыва. Любой процесс, который способен одновременно создать хотя бы один из этих факторов на всей территории Земли, должен быть отнесён к «оружия судного дня».

• Ударная волна – способно непосредственно причинять смерть, разрушать бункеры и все другие созданные человеком объекты.

• Высокая температура – от длительного воздействия высокой температуры почти нет защиты, так как любой бункер рано или поздно прогреется. Глубоко в землю зарыться не удастся, так как температура в шахтах быстро растёт, порядка 30 градусов на километр глубины.

• Холод. Ему противостоять проще, чем высокой температуре.

• Высокое давление

• Летучее вещество

• Излучение и радиация.

• Колебания земной поверхности.

• Утрата жизненно важного ресурса – кислорода, еды, воды.

• Поражение саморазмножающимся агентом (в каком-то смысле огонь тоже обладает способностью саморазмножаться).

• Сверхзвуковая ударная волна – возможно, при достаточно сильном ударе, она могла бы охватить значительную часть земной коры (хотя вязкость бы её поглощала).

Разница между очень большой катастрофой и окончательной глобальной катастрофой может быть в том, что в первом случае уцелеют хотя бы доли процентов людей и территорий. Поэтому важным признаком настоящей глобальной катастрофы является то, что она покрывает всю территорию без исключений. За счёт чего это происходит:

За счёт очень высокого уровня избыточности разрушающего воздействия.

За счёт того, что разрушающий агент обладает своего рода «сверхтекучестью» по своей природе.

2.15.8. Временная структура события.

Вне зависимости от того, как сложились предыдущие факторы, можно обозначить следующую последовательность событий во времени для однофакторной глобальной катастрофы:

1.Фаза назревания. Она включает в себя изобретение, создание, подготовку к применению и возникновение плана по применению. Если речь идёт о природном явлении, то речь идёт о накоплении энергии в камер супервулкана или подлёте астероида. Сюда также входит накопление халатностей при исполнении инструкций и ошибки в составлении инструкций.

2.Момент спускового события. Одно событие в пространстве-времени, которое определяет начало этого процесса. Это может быть решение о ядерном ударе, трещина в крышке вулканической камеры и т д. Спусковое событие запускает цепочку событий, следующих друг за другом со значительной вероятностью в определённом временном графике. При этом если бы спусковое событие не произошло, то весь процесс мог бы отложиться на неопределённое долгое время. Однако само спусковое событие может быть внешне безобидным и никем не осознаваемым в качестве такового.

3. Здесь цепочка событие приводит к высвобождения опасного агента из точки его расположения. В этот пункт входят четыре варианты выхода «из точки», которые мы обсуждали выше: утечка, прорыв, взрыв, запуск.

4. На этой фазе происходит распространение агента по всей поверхности Земли (а также в ближний космос, если уже есть самостоятельные космические поселения). Это распространение может быть а) скрытным б) сопровождающимся самим процессом разрушения. Скрытное может быть опаснее, так как не остаётся областей, которые успевают подготовится.

5. Фаза уничтожающего процесса. Затем развивается сам процесс, охватывающий всю поверхность Земли. Эпидемия или ударная волна.

6.Точка необратимости. Процесс распространения обладает той или иной степенью неопределённости, как по своей природе, так и по его оценкам людьми. Если процесс не мгновенный, то имеет место борьба людей с ним. Тот момент, когда люди проигрывают эту борьбу и вымирание становится неизбежно, и есть точка необратимости. Хотя она может не осознаваться в качестве таковой. Можно описать эту точку и так, что позволяет сделать математические выкладки. Точка необратимости - это момент, когда факторы истребления превышают технологические возможности цивилизации, в том числе и потенции по улучшению этих технологий. Зависит как от концентрации факторов истребления, так и от уровня цивилизации. Если в результате крупной катастрофы уровень цивилизации упал ниже некой точки, а уровень факторов истребления – выше ней, то дальше вымирание необратимо. С определённой вероятностью, разумеется.

7.Смерть последнего человека. После точки необратимости следует вымирание уцелевших людей. Это процесс может растянуться во времени даже на многие годы за счёт бункеров. Он может представлять даже очень длительное состояние прозябания уцелевшего племени на неком острове. Но у такого племени может быть шанс восстановить цивилизацию.

8.Процессы после. После смерти последнего человека процессы на Земле не завершатся. Возможно, начнут развиваться новые виды, возможно Земля будет заселена роботами, нанороботами и ИИ. Есть также надежда, что новый разумный вид воскресит человека по уцелевшей ДНК.

2.15.9. Предаварийные ситуации

Есть также разные типы общественных ситуаций, когда случайное или нарочное применение средства всеобщего уничтожения становится более вероятным.

1) Война за объединение планеты.

2) Борьба всех против всех за ресурсы в условиях их усыхания и исчерпания.

3) Нарастающая структурная деградация, а ля распад СССР.

4) Техническая авария, утечка

5) Диверсия с целью уничтожения всех людей.

6) Случайная война

7) Шантаж машиной судного дня.

8) Неудачный эксперимент

9) Мятеж с целью установления власти на Земле. (ИИ, фашистов итд.)

2.15.10. Намеренная и случайная глобальная катастрофа.

Любые глобальные катастрофы можно различить по тому признаку, организованы ли они некой разумной силой, которая стремится устроить именно глобальную катастрофу, или это некий случайный процесс, у которого нет никаких целей.

К первому варианту относятся глобальные катастрофы:

А) устроенные людьми

Б) связанные с ИИ

В) происходящие по причине столкновения с иными нечеловеческими разумными силами.

Ко второму: Аварии, утечки, природные катастрофы, системные кризисы.

Интеграция первого и второго сценариев: Возможен также сценарий, когда первая фаза катастрофа задумана людьми с определенными целями, однако затем процесс вырывается из-под контроля. Например, террористы могут сознательно спровоцировать ядерную войну, но не представлять её масштабов. Или некоторая буддистская секта может сознательно заразить всех людей вирусом счастья, но не учесть того, что такие люди будут в дальнейшем не дееспособны. (Далай Лама недавно высказался в том духе, что неплохо было бы с помощью генетических манипуляций убрать у людей негативные эмоции.)

С другой стороны, победа разумной силы над людьми означает, что некоторая разумная сила в природе остаётся (если только она не кончает собой после того), а, следовательно, окончательного исчезновения разума во вселенной не происходит. И раз некий разум, причём превосходящий человеческий, остаётся, то он может и вернуть людей у жизни. Однако есть разумные силы, принципиально отличные от человеческого сознания, например, эволюция. Эволюция гораздо «умнее» человека (которого она породила), но бесконечно проигрывает по скорости. (Но не везде, например естественный отбор микроорганизмов, устойчивых к антибиотикам, происходит со скоростью, сопоставимой с разработкой новых антибиотиков.) Если один из вариантов будущего ИИ будет использовать принципы эволюции, но гораздо быстрее, то он может достичь «победы» над людьми как более эффективный решатель любых задач, но при этом не быть сознающим существом в нашем понимании. Разработки такого ИИ небезуспешно ведутся в направлении, называемом «генетические алгоритмы».

2.15.11. Машина судного дня.

Соберём в отдельную категорию все варианты «машины судного дня», которую может создать наиболее злонамеренная группа людей. Возможно, термин восходит к фильму С.Кубрика «Доктор Стрейнджлав». (Сюжет его вкратце таков: «Русские» создают «Машину судного дня», которая взрывает весь мир, если на СССР нападут. В ходе внутренней заварушки в США мятежный сумасшедший генерал наносит удар по СССР, не зная о машине Судного дня. В результате машина запускается. Русский посол говорит: «И эту машину отключить нельзя, иначе бы в ней не было смысла». Др. Стрейнджлав замечает: «Но какой смысл было держать эту машину в секрете?» Русский посол отвечает: «Мы собирались объявить о ней в ближайший понедельник». То есть машина, которая должна была резко снизить риск какой-либо войны на Земле, в действительности приводит к её началу. Интересно, что Дж.Лесли пишет в своей книге «Конец света. Наука и этика человеческого вымирания», что на самом деле было бы неплохо было бы такую машину иметь, так как если бы она правильно применялась, то она в сумме бы снизила риск ядерной войны – примерно как сейчас это делает доктрина взаимного гарантированного уничтожения). Хотя основная идея машины состоит в той форме шантажа, которая подразумевает, что машина судного дня никогда не будет применена, сам факт её создания создаёт вероятность её применения.

Кроме того, имеются исторические примеры бессмысленного истребления людей - обстрел гитлеровцами Лондона Фау-2, поджигание скважин в Кувейте. Психологический пример - подрыв себя гранатой при аресте.

Отнюдь не любой вариант глобальной катастрофы годится как машина судного дня. Это должен быть процесс, который по решению некой группы людей может быть запущен в строго определённый момент времени и вести к глобальной катастрофе со значительной вероятностью, близкой к 100 процентам, по крайней мере, с точки зрения разработчиков устройства. Машина судного дня также должна быть неуязвима к попыткам предотвратить её применение, к несанкционированному применению и должна быть возможность продемонстрировать реалистичность её применения, что нужно шантажистам. (Сейчас в качестве машины судного дня функционально выступает обладание хоть каким-то ядерным оружием, хотя одна атомная бомба весь мир не уничтожит. Например, такова сейчас роль ядерной бомбы в руках Северной Кореи – она хорошо спрятана, но наличие её продемонстрировано.)

• Взрыв водородной бомбы

а) в супервулкане

Б) в каменноугольном пласте

В) в ядерном реакторе

Г) в слое газовых гидратов в океане, с расчётом на цепную реакцию дегазации.

• Создание водородной сверхбомбы стационарного типа.

• Взрыв кобальтовых зарядов, запуск реактора-чёртовой трубки.

• Сведение астероида с орбиты.

• Накопление массы антиматерии.

• Проплавление коры Земли с помощью жидкого ядерного реактора по типу капли.

• Распыление спор антракса в атмосфере, высвобождение большого количества разных вирусов.

• Слив диоксина в океан

• Выпускание генетически модифицированных производителей токсинов и вирусов (диоксиновая плесень, чумная вошь)

• Распространение сотен миллиардов микророботов, атакующих всё живое.

• Уничтожение озонового слоя с помощью некого катализатора.

• Сочетание этих факторов.

3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ.

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н.Бострома и в книге Дж. Лесли, с незначительными отличиями. Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой нанороботы, а третий вымрет от голода?

3.1. Интеграция различных технологий, создающие ситуации риска.

Сам факт быстрого развития сильных технологий создаёт зону риска. Технологии имеют тенденцию помогать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno. Эта конвергенция является примером нелинейной интерференции, когда два слабых фактора, складываясь, вместе дают нелинейно сильный всплеск. Нелинейная интерференция возникает, когда взаимодействуют два принципиально разных, но направленных к одной цели механизма. Например, если двое мужчин толкают камень, то это линейная сложение. Но если мужчина и женщина создают семью, то они обретают принципиально новое качество – рождение детей. Или когда человек заболевает одновременно СПИДом и туберкулёзом – обе болезни относительно хронические, но вместе они сжигают человека очень быстро. Можно также отметить, что конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. В центре конвергенции NBIC начинает вырисовываться нечто, объединяющее достижение всех этих технологий – Искусственный Разум.

Нелинейная интерференция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)

Часто имеющие прогнозы будущего и фантастика описывают его как настоящие плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.

При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический кризис – война – применение биологического оружия.

3.2. Парные сценарии.

Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, то есть разные варианты взаимоусиления основных факторов, взятых парами, - при этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования.

При этом дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. При этом каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.

ИИ и биотехнологии.

Последовательная конвергенция (цепочка событий):

1. Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.

2. ИИ создаст сверх вирус как оружие.

3. Люди вымрут от вируса, и придётся вводить вместо них роботов.

Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:

4. Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.

5. Специальные вирусы будут устанавливать созданные самим ИИ программы в мозг людям.

6. ИИ будут создавать непосредственно из биоматериалов – нейронов, ДНК.

ИИ и сверхнаркотик.

Последовательные сценарии:

1. Например, ИИ захочет обрадовать всех людей и создаст им такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).

2. По мере смерти людей от сверхнаркотика придётся заменять их на ИИ.

3. Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ.

4. Сверхнаркотик будет оружием враждебного ИИ против людей.

Параллелная конвергенция:

5. ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.

Сверхнаркотик и биотехнологии.

1. Производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.

2. Потребность общества в наркотиках приведёт к рассвету чёрного рынка биотехнологий, который попутно сделает доступными и изготовление биооружие массового поражения.

3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг.

4. Некая заразная болезнь будет одним из своих симптомов иметь эйфорию и стремление её распространять.

Сверхнаркотик и нанотехнологии.

Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов.) Однако в целом здесь действуют те же сценарии, что и с биотехнологиями.

ИИ и нанотехнологии.

1. Нанороботы позволят считать детали устройства человеческого мозга, что ускорит развитие ИИ.

2. ИИ поможет разработать и выпустить сверхэффективных нанороботов.

3. Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.

4. Нанороботы и будут носителями ИИ – получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.

5. Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.

ИИ и ядерное оружие.

1. ИИ придумает, как сделать ЯО проще, быстрее и дешевле.

2. Сценарий, в духе предложенного в фильме «Терминатор» - ИИ использует ЯО, чтобы избавится от людей.

3. Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.

Нано и биотехнологии.

1. Живые клетки будут собирать детали нанороботов (синтезировать в спец.рибосомах).

2. Появятся «аниматы» – искусственная жизнь, содержащая элементы как живого, так и нанороботов.

3. Только нанороботы дадут окончательную защиту от биологического оружия.

Нанотехнологии и ядерное оружие.

1. Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО.

2. Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению Земли.

Ядерное оружия и биотехнологии.

1. Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств.

2. Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива. Или дезактивации территории.

3. Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены.

ЯО и супервулканы.

С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.

ЯО и астероиды.

1. С помощью ЯО можно отклонить астероид от Земли, или наоборот направить его на Землю.

2. Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны.

3. Астероид может также разрушить атомную станцию и вызвать заражение.

ИИ и системный кризис.

1.Применение сверхкомпьютеров создаст некий новый тип нестабильности – быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии).

2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ.

3. Весь мир оказывается зависим от глобальной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении.

ЯО и системный кризис.

1. Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки.

2. Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.

ЯО и климат.

1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.

2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.

3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).

3.3. Исторические аналогии глобальной катастрофе.

Глобальная окончательная катастрофа технологической цивилизации – уникальное явление, которого никогда не было в истории. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Я предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это будут:

• Вымирание динозавров

• Вымирание неандертальцев

• Крах Римской империи

• Распад СССР

• Кризис на острове Пасхи

• Крах индейских цивилизаций Америки после открытия её Колумбом.

• Взрыв в Чернобыле.

• Гибель «Титаника»

• Взрыв сверхновой звезды

• Возникновение человечества с точки зрения биосферы

• Начало Первой Мировой войны.

• Рак как болезнь

Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии.

По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем больше видим, что было множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. По каждой из этих катастроф написаны книги, и значителен разброс мнений, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда. О вымирании динозавров стоит посмотреть соответствующую главу в книге К.Еськова «История Земли и жизни на ней».

Общим во всех этих случаях является то, что присутствовала сложная система причин как внешнего, так и внутреннего характера. Именно сложность системы этих причин создаёт проблемы, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.

Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Человек заболевает раком не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к Колумбу.)

Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней может случится, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.

Итак, из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки».

С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это стало «поздно», а не «рано».

Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по своей логике, падение астероида и извержение вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было бы, то система могла бы не перескочить в другое русло своего развития.

В-третьих, во всех случаях, где речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. То есть управление совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого количества разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.

Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Это ядерные реакторы, космические корабли «Шаттл», сверхзвуковые «Конкорды». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была на грани.

Представляется продуктивным дальнейшее изучение аналогов глобальных катастроф на совокупности примеров.

3.4. Неизбежность достижения устойчивого состояния.

Можно сформулировать следующее верное высказывание:

Скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала.

Это произойдёт в следующих случаях:

а) Мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.

б) Мы найдём способ контролировать все риски.

в) Катастрофа всё-таки произойдёт, и гибнуть больше будет некому.

г) Мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет все ждали Конца Света, и даже радовались его близости).

Вместе с тем, пока что мы наблюдаем противоположное явление – способность людей к созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы постоянно растёт. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн и увидеть, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 60-70 годам реально можно было уничтожить миллиарды людей (в реальной войне погибло бы меньше, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент количеством населения. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.

Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения превосходят, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временного фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения, только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.

3.5. Рекуррентные риски.

Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 процентов, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего - только один человек. Если их будут тысячи, то гарантированно никого не останется. Даже если летальность каждого отдельного вируса будет только 10-20 процентов.

Тоже самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.

Разумеется, тут надо учесть способность человечества приспособиться к какой-то одной угрозе. То есть можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты конечны. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.

Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)

3.6. Глобальные риски и проблема темпа.

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над опасными технологиями, но создать такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – исчерпания тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом.) Темп этот будет в случае глобального риска ошеломительным, чтобы люди не могли успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

3.7. Сравнительная сила разных опасных технологий.

Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.

2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание - годы и десятилетия.

3. Биотехнологии – годы или десятки лет.

4. Нанороботы – от нескольких дней до нескольких лет.

5. Искусственный интеллект – от часов до нескольких лет

6. Взрыв на ускорителе – со скоростью света.

Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии позиции будет позволят минимизировать последствия катастрофы на более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

3.8. Последовательность возникновения различных технологий во времени.

Приведённый выше список «силы» технологий в целом похож на ожидаемую временнyю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение.

Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидают следующую последовательность созревания технологий: био-нано-ИИ. Но я полагаю, что нанотехнологии возникнут скорее после ИИ, то есть будут созданы им. Разумеется, это только моё мнение, могущее содержать ошибку.

Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий.

Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – на пути создания синтетических организмов.

3.9. Сопоставление факторов риска разных технологий.

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала.

Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения.

Для ИИ эти величины нам неизвестны.

Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ управлять прогрессом и применением его плодов безопасным образом.

Качественно обобщая, можно сказать, что биотехнологии получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ оказывается «двухсторонним джокером» - он может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории способной к самосовершенствованию машины и нацеливание её на захват власти на Земле. В этом случае она скорее создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Э.Юдковски метафорически так выражает эту мысль: «Закон Мура в отношении ИИ – с каждым годом IQ человека, необходимый для его создания, падает на одну единицу» (сверить цитату).

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое ослабит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» - см. далее.

Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет, хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

3.10. Цели создания.

Опасный фактор может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества.

1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружие, вирусах и химических веществах. (Впрочем, есть разные теории о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно закончит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправится со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп, от христианских, до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света: свидетели Иеговы и мормоны.)

2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement. http://www.vhemt.org/ - они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество - не без оснований - раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев - «веганов», для которых жизнь животных не менее важна, чем человеческая.

3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский). Цель: возвращение в «совершенное» ранне-человеческое общество.

4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а несколько дней обычно. Хотя можно представить себе человека, который сошёл с ума на идее отомстить миру или Богу.

5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды нарокомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев, собака, умирающая от одиночества, алкоголизм от одиночества).

6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.

7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, вдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.

8) Универсальное оборонительное оружие последнего выбора. Вместо того, чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы Стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более, что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».

9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.

10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.

11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.

12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы их спасти нам, пришлось их уничтожить».

13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.

14) Шизофреники, испытывающие навязчивые идеи. Например, один человек в середине ХХ века в США, обнаружив, что дата его рождения совпадает с датой землетрясения в Сан-Франциско, пришёл к выводу, что если он будет убивать людей, то таким образом будет предотвращать землетрясения. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Кроме того, они часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, что делают невозможной реализации долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.

Человеком всегда действует несколько побуждений, только часть из которых осознана. По моим подсчётам, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.

3.11. Социальные группы, готовые рискнуть судьбой планеты.

Вероятно, надо отдельно составить список социальных групп, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган предпринял Крестовый поход против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.

1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.

2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.

3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.

4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.

5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действие, которые приносят благо в краткосрочной перспективе, но несёт колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующем у каждого человека, и особенно обостряющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)

В качестве отдельной графы следовало бы выделить человеческую склонность ошибаться в оценках глобальных рисках, подробнее на эту тему см. статью Е.Юдковски и мою статью о недооценке глобальных рисков.

3.12. Обобщающий коэффициент, связанный с человеческим фактором.

Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей, в пересчёте на одни сутки. Мы так же не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, которые нуждаются в точном пересчёте), оно может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять один случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент k в пересчёте на человека на день будет примерно одна миллионная. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное adware могут производить и больше людей).

Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная, как лежащая по середине.

Не следует думать, что если мы раздадим ключи от запуска нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно. (Кларк) То есть системы запуска можно обойти хитростью.

Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть совокупность очень логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.

Выводы: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.

3.13. Принятие решения о ядерном ударе.

Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия и технологий и машин судного дня.

При этом возникает вопрос, в чьих руках находится «красная кнопка» - только высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.

Имеется следующая противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренно запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар.

Реальные системы, устройство которых – в настоящий момент - является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 0000000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.

Вряд ли может случиться ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.

Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция создаётся тоже людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор так же не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается и становятся возможными решениями, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили Корейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту команду ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который взял эту смену относительно случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.

3.14. Цена вопроса.

Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некого вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле адскую машинку захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ. Но вряд ли бы они могли создать сами такой арсенал ракет.

Понятно, что важен также фактор времени – если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.

Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют многих лет. В то же время тысячи биолабораторий в мире могут работать над генетические модифицированными вирусами, и проекты эти могут быть гораздо быстрее. По мере накопления знаний и стандартизации оборудования это число растёт, а время на разработку сокращается. По оценкам моего знакомого биолога, для создания опасного вируса требуется сейчас бюджет порядка миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехе падает гораздо быстрее, так как не требует больших капитальных вложений, и скорее зависит от доступности информации.

Можно ввести фактор риска A, прямо пропорциональный количеству мест на Земле, где опасный проект может осуществляться - L, и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 процентов.

(1)

Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000.

При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать.

Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших» - см. соответствующую главу) из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)

Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии, благодаря чему число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день.

Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства.

Далее, надо добавить вероятностный фактор в отношении того сработает ли данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты конца света на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут давать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)

Ещё интересная тема - каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди.

4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА.

4.1. Определение и общие соображения.

Будем называть глобальным риском второго рода любое событие, которое значительно повышает вероятность вымирания человечества. Сочетание таких событий создаёт окно уязвимости.

Исторически известно, что вымерло 99 процентов видов живых существ, живших на Земле, и сейчас каждый день продолжают вымирать виды. Очевидно, что вымирание этих видов произошло без применения сверхтехнологий. Наиболее знамениты вымирания динозавров и неандертальцев. Среди причин вымирания, по мнению палеонтологов, в первую очередь стоят изменения экологической ситуации – то есть разрушение пищевых цепочек и появление конкурентов, тогда как природные катаклизмы выступают только спусковым событием, добивающим ослабшие виды. От астероида вымерли именно динозавры, ибо именно на них давили мелкие хищники-млекопитающие, питающиеся молодняком и яйцами. От последнего оледенения вымерли именно неандертальцы, так как им противостояли более организованные homo sapiens. Всё же трудно использовать гипотезы о прошлых вымираниях для обоснования последующих, так как тут много неясного. Однако в качестве более достоверного примера можно взять случаи гибели традиционных обществ и культур. Например, русское крестьянство со всей своей культурой, каковым оно было в 19 веке, исчезло целиком и безвозвратно (если не сказать вымерло) в процессе урбанизации– притом, что исторически оно могло противостоять и войнам, и эпидемиям. Но его погубили новые возможности, которая дала городская цивилизация и новая экономическая ситуация. Такова же судьба австралийских аборигенов и других сообществ, столкнувшихся с более высокоразвитой цивилизацией. То есть отдельные люди живы, а от культуры остались только фольклорные ансамбли. Это можно описать и на примере отдельного существа. Когда организм болеет, уязвимость его к любым внешним толчкам (или обострениям самой болезни) возрастает.

В силу этого мы можем представить себе следующий двухфазный сценарий:

1. В начале из-за крупной катастрофы население Земли резко сократилось, производство и наука деградировали. Назовём это пространство «постапокалиптическим миром». В кино или литературе такой мир описывается обычно как возникающий после ядерной войны (фаза гибели цивилизации, но не людей).

2. Уцелевшие люди, оставшиеся в этом мире, оказываются гораздо более уязвимы к любым рискам, вроде падения небольшого астероида, исчерпания ресурсов, извержения вулканов. Более того, они вынуждены бороться со всеми остатками цивилизации – заражением, исчерпанием ресурсов, утратой навыков, генетической деградацией, наличием опасного оружия или опасных процессов, начавшихся при цивилизации (необратимое потепление).

Что из этого следует:

А) Такие двухфазные сценарии заставляют нас рассматривать как опасные те риски, которые мы ранее отбросили, как не могущие погубить цивилизацию.

Б) В некотором смысле двухфазный сценарий подобен нелинейной интерференции, о которой речь шла выше, но здесь стыковка происходит во времени, причём важен порядок событий.

В) Двухфазный сценарий может стать и трёх- и более фазным, где каждая следующая фаза деградации делает человечество уязвимым к следующим формам риска.

Г) При этом может не быть прямой связи между первой и второй катастрофами. Например, попасть в постапокалиптический мир люди могут в силу ядерной войны, а вымереть от извержения супервулкана. Но точно также они могли бы попасть в это состояние уязвимости к супервулкану из-за эпидемии или экономического спада.

Д) Рассмотрение многофазных сценариев носит принципиально вероятностный характер. Эпоха слабости человечества, когда оно уязвимо, можно назвать окном уязвимости, которое характеризуется плотностью вероятности и продолжительностью. Это определяет то, что такое окно уязвимости конечно во времени. Сейчас мы живём в эпоху окна уязвимости к сверхтехнологиям.

4.2. События, которые могут открыть окно уязвимости.

Здесь есть два типа событий. Первые – это события, которые неизбежно наступят в 21 веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):

1. Исчерпание нефти

2. Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо

3. Исчерпание водных ресурсов

4. Крах мировой финансовой пирамиды долгов

5. Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания.

Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность создаёт «период полураспада» - то есть время, за которое это событие, скорее всего, случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов.

1. Крупный теракт, масштаба взрыва атомной бомбы в важном городе.

2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара – пока таких катастроф не происходило. Самый близкий пример – авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас.

3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе.

Следующие фазы разрастания окна уязвимости включают в себя мировую войну и разработку и применение оружия судного дня.

4.3. Системные кризисы.

Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть, не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее, есть модели, где системный кризис истребляет всю популяцию.

Простейшей такой моделью является экологическая система хищник-жертва, допустим, волков и лосей на острове. В ней, в случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей. Известные примеры – олени и трава на канадском острове – на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в 8 веке, создали развитое общество, которое, однако, постепенно изводило леса, особенно, на транспортировку знаменитых статуй. Утрата леса некоторым образом приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало – и в этот момент остров был открыт европейцами.

Итак, системный кризис способен «провести популяцию через ноль», то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было, или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия.

Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить.

Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 процентов культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если отрезать полрастения, то из пня вырастут побеги и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже самую малую часть человека, особенно его мозга, то он умрёт весь раз и навсегда до самой последней клетки, коих сотни триллионов – трудно уничтожить штамм бактерий с такой эффективностью. Также и цивилизация – достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричество на несколько часов, и от этого гибнут люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные постройки не могут существовать без непрерывного подвода энергии: шахты затопит, ажурные конструкции торговых центров развалятся за одну зиму без уборки снега и отопления и т д.)

Чем системнее некая структура, тем в больше степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами – и тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире перетасовать в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также и если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом – мертво.

Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий – конечно, не всех, а тех, которые попали в «фокус её внимания». Остаточно крупные катастрофы обычно попадают, поскольку перехлётывают через порог устойчивости. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов. И к войне в Ирке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс например, то что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов). Похоже описал Лев Толстой то, как последствия ущерба, который потерпела французская армия под Бородино, нарастал в последующей цепочке событий – пожар в Москве, зима, Березина, крах империи. При этом информационные составляющие ущерба во всех этих случаях превышала физическую. То есть эти события спровоцировали цепочку неправильных решений и разрушили структуру управления – то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним.

Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации.

1. Избыток хищников – этот пример мы уже обсуждали выше на примере волков и лосей.

2. Пример из экономики – Великая депрессия. Замкнутый цикл сокращения производства – увольнений – падения спроса – сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль. Только внеэкономические событий, вроде войны и экспроприации золота, смогли его разорвать.

3. Другим примеров самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.

4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс, ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты.

5. Трещина. Эскалация раскола в неком обществе приводит к всё более открытой борьбе между двумя силами, всё большим преступлениям, всё большей поляризации остальных членов общества, которые вынуждены выбирать на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)

6. Структурный кризис, когда все всё знают. (Как в фильме «Особое мнение», где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация, где если два противника не знают, в каком состоянии другой, они находятся в покое. А если один знает, что другой начал выдвигать войска, это его провоцирует выдвигать свои; если он знает, что тот не выдвигает войска, это тоже его провоцирует напасть первым. То есть информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным – и с большой скоростью.

7. Структурный кризис «Кампучия», когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть – тоже структурный кризис, который может поедать сообщества.

8. Концепция о том, что уничтожать других – это способ «решить проблему». Но это только путь к разрастанию конфликта. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более «добрая» проиграет. Иначе говоря, патологическая самоогранизация может происходить даже тогда, когда большинство против неё. Например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован. Однако не помешал самому процессу.

9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, которые делают этот объект абсолютно непредсказуемым - что имеет место при спекуляциях на рынке. (См. книгу Дж. Сороса о кризисе мирового капитализма.) Эта непредсказуемость заставляет тренды выходить на самые невероятные режимы работы, среди которых могут быть и катастрофические. Иначе говоря, тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, это динамический хаос.) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.

10. Другой вариант экономического структурного кризиса - бесконечное откладывание рецессии путём накачки экономики деньгами - может пройти точку необратимости, когда мягко выйти из этого невозможно. Это описывается в теории кредитных циклов Мински. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно, и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема ponzi), (см. подробнее http://ie.boom.ru/Rozmainsky/fragilation.htm). Первый тип заёмщиков свободен, и может целиком выплатить долг. Второй тип заёмщиков вынужден выплачивать долг вечно и не может выйти из этого состояния. Третий тип вынужден непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени. Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США , находится где-то между вторым третьим типом. Объём разного вида долгов, созданных только внутри США имеет порядок 100 триллионов долларов (сюда входит 7 трлн государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медобсулуживанию пенсионеров Medicare. При этом ВВП США – 13 трлн. долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они размазаны по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он, скорее, описывает, кто, что и когда будет делать и получать. То есть это финансовая машина планирования будущего. Однако, когда она переходит на третий режим (схема ponzi), она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже. Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Кризис 1929 года был крупнейшим системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975,1982 и начала 90-х. Но в этом есть новая опасность, называемая «моральный вред», состоящая в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в делании долгов, так как уверены, что их выкупят и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во много опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.

11. Общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили и врезались в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были «непреодолимые силы природы» (шторм, медведь), то к 20 веку они были вытеснены основной – человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу 20 века сложность технических и социальных сетей стала столь велика, что их сбои стали не локальными, а системными (по сценариям, обнаружение которых требовало невычислимой сложности). Примером тому является Чернобыльская катастрофа, где персонал следовал по букве инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека.

12. Текущая ситуация в мире, с его основным противоречием между множеством вооружённых стран и единством мировой экономики.

13.Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).

14.Самоподдерживающаяся моральная деградация (крах Римской империи).

15. Эффект домино (например, наркоман, который подсаживает других, чтобы достать деньги на новую дозу или эффект когда банкротство одного банка вызывает банкротство всех его кредиторов по цепочке)

16. «Естественный» отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют добрых.)

17. Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) То есть, встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли.

18. Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха Перестройки).

19. Кризис нарастающего неверия - нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи – кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины – эксперимент, а результат эксперимента – новая технология, а её ценность – это деньги, то постепенно промежуточные ступени опускаются.

20. Теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору – то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория «нормальной аварии» (Perrow 1984), которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей.

21. Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с саморганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает, когда концентрация неустойчивых элементов достигает некого порогового уровня, так, что он они начинают устанавливать связи друг с другом, и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают.

Можно сказать и по-другому. Катастрофический процесс возникает, когда оказывюется исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди – террористы, - которые тщательно выискивают разные скрытые уязвимости и хотят их применить.

22. Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов.

Структурные кризисы малопонятны людям, ибо их ум заточен мыслить в категориях объектов и субъектов действий. И в силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разгорается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение.

Далее, возможны более сложные структурные кризисы, которые мне пока не приходят в голову.

4.4. Кризис кризисов.

В современном мире присутствуют все названные виды кризисов, но в целом система держится стабильной, потому что силы эти тянут в разные стороны. (Например, авторитаризму свойственная тенденция к расколам – СССР и Китай, сунниты и шииты, Сталин и Троцкий – которая создаёт кризис типа трещины и уравновешивает однополярную кристаллизацию.) То есть отдельные процессы уравновешивают друг друга: авторитаризм – дезорганизацию итд. Кроме того, действует принцип гомеостаза в духе принципа Ле Шателье-Брауна.

Опасно, однако, если все эти отдельные кризисы самоогранизуются, то получится некий кризис кризисов. Системы стремятся удерживаться в равновесии, но при достаточно сильном точке переходят в равновесное состояние движения, иначе говоря, в систему процесса разрушения, которая тоже обладает своей устойчивостью. Это верно для армии, переходящей в наступление: до какого-то момента она вынуждена преодолевать сопротивление врага и собственной инерции, однако затем она входит в состояние наступление, которое обладает своей устойчивой структурой. Из обычной жизни пример: для того, чтобы выйти из дому, надо приложить иногда некое усилие, чтобы «раскачаться», однако когда процесс путешествия пошёл, он уже обладает собственной динамикой, инерцией и структурой.

В настоящий момент все кризисные проявления в человеческом развитии сорганизованы так, чтобы удерживать человечество в русле постепенного экономического, научно-технического и популяционного роста. В случае кризиса кризисов все те же факторы могут сорганизоваться так, чтобы непрерывно работать на уничтожение человеческой цивилизации.

Свойства кризиса кризисов: его невозможно понять, потому что, начав о нём думать, втягиваешься в него и усиливаешь его (так работает, скажем, арабо-израильский конфликт). И потому что его понимание не имеет никакой ценности, из-за плотного информационного шума. Потому что, на самом деле, он сложнее, чем может понять один человек, но имеет ряд очевидных неверных упрощённых пониманий. (Закон Мёрфи: любая сложная проблема имеет простое, очевидное и неверное решение.)

Элементами кризиса кризисов являются не события и взаимодействия в мире, а кризисы более низкого порядка, которые структурируются не без помощи человеческого ума. И особенно здесь играет роль понимание, что сейчас происходит кризис, которое ведёт к двум, по крайней мере, моделям – или к стремлению поскорее избавиться от кризиса, или к стремлению кризисом воспользоваться. Обе могут только усиливать кризис. Хотя бы, потому что у разных сторон – разные идеи о том, как закончить кризис и как получить выгоду от него.

Поскольку понимание кризиса отдельными игроками – часть кризиса, то этот кризис будет сложнее любого понимания его. Даже когда он закончиться, понимания того, что же с нами произошло – не будет. Именно поэтому так много разных мнений и дискуссий о том, что же произошло в 1941 году или «почему распался СССР».

Ещё одной метафорой кризиса кризисов является следующее рассуждение, которое я слышал применительно к финансовым рынкам. Есть большая разница между кризисом на рынке, и кризисом рынка. В первом случае наблюдаются резкие скачки цен и изменение торговой ситуации. Во втором – прекращается сама торговля. В этом смысле глобальная катастрофа не есть очередной кризис на пути развития, где новое побеждает старое. Она есть прекращение самого развития.

4.5. Технологическая Сингулярность.

Одно из глубоких наблюдений в духе «кризиса кризисов» изложено в статье А.Д.Панова «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии». Рассматривая периодичность различных ключевых моментов с возникновения жизни на Земле, он обнаруживает закономерность, которая говорит о том, что плотность этих переходных эпох непрерывно возрастает по гиперболическому закону, а следовательно, имеет «сингулярную точку», в которой она обращается в бесконечность. Это означает, что происходит не просто очередной кризис, а кризис всей модели, которая описывает процесс эволюции от зарождения жизни до наших дней. И эта модель ничего не говорит о том, что будет после сингулярной точки.

Эта точка находится в районе 2027 года. Интересно, что несколько принципиально разных прогностических моделей указывают на окрестности 2030 года как на точку «Сингулярности», где их прогностические кривые обращаются в бесконечность. Очевидно, что глобальные риски группируются вокруг этой точки, так как она является классическим «режимом с обострением». Однако они могут произойти и гораздо раньше этой точки, поскольку будут кризисы и до неё.

В модели Панова каждый следующий кризис отделён от предыдущего промежутком времени, в 2,42 меньшем. Если последний кризис приходится на начало 1990-х, а предпоследний – на вторую мировую войну, то следующий кризис (момент выхода из него) по модели Панова будет в районе 2014 год, а после следующие – на 2022, 2025, 2026, а дальше их плотность будет непрерывно нарастать. Конечно, точные значения этих цифр неверны, но общая тенденция в этом есть. При этом последний кризис – распад старого и творение нового – был в начале 90-х годов и состоял в распаде СССР и возникновении Интернета.

Это значит, что в период с настоящего момента до 2014 года мы должны пережить ещё один кризис сопоставимого масштаба, то есть мы можем наблюдать его зарождение уже сейчас внутри пятилетнего горизонта предсказаний – однако этот кризис вовсе не будет той окончательной глобальной катастрофой, о которой мы говорим, и между ним и кризисом самой модели в 2020-е годы возможен «островок стабильности» в несколько лет.

Несколько независимых исследователей пришли к мысли о возможности технологической сингулярности в районе 2030 года, экстраполируя различные тенденции – от уровня миниатюризации устройств до мощностей компьютеров, необходимых, чтобы симулировать человеческий мозг. Сингулярность не отличается математически от режима с обострением, то есть катастрофы, и как завершение огромной исторической эпохи она, безусловно, будет катастрофой. Однако Сингулярность может быть позитивной, если она сохранит людей и значительно расширит их потенциал, и соответственно, негативной, если в результате этого процесса люди погибнут или лишатся того большого будущего, которое у них могло бы быть. С точки зрения нашего исследования мы будем считать позитивным любой исход Сингулярности, после которого люди продолжаю жить.

Наиболее быстрым, сложным и непредсказуемым процессом, который часто отождествляется с Технологичной Сингулярностью, является возникновение универсального, способного к самосовершенствованию ИИ и его гиперболический рост. (Можно показать, что само ускорение развития, которое имело место в прошлом, связано именно с ускорением и улучшением способов решение задач – от простого перебора, к половому отбору, появлению человека, языка, письменности, науки, компьютеров, венчурного инвестирования – каждый следующий шаг был шагом в развитии интеллекта и возможный в будущем самосовершенствующийся ИИ только продолжает эту тенденцию.)

В отношении Сингулярности можно сформулировать несколько кажущихся достоверными высказываний.

Во-первых, Сингулярность формирует абсолютный горизонт прогноза. Мы точно не можем сказать, что будет после Сингулярности, поскольку речь идёт о бесконечно сложном процессе. Более того, мы не можем сказать ничего ни о самом моменте Сингулярности, ни об определённом промежутке времени перед ней. Мы можем высказывать только определённые предположения о том, когда будет Сингулярность, однако и здесь есть большой разброс. На самом деле, ничего не мешает наступить Сингулярности прямо завтра в случае неожиданного прорыва в исследовании ИИ.

Во-вторых, с точки зрения наших современных воззрений, актуальная бесконечность не может быть достигнута. В силу этого абсолютная Сингулярность не достижима. Это можно интерпретировать так, что по мере приближения к Сингулярности в системе усиливаются различные колебательные процессы, которые разрушают её раньше достижения точки бесконечности. Если это так, то перед Сингулярностью плотность вероятности глобальных катастроф неограниченно возрастает. (Ср. с концепцией Малинецкого о увеличении частоты и амплитуды колебаний в системе перед катастрофой.)

В-третьих, к Сингулярности вся система подходит целиком. Это значит, что не следует ожидать того, что Сингулярность не затронет кого-либо, или что будет несколько разных Сингулярностей.

С точки зрения нашего исследования, важно отметить, что глобальная катастрофа – это не обязательно и есть сама Технологическая Сингулярность. Глобальная катастрофа может быть масштабным, но, в конечном счёте, простым процессом, вроде столкновения с астероидом. В глобальной катастрофе есть признаки режима с обострением, как например, резкое ускорение плотности событий в момент касания астероидом Земли (длится 1 секунду), но нет сверхинтеллекта, которые по определению не постижим.

Из сказанного следует, что если принять концепцию Технологической Сингулярности, то мы ничего не можем сделать, чтобы измерить или предотвратить риски после Сингулярности, но должны предотвращать их до неё (особенно в период повышенной уязвимости перед ней) и стремится к позитивной Сингулярности.

Подробнее о Технологической Сингулярности можно почитать в статьях и книгах: Вернор Виндж. «Технологическая Сингулярность».

(http://www.computerra.ru/Authors/2922/), Юдковски «Вглядываясь в Сингулярность», Дэвид Брин «Сингулярность и кошмары», Майкл Диринг «Рассвет Сингулярности».

4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов.

Некоторые ресурсы могут не просто закончиться, но быть исчерпаны, так сказать, в минус. Например, сверхэксплуатация почв приводит к их быстро и полной эрозии. Этот вопрос исследовался Медоузом в его «Пределах роста». Исследуя математические модели, он показал, что перебор в потреблении некого ресурса приводит затем систему неизбежно на край гибели. Например, избыток хищников приводит к такому истощению числа жертв, что затем все жертвы до единой погибают, и сами хищники обречены на голод. Другой пример – когда загрязнение окружающей среды настолько велико, что помимо самого загрязнения поражает и способность среды к самовосстановлению.

Кредитный цикл Мински определённым образом относится не только к деньгам, но и к истощающему перепотреблению (то, что называется термином «overshoot») любого природного ресурса. При этом человечеству свойственно сверхисчерпывать любой ресурс, который ему стал доступен. В этом смысле не удивительно, что перепотребление многих ресурсов происходит практически одновременно – ведь перерасходование одного ресурса можно скрыть, расходуя другой. Например, исчерпание денег на выплату ипотеки можно скрыть, оплачивая её через кредитную карточку; точно также исчерпание на 30 процентов пригодных для сельского хозяйства земель со времени второй мировой войны можно скрыть, вкладывая больше ресурсов (то есть энергии) в культивацию оставшихся земель; или исчерпание водоносных горизонтов можно скрыть, затрачивая больше энергии на добычу воды из более глубоких горизонтов. Проблемы сверхисчерпания людям всякий раз удавалось преодолеть, совершив технологический скачок, как это было в неолитическую революцию. Однако это не всегда происходило плавно, то есть иногда решение находилось, только когда полномасштабный кризис уже разверзался. Например, неолитическая революция – переход от собирательства к оседлому сельскому хозяйству – произошла только после того, как население значительно сократилось в результате сверхисчерпания ресурсов в обществе охотников-собирателей.

В XXI веке нам угрожает одновременное исчерпание многих важных ресурсов вследствие уже сейчас происходящего перепотребления. Перечислим разные предположения об исчерпании, не обсуждая истинность или ложность каждого в отдельности. С экономической точки зрения окончательное исчерпание никакого ресурса невозможно, вопрос в том, сколько он будет стоить и хватит ли его на всех. В связи с этим выделяют не момент исчерпания, а момент максимума добычи (пик) и затем период быстрого спада производства ресурса.

Период спада может быть даже опаснее периода полного отсутствия, поскольку именно в этот момент развернётся отчаянная борьба за ресурс, то есть может начаться война.

Пик добычи рыбы – пройден в 1989 году

Исчерпания пригодных для земледелия земель

Пик производства пищи в целом

Пик нефти – возможно, в настоящий момент

Пик газа – позже, но более резкий спад после него.

Выведение из эксплуатации ядерных реакторов

Исчерпание питьевой воды и воды для орошения.

Исчерпания ряда цветных и редких металлов (к 2050 г.)

Ещё раз подчеркну, что в данной работе проблема исчерпания ресурсов рассматривается только с точки зрения того, может ли она привести к окончательному вымиранию человечества, и утверждается, что само по себе – не может, но только если запустит некий ещё более опасный процесс.

Интересно изучить следующий вопрос. Если финансовая система банкротится, то это означает, что у неё кончаются все источники денег, а если исчерпываются ресурсы технологической цивилизации, то это значит, что у неё одновременно заканчиваются все ресурсы, поскольку энергия выполняет функцию денег в технологической системе, и позволяет добывать любой ресурс, пока энергия есть (например, качать воду из глубинных пластов). Вопрос возникает, следует ли из этого эквивалентность денег и энергии, а значит, будет ли энергетический кризис также и финансовым, и наоборот? Думаю, что да. Грубо говоря, потому что реальные деньги означают возможность купить товары. Если же экономика перейдёт в дефицитный режим, то возможность приобрести что-нибудь ценное за деньги испарится.

4.7. Системный кризис и технологические риски.

Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня.

4.8. Степень мотивации и осведомленности как факторы глобального риска.

Как справедливо подчёркивает А.Кононов, задача неуничтожимости должна осознаваться в качестве главнейшей любой цивилизацией, которая существует в катастрофически нестабильной вселенной. Точно так же, как у каждого человека на базовом уровне прошит инстинкт самосохранения. В целом, мы можем предположить, что чем больше осознание важности сохранения цивилизации на всех её уровнях от инженера до правителя, тем больше шансов у неё выжить. (Хотя возможен сценарий, когда стремление к выживанию приведёт к борьбе одних групп с другими или борьбе спасателей.)

Соответственно, то, как растёт осознанность и мотивация цивилизации в отношении её самосохранения, является мощнейшим фактором её выживания. В статье «О возможных причинах недооценки вероятности глобальных рисков» я рассматриваю список факторов, по которым люди могут неверно оценивать вероятность глобальных катастроф, чаще всего в сторону занижения. Однако не менее важно то, что, как в это не трудно поверить, люди могут не стремиться к предотвращению глобальных катастроф. Или, например, недостаточно стремиться. Скажем, Рейган считал приемлемым повысить риск в ядерной войны, чтобы достичь победы в холодной войне с СССР. Это значит, что цель выживания человеческой цивилизации была для него не первостепенной. И это обусловлено эволюционной психологии, поскольку альфа-самец достигает своего статуса вожака стаи, проявляя готовность рискнуть своей жизнью в схватках с другими альфа-самцами, и эта модель поведения закрепляется генетически, так как у победивших самцов больше детей, чем у погибших в процессе борьба за место вожака.

Итак, мы можем сказать, что способность цивилизации к выживанию в значительной сфере определяется двумя факторами – степенью её осведомленности о различных рисках, и степенью её мотивации в их предотвращении. При этом эти два фактора связаны, так как большая мотивация ведёт к более тщательным исследованиям, а важные исследования, проливающие свет на новые риски, могут усилить мотивацию. Всё же влияние мотивации представляется более первичным. Хотя теоретически все поддерживают предотвращение глобальных рисков, на практике эта цель находится на последнем месте, что видно по числу публикаций по теме и финансированию исследований. (Спросите своё правительство – готово ли оно вкладывать ресурсы в технологию, которая даст уменьшение глобальных рисков на 1 процент через 100 лет. Тем не менее это равносильно согласию на вымирание человечества через 10 000 лет. Вероятно, есть некий биологический механизм, в силу которого сохранение жизни детей и внуков очень важно, а жизни пра-пра-пра-правнуков – абсолютно неважно.)

Мы можем пытаться учесть эти два фактора как некие коэффициенты от их максимального значения. Если предположить в качестве максимальной степени мотивации усилия страны в войне, а в качестве меры реальной мотивации – долю финансирования лиц и организаций в США, занимающихся предотвращением глобальных рисков целом (порядка 1 млн. долларов в год в лучшем случае; при этом мы не рассматриваем узкоспециализированный программы, которые лучше финансируются, так как они не предполагают целостной защиты, учитывающей весь комплекс взаимосвязей в связи с глобальными рисками, например, антиастероидную программу) – то разница составит около 1 миллиона (предполагая, что США могли бы расходовать на войну около 1 триллиона долларов). При этом, однако, ситуация значительно улучшается – если в 2000 году не было ни одного человека, занимающегося исследованием и предотвращением глобальных рисков на постоянно оплачиваемой основе, то теперь такие должности есть в США и Великобритании. Всё же, несмотря на то, что ситуация улучшается, она выглядит чудовищно запущенной.

Осведомленность следовало бы измерять как долю полной осведомленности, какая бы могла быть только у некой сверхцивилизации. Под осведомленностью я имею в виду наличие общепризнанного, строго доказанного и широко известного описания проблемы глобальных рисков. Поэтому, даже если бы эта книга содержала такое описание, то она не давала бы полной осведомленности, поскольку очевидно, что подавляющее большинство людей не читали её, а большинство тех, кто читали, имеют те или иные возражения. Итак, если мы скажем, что наша осведомленность составляет тысячную долю от максимально возможной осведомленности, это будет очень оптимистическая оценка. При этом я имею в виду максимально достижимую возможную осведомленность на данном технологическом уровне, а не абсолютную осведомленность мага, который предвидит будущее.

Даже максимальная мотивация и абсолютная осведомленность не дают 100 процентных шансов выживания, поскольку возможны катастрофы, связанные с необоримыми природными силами или непредсказуемыми вероятностными процессами в духе теории хаоса. Осведомленность и мотивация не позволяет людям жить вечно. Общую живучесть цивилизации можно было бы оценить как произведение осведомленности на мотивацию, но в случае земной цивилизации мы бы получили досадную одну миллиардную от максимально возможной. Остается надеяться, что при появлении на горизонте неких чрезвычайных обстоятельств, мотивация может быстро возрасти.

Итак, мы должны рассматривать любые события, влияющие на мотивацию и на знание о глобальных рисках, как на факторы глобальных рисков второго рода.

Факторы, повышающие мотивацию:

1) Крупные катастрофы любого рода

2) Публикации, влияющие на общественное мнение.

Факторы, ослабляющие мотивацию:

1) Долгие периоды покоя и благоденствия.

2) Публикации, успокаивающие людей.

3) Ошибочные несбывшиеся прогнозы.

Факторы, влияющие на осведомленность:

1) Количество людей, участвующих в дискуссии на тему, и их профессиональные качества.

2) Длительность истории дискуссии и информационная прозрачность.

3) Разработанность методологии.

4) Мотивация в развитии осведомленности.

Фактор, ослабляющий осведомленность:

1) Гибель учёных или разрыв традиции в случае некой катастрофы средней тяжести.

2) Распространение заблуждений и/или идеологический раскол.

Выводы: наша неосведомленность и немотивированность в предотвращении глобальных катастроф может быть гораздо более серьёзным фактором, чем риски, создаваемые любым физическим источником риска. Это подобно тому, как больше половины катастроф самолётов происходит из-за ошибок пилотов, а не из-за технических или природных причин.

5. КРИПТОВОЙНЫ, ГОНКА ВООРУЖЕНИЙ И ДРУГИЕ СЦЕНАРНЫЕ ФАКТОРЫ, ПОВЫШАЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

5.1. Криптовойна.

Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С.Лема). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире:

Недоверие стран друг другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет, в результате может разгореться мировая война всех против всех и одновременный скачок в опасных технологиях.

Криптовойна будет во многом террористической – то есть информационное воздействие от удара должно превышать непосредственный ущерб. Но смысл этого будет не столько в создании страха – террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные «гипотезы». Многие политические убийства современности уже являются актами «криптовойны», например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его на свою пользу, спихнув вину на другого.

5.2. Уязвимость к сверхмалым воздействиям.

Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям (Более того, за счёт нелинейного сложения, несколько очень слабых событий может иметь значительно больший эффект, чем каждое в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужнее сверхум, способный смоделировать сверхсложную систему. А значит, этот ум должен быть сложнее этой системы, и эта система не должна содержать других таких умов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны.

Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю достаточным умом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. (Например, недавно в Европе ограбили банк таким образом – взяли в заложники семью сотрудника, и он сам всё вынес.) Так пока вероятно нельзя уничтожить мир, но спровоцировать гигантский бардак можно – то есть перевести систему на более низкий уровень организации. В состоянии бардака вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет – то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны – для них такое событие станет спусковым крючком опасной гонки вооружений.)

5.3. Гонка вооружений.

Гонка вооружений опасна не только тем, что она будет использована нарочно для создания оружия судного дня. В процесс скоростной гонки вооружений придётся ставить опасные эксперименты с пониженными требованиями безопасности и с более высокой вероятностью утечек. Кроме того, сверхоружие всеобщего уничтожения может оказаться побочным результатом или частным случаем применения обычного оружия. Например, идея о кобальтовой бомбе возникла после того, как необходимая для неё обычная атомная бомба была придумана и создана. Развитие технологии производства боевых отравляющих насекомых даст возможность создать такой вид, который заполонит всю Землю. Наконец, применение в больших количествах какого-то одного оружия также может перевести человечество на более низкую стадию развития, на которой вымирание более возможно.

5.4. Моральная деградация.

Часто говорят, что моральная деградация может погубить человечество. Понятно, что моральная деградация не может быть глобальным риском первого рода, так как сама по себе она никого не убивает – да и разговоры о моральном упадке идут со времён Древней Греции. Тем не менее, моральная деградация элит была существенным фактором падения Римской империи.

При этом «в моральную деградацию» я не вкладываю оценки собственно моральной оценки, а имею в виду те модели поведения, которые делают общество менее устойчивым. В первую очередь, это предпочтение личных и краткосрочных целей над общественными и долгосрочными. Отметим, что если раньше культура была нацелена на пропаганду целей, полезных устойчивости общества, то теперь – наоборот. Однако от этого все не стали убийцами. Примером современной «моральной деградации» являются слова президента Клинтона о том, что он «брал сигарету с травкой, но не затягивался». Она угрожает в первую очередь «властным элитам» и смысле глобальных рисков может проявиться в неспособности властных элит адекватно реагировать на угрозы. То есть реакция возможна, но ложь, недоверие друг к другу и отмывание денег может подорвать любые инициативы в области глобальных рисков.

Далее, система критична к концентрации ненадёжных элементов. Если их достаточно мало, они не сталкиваются друг с другом и не нарушают устойчивости. Если их больше некого критического количества, они образуют свою внутреннюю связную структуру. Даже небольшой прирост такой концентрации в районе критического порога может серьёзно увеличить степень неустойчивости системы.

Наконец, даже небольшое снижение общего морального уровня общества значительно повышает «вес» тяжёлых хвостов распределения, то есть увеличивает число потенциальных «геростратов».

Надо отметить, что рост образованного населения Земли также увеличивает число людей, которые могут сознательно хотеть глобальной катастрофы и обладать необходимыми знаниями.

Есть мнение, восходящее ещё к К.Марксу, что корни возможной неустойчивости – в самой природе общества, построенного на конкуренции. Инвестиции в долгосрочные проекты ослабляет конкурентоспособность в краткосрочных, так как ресурсы уходят в дальние проекты. В результате в среднесрочной перспективе те люди, страны и организации, которые не уделяли достаточно внимания краткосрочным проектам, терпят поражение. (Это рассуждение можно сравнить с рассуждением Н. Бострома о «хоббистах» в его статье «Угрозы существованию», где показывалось, что эволюция остеит те сообщества, которые не будут тратить все средства на выживание.) с другой стороны, та группы людей, которая научилась сотрудничать, оказывается в более выигрышной ситуации, чем отдельный человек, отказывающийся от сотрудничества. В любом случае, в современном обществе есть разрыв между качественным ближайшим планированием (до выборов, до зарплаты, до окупаемости предприятия), и долгосрочным планированием, при котором вес рисков становится велик.

5.5. Враждебность как сценарный фактор.

Очевидно, что любой кризис приведёт к росту враждебности на Земле. (Как, например, происходит в обычном государстве после крупного политического убийства или неудачной войны – примеры: война с Японией в 1905 г., война во Вьетнаме.) Одним из ярких недавних примеров всплеска враждебности в мире была ситуация, сложившаяся после терактов 11 сентября 2001 года, когда многие люди ожидали, что «война цивилизаций» примет характер мировой войны.

Эта враждебность будет состоять из нескольких факторов:

1. Поляризации общества на разные группы, которые ненавидят друг друга.

2. Рост накала негативных эмоций и повышение числа людей, готовых к насилию и хотящих этого, что повышает риск терактов и инцидентов с оружием массового поражения.

3. Утрата доверия всех ко всем и разрушение связности системы. Доверие – необходимая часть экономической системы, основанной на кредите.

4. Рост гонки вооружений и обострение всех застарелых конфликтов.

5. Риск начала мировой войны в той или иной форме.

6. Ожидания неизбежности поворота событий от плохого к худшему, что может порождать самосбывающиеся пророчества.

5.6. Месть как сценарный фактор.

Месть является продолжением враждебности, но в высшей форме. Допустим, между двумя крупными державами произошла ядерная война, и одна из держав её полностью проиграла – ей нанесли неприемлемый ущерб, тогда как другая отделалась лёгкими повреждениями. У проигравший стороны – потеря половины населения, всех крупных городов, оборонного потенциала. Весьма вероятно, что в этом случае месть станет национальной идеей. Опыт истории показывает, что некоторые народы можно загонять в пыль, а они порождают всё более агрессивные и опасные формы сопротивления. Например, Бен Ладен возрос в Афганистане. Другие примеры – Чечня, палестинцы. В силу этого ядерная война не сделает мир более стабильным. Наоборот, он создаст настолько непреодолимые противоречия, что мир станет ещё опаснее. Проигравшая сторона будет не против применить любую машину судного дня, потому что людям, потерявшим свои семьи, свою родину, нечего терять.

Победившая сторона должна в этом случае решиться или на геноцид, или на оккупацию. Современная страны западной цивилизации не могут решиться на геноцид, потому что в этом случае им придётся утратить свою идентичность. Оккупация тоже плохо работает, потому что превращается в войну без конца. Технологично выглядит идея оккупации с помощью роботов, что, однако, равносильно превращению побеждённой страны в электронной концлагерь.

5.7. Война как сценарный фактор.

Войны были всю историю человечества, и сама по себе война не может привести к человеческому вымиранию, однако в современном мире война может:

1) Война может создать условия для применения оружия судного дня. А также привести к неконтролируемому применению ядерного оружия.

2) Война может спровоцировать ещё большую войну.

3) Война может вызывать экономический кризис. Раньше войны помогали бороться с кризисами перепроизводства, но это было верно для старого мира, в котором не было единого мирового производства и финансов.

4) Любая война провоцирует гонку вооружений, даже и у не участвующих стран. При этом любая гонка вооружений связана с прогрессом всё более автономных от человека машин. Она также связана со снижением критериев безопасности ради большей эффективности в условиях катастрофической нехватки времени.

5) Война может стать спусковым событием для некой цепочки событий, ведущей к кризису.

6) Война делает возможными крупные диверсии и криптовойны.

7) В ходе войны могут происходить глобальные катастрофы по типу утечки, например, при разрушении хранилищ и лабораторий по производству биологического оружия

8) Война увеличивает количество людей, переживающих чувства отчаяния и жажду мести, и, следовательно, увеличивает вероятность создания и применения оружия судного дня.

9) Война препятствует совместным организованным усилиям по предотвращению и ликвидации последствий разного рода катастроф.

10) Война может привести к тому, что краткосрочные цели застилают средне- и долгосрочные перспективы. То есть в ходе войны могут быть упущены из виду глобальные угрозы, которые не связаны с войной – или долгосрочные последствия действий, которые необходимы для выживания сегодня.

11) Война может порождать интернациональные террористические сети.

12) Война приводит к расколу общества на чёрных и белых даже в не участвующих странах, что может производить к эффекту самовоспроизведения войны. Например, во всех странах возникали коммунистические партии, и во многих они начинали вооружённую борьбу.

13) Война может привести к разорению и переходу мира на «постапокалиптическую» стадию. Это может произойти, даже если война не будет ядерной. Но для этого она должна быть всемирной. Сетевая война или гражданская более склонна к тому, чтобы быть всемирной. Так называемое «столкновение цивилизаций», то есть война за всемирный халифат, может принять форму такого конфликта. В классической войне всегда есть тыловые территории, в которых происходит основное развитие новых технологий, необходимых для войны. В сетевой войне не будет тыловых территорий.

Война всегда содержит гораздо больший элемент непредсказуемости, чем политика в мирное время. Война также служит ускорителем темпа исторического времени. Поскольку ряд прогнозов говорит нам о неминуемом ускорении прогресса в первой трети XXI века, то можно связать это с возможностью войны.

При этом под войной мы имеем в виду классическое вооружённое столкновение двух населёнными людьми стран. Вооружённая борьба людей и роботов, людей и сверхлюдей или двух ИИ между собой или людей с опасным вирусом не будет классической войной. Но такая война может означать геноцид людей, в отличие от обычной войны, которая не нацелена на уничтожение всех людей.

Война может быть двух классов: это или вооружённое противостояние с некими локальными целями (сепаратисты, предотвращение создания оружия массового поражения, оккупация части другой страны), или мировая война. Я полагаю, что любая мировая война является войной за мировое господство, что можно иначе назвать «войной за объединение планеты» и имеет своей целью установить вечный всемирный режим. Вторая мировая война, Холодная война и борьба с Халифатом в значительной мере подходят под это определение.

Чем позже такая война произойдёт, тем сильнее будут её участники и тем хуже последствия. Возможно, нашей планете сильно не повезло в том, что она не объединилась в единое всепланетное государство сразу после второй мировой войны.

Выводы: даже самая небольшая война обладает мощнейшем потенциалом в том, чтобы раскручивать глобальные риски.

5.8. Деградация биосферы.

В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения как живых существ на Земле, так и особенно их среды обитания люди уже никогда не смогут вернуться на доисторический уровень существования. Обычные охота и земледелие станут невозможны – только выращивание всех необходимых продуктов в герметичных парниках. И если вымерших животных можно восстановить, просто выпустив «каждой твари по паре», то также просто восстановить почву и воздух не получится.

И хотя кислорода, накопленного в атмосфере, хватит ещё на тысячелетия сжигания топлива, то утилизировать углекислый газ в случае смерти биосферы будет уже не кому, что усилит шансы необратимого глобального потепления.

Вывод: Чем сильнее повреждена среда обитания, тем выше минимальный технологический уровень, на котором может выживать человечество.

5.9. Глобальная дезинфекция.

Распространение опасных биологических форм может привести к полному заражению ими биосферы. В этом случае возможны такие варианты:

А) Людям придётся изолироваться в защищённые убежища. Однако всегда будет оставаться угроза заноса опасных биологических агентов снаружи.

Б) Биологическая борьба с опасными агентами: распыление антибиотиков, антивирусов.

В) Создание искусственной иммунной системы всей Земли. Но это возможно только после предварительной «зачистки» и сопряжено с новыми угрозами, связанными с риском «автоиммунных реакций».

Г) Тотальная стерилизация живой природы. В этом случае людям придётся полностью уничтожить всю живую природу, чтобы вместе с ней уничтожить укоренившиеся в ней опасные организмы. Это означает, что люди уже не смогут вернуться назад, к естественному образу жизни. Однако после стерилизации возможно повторное заселение Земли живыми существами из «зоопарков». Сам момент глобальной стерилизации опасен для человечества, так как подразумевает высвобождение универсального, убивающего всё живое агента, например, радиоактивного вещества или излучения.

5.10. Экономика как сценарный фактор.

Основной глобализации является единая мировая экономика, а основой экономики – финансы. Финансы осуществляют управление потоком производственных сил, создавая города в пустыне или атомные заводы в заполярье. Чем сложнее система, тем больше в ней роль «верхних этажей» управления. Поэтому разрушение финансов может иметь катастрофические последствия, хотя финансы невозможно увидеть взглядом. Деньги являются обязательствами, данными относительного будущего. Именно наше ожидание того, что они сохранят свою ценность через год и через несколько лет придаёт им ценность сейчас. Соответственно, финансы являются инструментом конструирования будущего. Дезорганизация этого инструмента может существенно отбросить мир назад.

Аналогом экономики в человеческом обществе является экологическое равновесие видов в природе. И огромное число видов в природе вымерло, потому что нарушилось это равновесие, например, появились конкуренты или исчезло питание, или изменились условия среды.

5.11. Точка абсолютной уязвимости.

Это гипотетическая точка в системе, бесконечно малое воздействие на которое приводит к бесконечно большим последствиям. Чем сложнее система, тем больше шансов, что у неё есть такая точка. Чем выше интеллект и информированность противника этой системы, тем легче ему рассчитать или создать такую точку. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения.

Скорее всего, речь может идти о:

• Решении о начале войны (выстрел в Сараево)

• Начале техногенной аварии (Чернобыль)

• Биржевой панике

• Отклонении орбиты астероида

Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:

Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно. Я сильно удивляюсь, что авиамодели до сих пор не запретили. Объекты для атаки: президенты, самолёты, электроподстанции, вычислительные центры, системы управления ядерным оружием.

Сложные атаки с использованием Интернета и компьютеров. Например, создание закладки в компьютере, которая выдаёт неправильные данные только одному брокеру, заставляя его принимать неправильные решения.

Информационная атака – дезинформация – например, пустит слух (качественно сфабрикованный), что президент враждебной страны сошёл с ума и готовит превентивный удар по «нам» - это вызывает у «нас» желание ударить первыми. Что, очевидно, запускает положительную обратную параноидальную связь.

5.12. Раскачивающее управление.

Эффект обнаружен пионером кибернетики фон Нейманом. Он проявляется в дрожании рук больных паркинсонизмом и в управлении самолетами и артиллерийской стрельбой. Суть его состоит в том, что управляющая система получает информацию о состоянии управляемого параметра с запаздыванием, и в результате управляющее воздействие не вычитается из параметра, а складывается с ним, приводя ко всё большим колебаниям. В отношении глобальных рисков и новых технологий это может проявляться в том, что понимание сути этих принципиально новых процессов будет отставать от развития самой проблемы, в силу чего попытки разрешить проблему будут только усиливать её.

5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска.

Наше знание по-разному влияет на вероятность разных рисков. Можно выделить, так сказать, «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться – в отличие от рисков, которые мы можем приготовиться достаточно легко. Подготовка к риску включает в себя то, что мы:

1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры против него. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)

2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может придти риск.

3. В момент начала риска, мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем привести в жизнь в правильное время.

4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.

5. Мы обладаем таким количеством ресурсов, которое позволяет минимализировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.

Иначе говоря, контролируемый риск – этот риск, которым мы можем управлять, делая его произвольно малым.

С другой стороны, можно описать неконтролируемый риск:

1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а следовательно, нулевой.

2. Это событие устроено так, что оно не имеет никаких предвестников, или они нам неизвестны.

3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимализировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.

4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает.

5. Наших ресурсов не хватает, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.

Изложенная модель неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию того, что когда некий опасный процесс начнётся, люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлый катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, исходя из неё, действуют. Тут не обойтись без нескольких примеров:

Пилоты Боинга, вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы рулевой «Титаника» ударился в айсберг строго в лоб, а не скользящим ударом, судно бы не потонуло.

Проводник поезда в Германии решил пойти в конец поезда и посмотреть, что там происходит, вместо того, чтобы сразу дёрнуть за стоп-кран – в результате поезд сошёл с рельс со значительными жертвами.

В критических ситуациях людям очень трудно принимать решения, потому что эти ситуации:

• Не очевидны им как критические

• Никогда ещё не случались в их практике

• Они испытывают давление эмоций, страхов, нехватки времени и предрассудков

• Они обладают неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки.

• Они понимают то, что сказано в инструкциях иначе, чем авторы инструкций.

И по ряду других причин, существенных именно для глобальных катастроф, о которых идёт речь в статье Е.Юдковски «Систематические ошибки в рассуждениях о глобальных рисках» и в моей статье «О возможных причинах недооценки рисков уничтожения человеческой цивилизации». Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание требует месяцев тщательного изучения, и, тем не менее, всегда остаются неясности, сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 процентах случаев аварии связаны с человеческим фактором, и в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы управления Землёй могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.

Чем малопонятнее новые технологии, тем они автономнее от общественного контроля. Люди могут участвовать в опасных процессах, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в «Сумме технологий», где ИИ используется в качестве советчика по управлению государством. Разумеется, все советы, которые кажутся вредными, отклоняются. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело через много лет и несколько промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели баланса природных ресурсов, которые были поставлены перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.

Дрекслер так описывает этот риск: «Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными" (ее курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.»(«Машины созидания», гл.13)

5.14. Открытия.

Важным элементом прогноза будущего является возможность новых принципиальных открытий. Эти открытия могут быть двух родов: те, которые уже обдуманы в научной фантастике, и некие совершенно новые открытия, даже идея которых не могла придти в голову ранее (примером чего являются квантовая механика, квантовые компьютеры, компьютерная мышь и отчасти интернет). Понятно, что открытия принципиально не поддаются прогнозу, но можно рассмотреть некоторые возможности. Самое главное в нашем контексте - это то, что каждое новое открытие создаёт новые возможности для глобальных рисков.

• Если изобретут антигравитацию, это может дестабилизировать Землю или позволит создать быстрые и незаметные ракеты с ядерными зарядами.

• Если изобретут трансмутацию химических элементов, это позволит накапливать опасные радионуклиды.

• Если откроют дверь в параллельный мир, то неизвестно, что оттуда прилетит.

• Любое открытие нового источника энергии позволит создавать новые бомбы и ракеты.

• Любой способ получения информации сделает возможной более совершенную разведку и наведение.

• Любая новая среда даст возможность появления в ней самокопирующихся единиц.

• Любое открытие в области биологии приближает создание биологического оружия, а в области понимания работы мозга – ИИ, сверхнаркотика и средств тотального контроля.

5.15. Общие модели поведения систем на грани устойчивости.

Г.Малинецким обнаружены общие признаки поведения кривых, описывающие различные системы перед катастрофой. Они состоят в том, что некий параметр быстро растёт, в то время как скорость его колебаний вокруг среднего значения возрастает. Можно объяснить это так: по мере того, как система становится критической, отдельные сбои в ней оказываются всё ближе друг к другу и между ними начинают всё чаще возникать цепочки связи, маленькие лавины. От этого параметры системы начинают дергаться. Однако инерция гомеостаза системы пока ещё достаточно сильна, чтобы удерживать её в оптимальный параметрах. Появление всё новых и новых технологий и реализация разных сценарных факторов увеличивает число кирпичиков, из которых может сложиться опасный процесс, причём увеличивает нелинейно, а в степени, пропорциональной длине опасной цепочки.

Поэтому можно предположить, что признаком приближения глобальной катастрофы может быть увеличение числа несвязанных друг с другом катастроф и опасных процессов, каждый из которых будет завершаться относительно благополучно. (Но это совершенно не обязательный признак: катастрофа может наступить и совершенно внезапно; кроме того, есть такой признак, как «затишье перед бурей», подтверждённый на примере землетрясений, когда система перестаёт выдавать сбои в течение неожиданно большого времени. Впрочем, само «затишье» тоже является скачком параметра. Скачки могут быть не только в сторону ухудшения, но и в сторону внезапного улучшения. Так, иногда больные лучше чувствуют себя перед смертью, а фондовый рынок растёт перед рецессией.) В экономике одним из признаков наступающей рецессии является противоречивость параметров, что указывает на то, что система выходит из нормального и предсказуемого режима работы. И возможно, что система вышла из управляемого состояния, но ещё находится в пределах своих параметров – так самолёт, потерявший управление, ещё некоторое время летит в своём воздушном коридоре.

Состояние непредсказуемости и изменчивости, предшествующее катастрофе, и, в частности, проявляющееся в скачках параметров, является нарастающим состоянием хаоса (то есть сверхсложного многопараметрического состояния), в котором отдельные обстоятельства могут определить её будущее. Появление такого состояния в мире было бы опасным сигналом, однако пока что я его не вижу. Историческим примером такого состояния можно назвать резкий рост природных и техногенных аварий перед началом распада СССР (Чернобыль, «Нахимов», Спитак, взрыв газа с двумя поездами), который затем распространился и на социальные проявления (Карабах, Сумгаит, Ферганская долина).

5.16. Переход катастрофического процесса с одного уровня на другой.

Как пожар способен распространяться с проводки на занавески, с занавесок на воздуховоды, оттуда на крышу, и затем обратно вниз, так и глобальный катастрофический процесс способен менять свою природу, с каждым переходом усиливаясь и ускоряясь. Я уже говорил об этом в статье о причинах недооценки глобальных рисков. Однако там был сделан акцент на том, что мы не можем предположить такого развития сценария, как переход из одного жанра в другой. Здесь же я указываю на это как на общее свойство серьёзных катастрофических сценариев. Оно связано с устойчивостью катастрофического процесса, о которой шла речь выше. Например, при катастрофе Титаника природа катастрофы менялась несколько раз: столкновение - паника – замерзание в воде - утопление. При падении небольшого астероида это будет: взрыв – цунами – эпидемии – экономический спад. При этом каждая последующая фаза относительно независима от предыдущей.

5.17. Схемы сценариев.

Хотя мы не можем создать конкретный сценарий глобальной катастрофы по причине того, что возможно очень много вариантов, а наши знания ограничены, мы можем воспользоваться помощью сценариев второго порядка, которые описывают общие закономерности того, как стыкуются друг с другом сценарные факторы. Примером такого сценария второго порядка является «противостояние меча и щита». Или общий ход шахматной партии – от дебюта к эндшпилю.

5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий.

Примером работы этой схемы является война Японии и США в ходе Второй мировой войны. Япония начала войну, чтобы захватить нефтеносные поля в Индонезии, что было невозможно без войны с США и Великобританией, поскольку сама не имела источников жидкого ископаемого топлива. Война нанесла сторонам гораздо больший ущерб, чем сам факт нехватки топлива. Однако ещё более существенным с точки зрения рисков фактором было то, что война решительно ускорила гонку вооружений в обеих странах. И хотя японцы значительно продвинулись в создании и испытании блох, заражённых чумой, успеха достигли американцы с атомной бомбой. Атомная бомба создала гораздо больший риск гораздо больших жертв, чем принесла сама Вторая мировая война.

Неожиданным результатом атомных бомб стала возможность создания водородной бомбы и особенно кобальтовой сверхбомбы, загрязняющей целые континенты. То есть технология дала гораздо больше, чем от неё в начале требовалось. (Похожая ситуация была и в развитие ракет и компьютеров, после того, как начальные трудности были преодолены, так что это вполне закономерный итог.) Наконец, вполне закономерным выглядит то, что атомное оружие постепенно, но неудержимо стало распространяться по планете. Ещё одним закономерным итогом было то, что ядерное оружие стало конвергироваться с другими продвинутыми технологиями своего времени – ракетным и компьютерными технологиями, породив межконтинентальные ракеты.

6. ГЛОБАЛЬНЫЕ РИСКИ ТРЕТЬЕГО РОДА.

6.1. Определение.

Глобальными рисками третьего рода мы назовём любые события, которые замедляют или ускоряют ход, или меняют порядок развития сверхтехнологий на Земле, и в силу этого оказывают косвенное, но решающее влияние на возможные сценарии глобальных катастроф. Здесь можно обнаружить следующие взаимосвязи между катастрофами разных масштабов и их влиянием на развитие и очерёдность технологий.

1. Любая крупная авария или катастрофа может замедлить развитие технологий. Например, экономический кризис приведёт к остановке работ на ускорителях, что уменьшит шансы на создание «чёрной дыры». Уменьшится выделение денег на био- и ИИ исследования, но их это затронет в меньшей степени.

2. Колоссальная, но не окончательная катастрофа остановит почти все исследования, даже если некоторое количество людей выживет.

3. Любая авария средней тяжести приведёт к росту мер безопасности и сокращению проектов в своей области.

4. Военный конфликт приведёт к гонке вооружений и росту числа исследований. Направления перспективных исследований будут выбираться с учётом мнения неких ключевых людей. Например, в РФ сейчас стартовала военная программа по нанотехнологиям. Это бы не произошло, если бы те, кто принимают решения и их советчики никогда бы не слышали про нанотехнологии. Ядерная программа США не стартовала бы, если бы не письмо Эйнштейна. С другой стороны, универсальный ИИ как абсолютное оружие сейчас обойдён вниманием властей, насколько это известно. Однако вечно это продолжаться не будет. Как только власти поймут, что частные лаборатории, создающие сильный ИИ, возможно, обладают силами для глобального мятежа – они приберут их к рукам. Соответственно, прослышав, что в одной стране власти сделали ставку на мощный ИИ, и другие страны могут так поступить, а также отдельные организации и крупные фирмы могут начать свои проекты. Однако разрушение информационной связности может отбросить всю науку об ИИ назад.

5. Само изобретение даже не очень сильного ИИ позволит резко ускорить прогресс в других областях. Кроме того, любые принципиальные открытия могут изменить баланс сил.

Итак, некие события могут или сильно снизить уровень исследований в мире, в силу чего более дешёвые проекты получат преимущество перед дорогими, или резко ускорить их. Наоборот, разрушение информационной связности застопорит дешёвые проекты, опирающиеся на доступную информацию из Интернета, и не остановит дорогие проекты, реализующие готовую информацию, например, создание кобальтовой супербомбы.

6.2. Закон Мура.

Законом Мура в узком смысле слова называется экспоненциальный рост числа транзисторов на чипе. В широком смысле слова под ним имеется в виду экспоненциальное усиление разных технологий с течением времени. Будущее закона Мура – будет ли он работать весь XXI век или перестанет в какой-то момент, является определяющим в том, какова будет история XXI века и его риски.

В действительности, это ускорение, которое описывает закон Мура, является не экспоненциальным, а более крутым. Вопрос этот неоднократно исследовался, например, в книге Рэя Курцвейля «Результаты закона ускорения» (‘The law of acceleration returns’). Подтверждением этого, является то, что, во-первых, скорость удвоения числа транзисторов на чипе постепенно, хотя и не равномерно, возрастает (то есть период удвоения сокращается). Если экстраполировать закон Мура в прошлое, то он бы имел начальную точку в середине ХХ века. Но компоненты электронных схем развивались и раньше. Предполагается, что в начале ХХ века закон Мура (если его экстраполировать на прогресс электронных схем тогда) имел период удвоения порядка трёх лет.

Во-вторых, не только возрастает число транзисторов на чипе, но и число компьютеров в мире экспоненциально растёт. В силу этого суммарная доступная вычислительная мощность растёт как экспонента от экспоненты.

В-третьих, растёт связность компьютеров друг с другом, превращая их в единый компьютер. В результате, если мы к началу 80-х имели порядка миллиона компьютеров с частотами порядка мегагерца, то теперь мы имеем миллиард компьютеров, с частотами порядка гигагерца, связанных между собой Интернетом. Это означает, что совокупная вычислительная мощь за 25 лет выросла не только в миллион раз количественно, но и неисчислимым образом качественно.

Поскольку аналогичная закономерность прослеживается не только относительно чипов, но и жёстких дисков компьютеров, и считывания ДНК и ряда других технологий, понятно, что закон Мура связан не с какой-то особенностью производства микросхем, а с универсальной закономерностью в освоении новых технологий.

Другой способ понять то, что собой представляет закон Мура, состоит в том, чтобы представить, что мы оказались в 19 веке с чертежом компьютера или пулемёта, и понять, чего именно нам не хватает, чтобы сделать это устройство. В первую очередь, нам будет не хватать материалов, деталей и точности обработки. (Во-вторых, необходима сама принципиальная идея того, что нужно сделать – сам чертёж.) Соответственно, прогресс состоит в росте номенклатуры и удешевлении материалов с заданными свойствами и технологий их обработки. Значит, в основе роста технического прогресса лежит возникновение новых идей, рост объёмов производства (удешевление) и, как ни странно, химия. И сейчас основные технологические открытия совершаются на границе биохимии, нанотехнологий, физики полупроводников и т п.

В своё время наблюдался своеобразный закон Мура в области космонавтики – от первого спутника до высадки на Луну имел место экспоненциальный рост успехов, который давал основания для прогнозов о полётах к звёздам к началу 21 века. Однако вместо этого космонавтика вышла на насыщение и даже на откат по некоторым позициям, вроде полётов на Луну. Это произошло, потому что космонавтика развивалась, как культура микроорганизмов в чашки Петри – то есть экспоненциально росла, пока не упёрлась в свои естественный пределы. Естественными пределами космонавтики стали возможности химических ракет (и их цена). Хотя космонавтика развивалась, принцип реактивного движения и цена производства ракет не развивались. В области полупроводников и ряда других технологий происходило наоборот – каждый успех в их создании позволял быстрее и дешевле разрабатывать новее версии.

В производстве кремниевых микросхем закон Мура также должен рано или поздно достичь некого физического предела. Однако, если взять закон Мура в более общем виде, то он означает закон самоусложнения структур. И мы неоднократно видели, как это самоусложнение совершало качественные скачки от одной области экспоненциального роста к другой, всякий раз в гораздо более быструю по параметрам развития – от одноклеточным к много клеточным, от неолита к рабовладельческому строю, от электронных ламп к транзисторам, от микросхем к – возможно – квантовым компьютерам. (Я не привожу здесь полную цепочку ускорения фаз развития, отмечу только, что каждый переход давал ускорение параметра роста в несколько раз.) Это значит, что такие события, как переход с одной экспоненты на другую, более крутую (а очевидно, не было конкурентной выгоды переходить на менее крутую экспоненту развития), являются более важными, чем даже сам экспоненциальный рост между этими переходами. И каждый раз такие переходы связаны с качественными скачками, с открытием принципиально нового способа оптимизация, нового способа более быстрого «думания» (иначе говоря, с открытиями более быстрых алгоритмов искусственного интеллекта, чем простой перебор). Например, переход к половому размножению был для эволюции открытием более быстрого способа отбора и создания эффективных видов. Переход к письменности – более мощным способом накопления знаний об окружающем мире, чем устная передача. Создание научного метода – более мощным способом познания окружающего мира, чем доверие письменным источникам античности. Создание системы венчурных фирм, разрабатывающих и продающих новые технологии – более быстрым способом, чем работа отдельных конструкторских бюро и изобретателей-одиночек. (См. например: И.Азаров.

Венчурный капитал в электронной промышленности США.

http://www.electronics.ru/issue/1998/1/17 ).

Вероятно, следует остановиться на том, каким образом устроена разработка новых технологий в современном обществе, - что и позволяет поддерживать нынешний темп роста технологий. Она имеет следующие части:

1) непрерывная генерация и патентование любых идей.

2) создание отдельных лабораторий под каждую идею, у которой есть хотя бы мизерный шанс на успех (венчурные фирмы).

3) непрерывный обмен информацией между всеми участниками процесса, как за счёт открытых публикаций, так и за счёт торговли патентами и лицензиями.

4) отлаженный механизм внедрения любых новинок.

5) Покупка «мозгов» - людей с их навыками - под конкретные проекты.

Эта система, как и все предыдущие, сложилась стихийно – то есть путём простого отбора между разными системами оптимизации. (Может быть, с элементами синтеза в духе полового отбора.) Соответственно, можно предположить, что переход к следующей системе оптимизации будет связан с подвижками, так сказать, на уровне мета-оптимизации, то есть оптимизации процессов оптимизации.

Очевидной чертой современной системы является то, что она концентрируется не вокруг людей-изобретателей, как в 19 веке – Эдисона, Теслы, а на отработанном конвейере производства и коммерциализации идей, в котором личность отдельного человека не принципиальна. Из сказанного очевидна уязвимость современного «закона Мура» к экономическим потрясениям: для его работы необходим широкий фронт из множества фирм, поддерживаемый непрерывным притоком капитала.

Соответственно, в будущем обобщенный закон Мура, иначе говоря, закон ускорения эволюции, ждёт или крах, или переход на ещё более быструю ступень развития. Поскольку нельзя заставить людей менять сотовый телефон 10 раз в год, то, скорее всего, двигателем для следующего скачка будут нерыночные (но конкурентные) механизмы, например, гонка вооружений.

Иначе говоря, закон Мура является продуктом современной экономики, и риски для экономики являются рисками для закона Мура, а значит, - являются глобальными рисками третьего рода. «Закон Мура» в широком смысле слова очень уязвим к целостности и связности общества. Для того, чтобы огромное количество технологий продолжало бы развиваться по экспоненциальной кривой, необходимо одновременное функционирования тысяч лабораторий, мощнейшая экономика и качественная информационная связность. Соответственно, даже мощный всемирный экономический кризис может подорвать его. Примером такого рода события может быть распад СССР, в котором наука обрушилась в разы – и обрушилась бы ещё больше, если бы не приток идей с запада, спрос на энергоносители, импорт компьютеров, интернет, поездки за рубеж и фонд Сороса. Страшно себе представить, насколько бы откатилась назад наука, если бы СССР был единственным государством на планете и распался.

Понятно, что «закон Мура» мог бы поддерживаться внутри нескольких отдельных сверхдержав, обладающих полным комплектом ключевых технологий, но возможно, что некоторые ключевые технологии уже стали воистину уникальными в мире. И конечно, одно небольшое государство, даже европейское, не сможет поддерживать темп развития науки на нынешнем уровне, если останется в одиночестве. В силу этого мы должны осознавать уязвимость закона Мура на современном этапе. Однако создание ИИ, нано и био технологий резко уменьшит объём пространства, которое необходимо для «производства всего». Крах закона Мура не будет означать прекращения всех исследований. Разработка отдельных видов биологического оружия, ИИ, сверхбомб может продолжаться усилиями отдельных лабораторий. Однако без всемирного информационного обмена этот процесс значительно замедлится. Крах закона Мура отсрочит или сделает невозможным появление сложных высокотехнологичных изделий, таких, как нанороботы, освоение Луны и загрузка мозга в компьютер, однако доведение до ума относительно простых проектов продолжится.

7. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ.

7.1. Общее понятие о предотвратимости глобальных рисков.

Очевидно, что если мы выясним, что есть несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Наоборот, если окажется, что во всех предлагающихся мерах защиты есть изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Как мы сейчас представляем, система защиты - на каждой фазе развития глобального риска - должна осуществлять следующие функции:

• Наблюдение.

• Анализа информации и принятия решения.

• Уничтожения источника угрозы.

Эта стратегия хорошо отработаны в разведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой.

Глобальные риски различаются по степени того, насколько возможно их предотвратить. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только понимание их опасности. То есть максимально предотвратимый риск – это тот риск, который:

1) Легко предвидеть

2) Предвидение о котором легко достигает научного консенсуса.

3) Одного признания которого достаточно, чтобы отказаться от действий, ведущих к этому риску.

Последнее связанно с тем, что:

А) Опасные процессы создаются только людьми.

Б) Они открыто создаются в небольшом числе широко известных мест.

В) Люди не ждут никакой выгоды от этих процессов.

Г) Опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития.

Д) Опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности.

Е) У нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.

Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:

1) Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI есть риск, было трудно.)

2) Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности доказательства DA).

3) Даже если будет достигнуто общественное согласие о том, что это действительно опасно, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)

Последнее связано с тем, что:

1) Источники риска доступны большому числу людей, и что это за люди - неизвестно (можно поставить на учёт все физиков ядерщиков, но не хакеров-самоучек).

2) Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).

3) Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.

4) Источник опасности сулит не только риски, но и выгоды, в частности, является оружием.

5) Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться.

6) Опасную ситуацию трудно опознать в качестве таковой, это требует много времени, и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-либо не заразит и пока эпидемия достаточно не распространится, чтобы понять, что это именно эпидемия.)

7) Опасный процесс развивается быстрее, чем мы можем на него адекватно реагировать.

Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск, в конечном счёте, будет предотвращён. Например, астероидная опасность относится к числу легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной – кометы идёт по более крутым орбитам, и часто появляются новые кометы) системы защиты у нас сейчас нет. И пока её нет, «предотвратимость» остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и когда.

7.2. Активные Щиты.

В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Щит – это средство контроля и воздействие на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.

Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который проходит под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть Землю. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.

Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго, но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает, тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя нехорошо проявить, и ещё время, чтобы иммунная система выработала против него ответ. Тоже самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы речь шла о серой слизи, мы поняли бы, что это серая слизь только после того, как она значительно распространилась. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть.

Иначе говоря, иммунная система хороша, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования Земли, а космические поселения столкнуться с рядом концептуальных трудностей (см. главу о них). Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые оказывают значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип распространение фактора опаснее разрушения).

Соответственно, широко обсуждаются идеи БиоЩита и НаноЩита. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов.

1. Они мучительно отстают от источника угрозы по времени разработки.

2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.

3. Они уже сейчас вызывают серьёзные политические разногласия. Поскольку, если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности, как, например, национальные системы ПРО порождают соблазн ударить первыми – и страх этого у тех, у кого их нет.

4. Любой щит создаётся на основе ещё более продвинутые технологии, которые могут создавать угрозы своего уровня.

5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев.

6. Щит не может быть абсолютно надёжен – то есть успех его срабатывание носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы вопрос его пробивания – это только вопрос времени.

7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.

Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он даст технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки по Земле. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку солнечной системы, я не буду чувствовать в большей безопасности.

В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что этот же астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.

Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:

• Ракеты сбиваются с помощью ракет ПРО.

• По местам производства ядерного оружия наносятся ядерные удары.

• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.

• Биодатчики не дают распространиться биологическому оружию.

• Нанощит защищает от нанороботов.

Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (Беллона), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то есть строительствам во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Порочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.

7.3. Действующие и будущие щиты:

Здесь я привожу краткий, но насколько возможно полный список щитов, которые могут появиться в будущем.

1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.

2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.

3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.

4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.

5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. С другой стороны, она не даст абсолютной защиты, так как её можно взломать, или потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.

6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)

7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке.

8) Нанощит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.

9) ИИ-щит. Защита от создания враждебного ИИ. Ничего неизвестно о такой работе. Есть рекомендации по безопасной разработке.

7.4. Последовательность действия щитов разного уровня.

Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции.

Второй состоит в непосредственном контроле над людьми и опасными системами, с тем, чтобы ситуации глобального риска не вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д.

Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов итд. Это уровень систем ПРО.

Четвёртый – в эвакуации с Земли или закупоривании в бункеры.

7.5. Сохранение мирового баланса.

Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь - "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом, страна могла испытывать технологическое отставание на несколько лет и все же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной». («Машины созидания», глава 12.)

То есть чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии. Сознательное нарушение баланса тоже опасно: попытка одной из стран явным образом уйти в отрыв по военным сверхтехнологиям может спровоцировать её врагов на агрессию по принципу «атака при угрозе потери преимущества».

7.6. Система контроля.

Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.

Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и особенно анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока неясно.

Проблемы:

- Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.

- Любую систему контроля можно обмануть – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.

- Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верхушка не сможет контролировать сама себя, то есть понадобится система обратной её подотчётности или народу, или «службе внутренней безопасности».

- Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в ХХ веке, и вызовет ожесточённое сопротивление вплоть до терроризма. Такая система тотально контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.

- Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК секвенсоры и опыты на мышах. И без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.

- Поскольку такая система уже «доставлена» в любую точку земного шара, она упрощает действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать.

Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.

7.7. Сознательная остановка технологического прогресса.

Есть разные варианты попыток осуществления это остановки, все из которых или не работают, или содержат подводные камни:

1. Личный отказ от разработки новых технологий – практически ни на что не влияет.

2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение людей, обречена на провал.

3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.

4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.

5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с мощной военной силой и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?»(ibid)

7.8. Средства превентивного удара.

Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.

Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере. Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверх оружия для удара по поверхности.

Однако удар по точке не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. Тоже касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете.

Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть.

Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.

Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно.

Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» - то есть склонную к неограниченному саморазмножению и распространению «токсинов» - опасных нанороботов, сверхбомб и прочего). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» - то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете.

7.9. Удаление источников рисков на значительное расстояние от Земли.

Исследователь Голота предлагает все опасные физические эксперименты проводить «за орбитой Плутона». Проблемы такого подхода:

- Если мы получим в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять их результаты обратно.

- Это не сможет остановить некоторых от аналогичных опытов на Земле, особенно если они просты.

- Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.

- Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.

- Трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».

- Нет технических возможностей доставить огромное оборудование за орбиту Плутона в течение ближайших десятков лет.

7.10. Выживание на природе, создание отдалённых поселений.

Это вряд ли поможет в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Удалённое поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда это проходит, скорее, под графой «бункеры».

Если речь идёт о выживании после просто очень большой катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, да и вообще любое феодальное общество – город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе «2033» главное монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение в природе в духе Маугли. Однако маловероятно, что так удастся пережить что-либо серьёзное.

7.11. Создание досье на глобальные риски и рост общественного понимания.

Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия.

Проблемы:

- не понятно, к кому именно адресованы любые такого рода тексты

- террористы, страны изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных, что приведёт к увеличению рисков в большей мере, чем к их предотвращению.

- неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками – как раз тогда, когда она на самом деле понадобится.

7.12. Убежища и бункеры.

Отдельные автономные убежища могут существовать десятки лет, но чем оно автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем больший уровень технологий потребуется для надёжного выживания. (На Ноевом ковчеге это был запас «каждой твари по паре».)

Очень большой бункер окажется способным продолжать внутри себя развитие технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация – в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не будет способен сам продолжать развитие технологий, то он, скорее, обречён на деградацию.

Далее, бункер может быть или «цивилизационным», то есть сохранять большинство культурных и технологических достижений цивилизации, или «видовым», то есть сохранять только человеческую жизнь. Перед длительными бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством, тогда это будет просто подземная цивилизация на заражённой планете.

Чем в большей мере бункер автономен культурно и технически, тем больше там должно жить людей (исходя из современных технологий – бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, - только с замороженными яйцеклетками). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере на всякий случай. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас проводится эксперимент Марс 500 , где 6 человек будут находится в полностью автономном – по воде, еде, воздуху - пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем.)

Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным, или позволять «экскурсии» во внешнюю враждебную среду.

Примером морского бункера является атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов.

Современная космическая станция МКС могла бы продержать несколько человек порядка года, хотя встают проблемы автономной посадки и адаптации. Не понятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.

Есть разница между газо- и био- убежищами, которые могут быть на поверхности, но разделены на много секций на предмет карантина, и убежищ, которые нацелены на укрытие от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху.

Бункер может обладать разными уязвимостями: например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужна энергия и кислород. Это может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным – он должен предполагать защиты от определённых, известных заранее видов угроз – радиационной, биологической и т д.

Чем укреплённее бункер, тем меньшее число бункеров оставит человечество от себя и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известным местам.

Чем крупнее бункер, тем меньше таких бункеров построит человечество. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некой заразы между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен.

Возможны случайные бункеры – люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере.

Бункеры буду страдать от необходимости обмена теплом, энергией, водой и воздухом с внешнем миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. .) Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения. Охлаждение внешней водой будет демаскировывать их, а иметь источники энергии без потерь в виде тепла невозможно, тем более, то на глубине и так всегда высокая температура. Рост температуры по мере заглубления под землю ограничивает предельную глубину залегания бункеров. (Геотермический градиент в среднем составляет 30градусов/ километр. Это означает, что бункеры на глубине больше 1 километра невозможны – или требуют гигантских охлаждающих установок на поверхности, как золотые шахты в ЮАР. Могут быть более глубокие бункеры во льдах Антарктиды.)

Чем эффективнее бункер, который может создать цивилизация, тем на более высоком технологическом уровне она находится и тем большими средствами уничтожения обладает – а значит, тем более мощный бункер её нужен. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, создав чисто компьютерный цивилизацию.

Бункеры будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть – поэтому у них будет искушение осваивать ещё заражённые участки земли.

Возможны автоматические робототизированные бункеры: в них человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет запускаются. Их можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой – скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя человек, воспитанный роботами?

Культурные примеры: Ноев ковчег, Зион в «Матрице», крепость во время чумы у Э.По в «Маске Красной смерти», бункер в «Терминаторе». FallOut (серия компьютерных игр), роман "Метро 2033" (http://www.m-e-t-r-o.ru/)

Выводы: идея о выживании в бункерах содержит много подводных камней, которые снижают ей полезность и вероятность успеха. Длительные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменится и неизвестно к чему готовится. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Но чем мощнее бункер, тем вероятнее, что в нём разместят оружие возмездия, и тем вероятнее, что он станет целью в ходе войны.

Прямо сейчас у нас, вероятно, есть бункеры, в которых люди могут автономно просидеть год (а может быть и несколько лет в ядерных в военных объектах). Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов.

Особняком стоят информационные бункеры, которые предназначены, чтобы донести до возможных уцелевших потомком наши знания, технология и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями. Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок.

7.13. Опережающее расселение в космосе.

Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Тогда ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества по космосу. Поскольку интеллектуальные компьютерные вирусы могут передаваться со скоростью света по сетям связи, то человечество должно было бы расселяться быстрее, чем скорость света, что невозможно.

7.14. Всё как-нибудь обойдётся.

Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Более продвинутой формой этой позиции является идея о решении проблем по мере их поступления. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: Анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.

Однако в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку мы не знаем, где искать, и поскольку риски могут стать актуальными быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.

Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Это похоже на концепцию Goldilock Economy – то есть экономике в духе Маши из сказки «Маша и медведи», которая сумела полежать на всех кроватях медведей, но уйти не пойманной. Вероятность такого расклада невелика.

7.15. Деградация в устойчивое состояние.

Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение.

7.16. Предотвращение одной катастрофы с помощью другой.

Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:

1.Ядерная война останавливает развитие технологий вообще.

2.Тотальный ИИ предотвращает биотерроризм.

3.Биотерроризм делает невозможным развитие ИИ

4.Ядерная зима предотвращает глобальное потепление.

Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.

Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ.

Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска.

7.17. Организации, ответственные за предотвращение катастрофы.

Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте Ника Бострома, есть гранты фонда Lifeboat foundatation, есть исследования Э.Юдковского. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.)

Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.

1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.

2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.

3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще.

4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап –это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» - явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.

5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется по-английски Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы – власть общества не велика. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению –. Это Lifeboat Foundation, Центр по ответственным Нанотехнологиям, Альянс по спасению цивилизации, SIAI. Эти организации обмениваются ссылками, ресурсами и сотрудниками. С другой стороны, практические влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранной разведкой. Наилучшим примером воздействия общества на правителей является чтение правителями книг. Президент Кеннеди избежал войны в ходе Карибского кризиса, в значительной мере потому что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К.Сагана и Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.

6) Не мешать системе самой по себе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.

Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы общество целиком делегировало ей такие полномочия, что кажется гораздо менее вероятным.

Позитивным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась общей и понятной.

7.18. Проблема моделирования сценариев глобальной катастрофы.

К настоящему моменту наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к представлению, и необходимо сказанное проинтегрировать. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в том, чтобы дать конкретный прогноз, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. При этом вспомним слова Бора (?), сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии выглядят фантастическими, не делает их невозможными.

Рассмотрим эти сценарии также не как попытки предсказать будущее, а как пробные шары, с помощью которых мы исследуем саму свою способность создавать и оценивать сценарии. Отметим, что данное перечисление не есть попытка составить полный список, который был бы многократно длинее.

1. Мировой финансовый кризис, распад мира на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.

2. Создание универсальной биологической машины и её широкое распространение. Это как личный биопринтер плюс набор программ для него по созданию любых живых существ. В результате - резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Ядерная война как попытка стерилизовать окрестности. Опять же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы.

3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». ХХI- XXII век.

4. Внезапное возникновение мощного самоусиливающегося ИИ – что перебивает любой из предыдущих сценариев. Время действия 2007-2040. Этот ИИ приходит к выводу об изначальной ущербности живой клетки и заменяет их на нанороботов. Каждый человек подключён к источнику неограниченного блаженства и больше не приходит в сознание.

5. Начинается мировая война или противостояние, и враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика. Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку, мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточённую схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, всячески о них заботясь. 2010-2050 гг.

6. На Земле побеждает ИИ и благодаря своему уму распространяет информацию о себе во все стороны по Вселенной. Он открывает межзвёздные перелёты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Этот более зрелый ИИ истребляет наш ИИ и человечество. 2020-2100 гг.

7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра», однако некоторые страны не согласны, и их приходится уничтожить. В результате последовавшей ядерной и биологической войны население Земли значительно сократилось, биосфера серьёзна повреждена, но «Старшая сестра» создана. Поскольку ей всё время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счёте, она становится полноценным самосовершенствующимся ИИ.

8. Аль-Каеда провоцирует крах западной цивилизации и устанавливает всемирный халифат. Уцелевшие учёные создают сверхбомбы и подрывают весь мир, чтобы он «не достался террористам».

9. Удаётся наладить дешёвое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и бункеры разных стран уничтожают друг друга ядерными ударами.

10. Компьютерный вирус поражает всю уцелевшую в мире технику и заставляет её атаковать людей. Из страха оставшиеся люди уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и ещё несколькими медленными болезнями, а вся среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землёй. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.

11. Падение небольшого астероида вызовет случайную ядерную войну, которая станет войной всех против всех. Уцелевшие люди вымрут, когда вслед за тем прилетит больший астероид и спровоцирует извержение супервулкана.

12. Некая страна разрабатывает опасные нанотехнологии, и на неё совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем наконец опасные нанотехнологии появляются.

13. Несколько всеядных бактерий вырываются в окружающую среду и делают её непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно деградируют там.

14. Тоталитарное мировое правительство вводит всем людям вирус счастья, чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускаю боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления этой наноиммунной системой и запускает в ней автоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены стать дебилами в ближайшие годы из-за ошибки в вирусе свободы.

15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Эти сверхлюди борются с обычными людьми и вообще их за людей не считают. В результате обычные люди полностью истребляются, и остаётся несколько сверхлюдей, которые по разным причинам вымирают.

16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли, и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.

17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа учёных делает открытие о квантовой природе сознания и создаёт универсальный доступ к любым сознаниям. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена.

18. Некая страна создаёт оружие судного дня, и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение.

19. Группа стран одной расы производит этническое оружие, которое уничтожает людей с другим цветом кожи. Но несколько друзей встают на защиту цветных и производят аналогичное оружие для белых. Поскольку планета оказывается полностью заражена, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создаётся несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает всё живое. Уцелевшие люди вступают в некую секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно.

20. Некая страна придумала добывать энергию из магмы и просверлила глубокий канал подземлю. В результате образовался неконтролируемый вулкан и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создаёт ещё более глубокий канал подземлю. Происходит катастрофическая дегазации земного ядра и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена.

При рассмотрении каждого предложенного сценария видно, что он в чём-то излишне фантастичен и похож на сюжет для романа, а в чём-то неполон – просто потому что есть много вещей и возможностей, о которых он не говорит. На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. В начале такие сценарии могут развиваться независимо, но затем, когда они выйдут на простор, то непременно пересекутся друг с другом.

Следующий дефект этих сценариев – что они написаны от имени кого-то, кто уже знает начало и конец, и точно понимает, что происходит. Тогда как в начале любой последовательности событий мы не знаем, чем она закончится, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после вымирания – некому будет это утверждать.

Далее, не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятны только потом или в момент своего проявления. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолёту». Поэтому мы можем находиться внутри какого-то сценария, понятия об этом не имея. Соответственно, и одна террористическая группа не знает, что задумала другая.

С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором сценария возможной будущей глобальной катастрофы будет состояние «замешательства» - которое будет проявляться в интеллектуальном разброде о причинах процесса и способах его преодоления и приведёт к конфликтам между сторонниками разных способов. А любой такой конфликт равноценен перестрелке в пороховом погребе.

Способности одного человека придумать сценарий возможной глобальной катастрофы принципиально ограничены объёмом мозга и привычными сюжетными конструкциями. Эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы по мотивам аварии в Нью-Йорке. И получили результат, похожий на то, что потом случилось на самом деле в Москве в 2005 году. В США Юдковски отыгрывал различные модели поведения Недружественного ИИ на модели ролевых игр GURPS. Наконец, в будущем нам помогут в этом моделировании системы ИИ.

7.19. Глобальные катастрофы и проблема веры.

Глобальная катастрофа относится к категории невидимых и непроверяемых вещей и потому попадает в ту область, которая обычно определяется верой. Здесь она сталкивается с другими объектами веры. А у каждой религии своя эсхатология. Тем не менее, людям свойственно прибегать даже к «антинаучным» методам борьбы, когда речь идёт о спасении жизни. Можно вспомнить, что при Сталине Москву трижды облетел самолёт с иконой Казанской Божей Матери, чтобы защитить её от наступления немцев, о множестве ритуалов при запуске ракет на Байконуре и т. д.

Вера в неизбежность и позитивность конца света была раньше свойственна христианству, хотя сейчас вряд ли эту идею принимают буквально. Вера в приход Спасителя, следующего воплощения Будды, Мессии и т. д. также есть в разных религиях. Любые идеи о том, что мы уже обладаем бессмертием, радикально меняют смысл и ценность представлений о глобальной катастрофе. Люди в эпоху средневековья жили с ожиданием Конца света, и он был для них освобождением. Когда есть бессмертие, то катастрофа перестаёт быть всеобщей – она касается только некой части мира, и потому может даже приветствоваться.

Особняком по отношении к проблеме глобальных рисков стоят несколько дисциплин, которые стараются придать себе статус научности, однако в целом отвергаются научным сообществом. Принцип предосторожности заставляет нас принять их во внимание. Поскольку, как мы уже говорили, любое новое открытие меняет картину глобальных рисков, и, скорее всего, в сторону усугубления.

1. Уфология. Основной вопрос уфологии состоит в том, стоит ли за хоть какими-нибудь наблюдаемыми на небе непонятными явлениями что-то, что требует некого принципиально нового научного объяснения. Или же все такие явления связаны с ошибочным восприятием, галлюцинациями, мистификациями и случайными совпадениями, а также редкими, но не требующими изменения картины мира физическими явлениями, такими, как спрайты и прочие формы сложных электрических разрядов. Принципиально новое в уфологии не обязательно означало бы, что НЛО – это космические корабли пришельцев. Есть много других предположений: что это плазменные формы жизни, путешественники во времени или из параллельных миров, жители подводной цивилизации и т. д. (См. короткую статью Жака Вале «Пять аргументов против внеземного происхождения НЛО».) Из того, что многие небесные явления удаётся объяснить естественными причинами, не следует, что нам когда-нибудь удастся объяснить все такие события.

В любом случае, если будет открыто, что за НЛО стоит нечто принципиально новое, это ухудшит наши шансы на выживание. Во-первых, если за НЛО не стоит разума, а просто набор неких новых физических эффектов, это даст нам некое новое пространство, по которому можно перемещаться, размножаться в нём и воздействовать из него на Землю. Соответственно, это даст новые способы создания оружия судного дня.

Во-вторых, даже если НЛО – это корабли пришельцев, то трудно ожидать от них, что они начнут спасать земную цивилизацию – ведь раньше они не предотвращали мировые войны. Однако столкновение с превосходящим разумом всегда гибельно для более слабого – и чревато вымиранием или культурным растворением. Вспомним австралийских аборигенов или индейцев.

2. Парапсихология. Парапсихология также борется за то, что бы наукой и доказать, что предмет её исследования существует. В целом, то, что она предсказывает, гораздо менее фантастично, чем свойства квантовой сопряжённости, которыми обладают элементарные частицы. Поэтому наилучшие попытки научного обоснования парапсихологических явлений, таких как телепатия и предвидение, основаны на теориях о квантовой природе сознания.

Представим себе, что парапсихология достигла своих целей и нашла способ легко демонстрировать и применять на практике такие способности, как телепатия и предвидения (Один из наиболее интересных проектов на эту тему - Remote viewing Инго Свана - развивался в 80-е годы в США при ЦРУ, потом был выведен за штат и широко опубликован в Сети. Возможно, отказ от него был связан с тем, что были найдены более эффективные техники удалённого восприятия – а может, с тем, что они были признаны бесполезными.) Здесь возможны два варианта. Первый состоит в том, что некие простые парапсихологические явления получили научное подтверждение и стали широко применяться на практике. Второй вариант состоит в том, что сделанные открытия будут настолько масштабны, что полностью изменят нашу картину мира.

На первый взгляд, способность читать мысли всех людей и предчувствовать будущие катастрофы была бы крайне полезна в борьбе с террористами и прочими рисками. Однако здесь мы опять видим средство мгновенного воздействия на всех людей, и также среду для саморазмножающихся объектов – то есть базовые инструменты для создания нового оружия судного дня. Следовательно, открытие телепатии не сделает наш мир безопаснее, так как создаст новое пространство для борьбы «щита и меча» с непредсказуемыми последствиями. Предвидение также может создать ситуацию стратегической нестабильности, по типу самосбывающихся пророчеств. Пример такой нестабильности показан в фильме «Особое мнение», где способность предсказывать намерения другого государства приводит к войне. Особенно, если оно тоже бы обладало предсказателями – тогда бы возникала положительная обратная связь. С предсказаниями возникает также проблема петель обратных связей в духе «вернуться в прошлое и убить своего дедушку», смысл которых в том, что или предсказание неизбежно, или это не предсказание.

Более глубокими следствиями открытий в области парапсихологии было бы радикально изменение картины мира. Такое изменение состояло бы в том, что роль субъекта в мироздании значительно повышалась бы, а роль объективного мира снижалась. Нет нужды говорить, что такого рода открытия тесно смыкались бы с предсказаниями различных религиозных учений. Возможно, что в этом случае проблема гибели человечества сильно трансформировалась бы, так как изменилось бы само содержание терминов «гибель» и «человечество». Однако даже если бы мы «открыли Господа Бога», это не обещало бы нам «спасения человечества» в его нынешнем виде, поскольку, как уже говорилось, во многих религиях предусмотрен – и приветствуется – апокалипсис.

Одним из популярных способов борьбы за спасение мира являются коллективные групповые медитации, которые организуются в определённое время по всему земному шару. Никакой очевидной пользы или вреда от этого зафиксировано не было.

Интересной формой изменения картины мира мог бы быть последовательный солипсизм, то есть представление о том, что только я-сейчас реально существую, а мир – это некая форма отражения моего сознания. Многие учения в стиле New Age неявно разделяют эту картину миру, утверждая, что «все ваши желания сбываются», «вселенная слышит вас». Тогда способом сохранения мира было бы пребывание в позитивном устойчивом состоянии, которое бы отражалось во вне. Однако, поскольку у каждого бывают приступы ненависти к себе и другим, то, если бы эта система работала в точности, мир бы, даже и субъективный, погиб бы ещё раньше. Если же предположить, что есть некий разумный фильтр моих желаний, то мы возвращаемся к картине мира с Богом, где окончательное решение о разрушении и создании мира остается за ним, но поскольку Бог находится за пределами мира, то это не является ни окончательной катастрофой, ни глобальной. Однако, возможно, что ситуация гораздо сложнее, чем позволяет себе представить человеческая теология, и таким образом разрешаются все противоречия.

3. Альтернативные физические теории. Всегда есть огромное количество ниспровергателей Эйнштейна, однако даже в рамках вполне общепринятой физики, развиваемой профессиональными теоретиками, достаточно теорий, который могут существенно изменить наш взгляд на мир в вопросе глобальных катастроф.

Во-первых, это разные теории, которые предсказывают новые пространства, в которых могут развиваться риски, новые физические эффекты, обещающие новые виды оружия, а также описывающие разные альтернативные сценарии природных катастроф. Однако это можно отнести к главе «Открытия».

Затем есть ряд теорий, которые предполагают полную смену картины мира. Среди них следует выделить концепцию Мультверса Эверетта , а также ряд других теорий (например, космологическую хаотическую инфляцию), которые предполагают бесконечность числа существующих миров. Так или иначе, эти теории, независимо одна от другой, означают, что существуют все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. См. подробнее статью Дж. Хигго «Означает ли бессмертие многомирная интерпретация квантовой механики».

Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.

Далее, следует уделять внимание другим теориям, полностью меняющим картину мира – например, идеям о голографической вселенной. Часто разные альтернативщики стараются привлечь к себе внимание, показывая, как открытые ими новые эффекты могу привести к разным катастрофам. И хотя большинство людей правильно распознают такие заявления как саморекламу, возможно, надо уделять им чуть больше внимания, так как в одном случае на тысячу за ними может быть своя правда.

Важной темой является то, что по мере приближения к моменту Сингулярности все факторы, которые имеют хоть какое-то значение для человечества, должны сыграть свою роль.

Ещё одним из таких факторов, ждущих своего научного объяснения, является философская проблема о «квалиях» (qualia) - то есть о качественной природе отдельных переживаний, таких зелёный и красный, и связанным с этих логических парадоксах. Проблема квалиа воскрешает в новой форме проблему психофизического дуализма, поскольку означают, что существует нечто, с одной стороны, доступное для субъективное восприятие, а с другой, отсутствующее в физическом мире – и возникает вопрос, как эти два уровня реальности взаимодействуют.

4. Предположения о том, что мы живём в «Матрице». Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Вероятность такой ситуации будет обсуждаться нами в главе «Всё не может быть так плохо». Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).

Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о квантовом бессмертии. А именно, если мы живём в Матрице, то это вероятно только в том случае, если их множество очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, так же, как сожжение одного из экземпляров романа «Война и мир» не влияет на отношение персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что «самосознание» в симуляции вообще невозможно.)

Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, просто чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом, можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще буду встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где «главные герои не умирают», то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы.

Концепция «квалиа» наносит серьёзный удар по теории о симуляциях, потому что смоделировать квалиа смысле вычислимости на компьютере нельзя. (Но, возможно, можно создать условия для их появления при моделировании процессов на квантовом компьютере.)

Квалиа сами по себе обладают определённым «бессмертием», поскольку их никак нельзя изменить – зелёный цвет или есть, или его нет. Однако «бессмертие» квалиа – это вовсе не сохранение того мира, к которому мы привыкли. Это скорее похоже на бессмертие атомов, из которых состоит человеческое тело – человек как сумма атомов умер, а ни один атом не пострадал. Также и гибель Земли может никак не повлиять на то, что где-то когда-то будут живые существа с такими же квалиа.

В настоящий момент самое главное в проблеме квалиа то, что их существование говорит нам о неполноте картины мира, который у нас есть, точно так же, как проблема излучения чёрного тела явно говорила о неполноте картины мира классической физики.

7.20. Глобальные катастрофы и устройство общества.

Если катастрофа уже случилась, то она может уничтожить любое общество, поэтому устройство общество важно на той фазе, когда речь идёт о предотвращении глобальных катастроф. Какое общество лучше всего способно предотвращать глобальные катастрофы:

1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. При этом оно должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения, сразу бы обнаруживалось любое опасное поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)

2. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь «высокий моральный уровень».

3. Это общество, которое нацелено на выживание в длительной исторической перспективе.

4. Это общество, руководимое людьми, достаточно мудрыми, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают целостное образование, дающее фундаментальное и широкое, но не поверхностное видение мира.

5. Это общество, в котором максимально уменьшено число конфликтов, участники которых могут захотеть использовать оружие судного дня.

6. Это общество, могущее осуществлять достаточно жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам, неким образом, превращаться в инструмент создания риска.

7. Это общество должно быть готово быстро и эффективно принять достаточные меры против любого глобального риска.

8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически, это общество должно рассматривать своё выживание как главную задачу на некий период времени.

9. Это общество должно осознано создавать новые технологии в правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.

10. Это общество должно возникнуть без мировой войны, так как риск в процессе её перевесит пользу от такого общества.

При этом я не обсуждаю это общество в терминах «демократическое» рыночное», «коммунистическое», «тоталитарное» и др. – я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Очевидно, что современное общество крайне далеко от всех этих параметров способного к выживанию общества.

1. На Земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения.

2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть процент тех, кто не против или даже стремится к тотальному разрушению. Также внутри общества распространяются конкурирующие мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. (Под цинизмом я имею в виду довольно распространенную сумму убеждений: всё – говно, деньги правят миром, всё делаю для себя, чудес не бывает, будущее не имеет значения, «пипл хавает».)

3. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.

4. Исходя из действий руководителей стран, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. Более того, это происходит потому, что нет ясной и общепринятой картины рисков, а точнее – та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски – однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут дать и хотят составить ясное понимание о рисках, уровень информационного шума таков, что услышать их невозможно.

5. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.

6. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют – или, во всяком случае, такое впечатление создаётся (война в Ираке).

7. Пока общество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно (согласования) или чревато развязыванием ядерной войны.

8. После эпохи холодной войны строительство бункеров относительно заглохло.

9. Современное общество не осознаёт выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.

10. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, какие и зачем технологии развивает – даже относительно легко обнаружимых ядерных производств.

11. Хотя процесс договорного объединения идёт в Европе, остальная часть мира пока не готова мирно объединиться. (Однако, если где-то случится крупная, но не окончательная катастрофы, то возможно объединение в духе «антитеррористической коалиции».)

Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества – это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина с оценкой вероятности начала войны. Или слепота древнего Китая в отношении военных перспектив пороха и информационных технологий – компаса и бумаги, которые там были изобретены.

7.21. Глобальные катастрофы и текущая ситуация в мире.

С одной стороны может показаться, что всё вращение политической жизни в современном мире происходит относительно предотвращения отдалённых глобальных катастроф, каковыми полагаются в первую очередь две: глобальное потепление и ядерная программа Ирана. Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что, хотя заявленные проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежища. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.

Собственно, можно обсудить две темы: почему выбран именно этот список катастроф, и как общество обращается с тем список рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе «а будет ли мальчик?» Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез.

7.22. Мир после глобальной катастрофы.

Как бы ни была масштабна глобальная катастрофа, вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.

В соответствии с положениями синергетики, критическая точка означает, что есть несколько, конечное число, сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:

1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили.

2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.

3. Серая слизь. Уцелела некая примитивная «некросфера» (термин С.Лема из «Непобедимого») из нанороботов. В ней может быть своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.

4. Постапокалиптичесий мир. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию.

5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия – каждый получит неограниченную жизнь и вирутальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации от человека государства и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.

6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу развлечений. Разница эта - как между сном о любви и настоящей любовью.

Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.

7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф.

Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир во время чумы». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.

Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно перед ним поставить задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.

И хотя я не думаю, что именно этот план и легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:

1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.

2) При этом эти знания и возможности управления не будут порождать новых рисков.

3) Эта система возникает мирно и безболезненно для всех людей.

8. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

Непрямые способы оценки используют не данные о самом предмете исследования, а разные косвенные источники информации, вроде аналогий, общих закономерностей и верхних пределов. Это вопрос подробно рассматривается Бостромом в статье «Угрозы существованию». Есть несколько независимых способов такой оценки.

8.1. Закон Парето.

Закон Парето подробно рассмотрен Г.Малинецким применительно к разнообразным катастрофам в книге «Риск. Устойчивое развитие. Синергетика». Суть его состоит в том, что частота (точнее, ранг в списке) некой катастрофы связана с её масштабом очень простым законом:

Где а - параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер, и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональном а. Типичным примером закона Парето является высказывание вроде: «С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже». (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга–Рихтера, см. Малинецкий. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой7-7,9 баллов происходят 18 раз в год, то 8 балльные – раз в год, а 9 бальные – раз 20 лет.) Особенностью этого закона является его универсальность для разных классов явлений, хотя значение параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показатели степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения.

Нас в этом распределении интересует, как часто во времени могли бы случаться катастрофы, в которых ожидаемое число жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число имеет порядок времени существования самого вида homo sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба – 74000 лет – когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а.

Однако стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.

Однако гораздо худший результат мы получим, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, например, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно.

Подробно закон степенного распределения катастроф и угрозы вымиранию человечеству рассматривается в статье Робина Хэнсена «Катастрофа, социальный коллапс и человеческое вымирание». Он отмечает, что важным фактором является разброс живучести отдельных людей. Если этот разброс велик, то чтобы уничтожить всех людей до последнего, нужна гораздо, на несколько порядков, более сильная катастрофа, чем та, которая уничтожает только 99%.

8.2. Гипотеза о «Чёрной королеве».

Ван Валенном было обнаружено, на основании палеонтологических данных, что линии вымирания родов животных подчиняется экспоненциальному закону. «Такая форма линий выживания фактически означает, что вероятность вымирания среднестатистического рода остается примерно постоянной в течение его жизни». ( А.В. МАРКОВ.

ВОЗВРАЩЕНИЕ ЧЕРНОЙ КОРОЛЕВЫ, ИЛИ ЗАКОН РОСТА СРЕДНЕЙ ПРОДОЛЖИТЕЛЬНОСТИ СУЩЕСТВОВАНИЯ РОДОВ В ПРОЦЕССЕ ЭВОЛЮЦИИ. Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm). Поскольку время жизни отдельных видов внутри рода Homo составляет порядка миллиона лет, то мы можем ожидать такую же продолжительность жизни и для людей, в той мере, в какой мы являемся обычным биологическим видом. Следовательно, гипотеза о Чёрной королевы не означает существенного риска в XXI веке.

С другой стороны, в настоящий момент мы живём в период 6-ого большого вымирания живых организмов, на этот раз вызванного антропогенными факторами, который характеризуются скоростью вымирания, в 1000 раз превосходящую естественную. Если согласиться с тем, что человек – тоже один из видов, то это уменьшает ожидаемое время его существования с миллиона лет до тысячи.

8.3. Парадокс Ферми.

Ещё один не прямой способ оценке вероятности основан на парадоксе Ферми. Парадокс Ферми состоит в следующем вопросе: «Если жизнь и разум обычные явления в природе, то почему мы их не видим их проявлений в космосе»? Теоретически, жизнь и разум могли бы зародиться где-то на несколько миллиардов лет раньше, чем на Земле. За это время они могли бы распространиться на сотни миллионы световых лет, хотя бы с помощью самореплицирующихся космических зондов (называемых зонды фон Неймана). Этот объём включает в себя тысячи, а может и миллионы, галактик. Запустить волну самореплицирующихся межзвёздных зондов можно было уже в ближайшие 100 лет. Это могут быть микророботы, которые оседают на планеты, делают там ракеты и рассылают их по Вселенной со скоростями, значительно ниже световых – такие устройства даже не обязаны обладать полноценным универсальным искусственным интеллектом – тоже самое делают какие-нибудь актинии в земном океане, только в меньшем масштабе. Такой процесс может быть запущен случайно, просто при освоение ближайших планет с помощью самореплицирующихся роботов. Такие микророботы будут в первую очередь потреблять твёрдую материю планет для своего размножения. Для них будут действовать законы эволюции и естественного отбора, аналогичные тем, что имеются в животном мире.

Однако мы не наблюдаем таких микророботов в Солнечной системе, хотя бы потому, что она уцелела. Более того, уцелела не только Земля, но и другие твёрдые тела – спутники дальних планет Солнечной системы. Мы также не наблюдаем никаких инопланетных радиосигналов и никаких следов астроинженерной деятельности.

Отсюда возможны четыре (хотя предлагают и больше – см. книгу Стефана Уэбба «50 решений парадокса Ферми» http://www.amazon.com/gp/product/0387955011/ref=wl_it_dp?ie=UTF8&coliid=I10HTWX6ORKBSZ&colid=3KJUU5O04VUIZ ), где рассматривается 50 разных вариантов, которые, в целом, сводятся к нескольким более общим категориям)) вывода:

1. Разумная жизнь возникает во Вселенной крайне редко, реже, чем в объёме куба с ребром в 100 миллионов световых лет в течение 5 миллиардов лет, или даже больше. (Или данная оценка неверна, и на самом деле разумная жизнь возможна была только сейчас, а не раньше, и Земля – первая. Но в этом случае у нас много конкурентов. Есть ряд соображений, которые усиливают идею о том, что планеты с разумом крайне редки – см. главу о рисках SETI.)

2. Мы уже окружены невидимой нам разумной жизнью, которая так или иначе позволила нам развиться или смоделировала условия нашей жизни. (Сюда же входит возможность того, что мы живём в полностью смоделированном мире.)

3. Разумная жизнь погибает до того, как успевает запустить хотя бы примитивную «ударную волну разума» из роботов- репликаторов, то есть погибает в своём аналоге XXI века.

4. Разумная жизнь жёстко отказывается от распространения за пределы родной планеты. Это может быть вполне разумно с её стороны, так как отдалённые космические поселения невозможно контролировать, а значит, из них может придти угроза существованию. (Возможно, что разуму достаточно пределов виртуального мира, или он находит выход в параллельный мир. Однако опыт жизни на Земле показывает, что выход на сушу не прекратил экспансии в море – жизнь распространяется во всех направлениях.)

Поскольку эти четыре гипотезы, по байесовой логике, имеют равные права до получения дополнительной информации, мы можем приписать каждой из них субъективную достоверность в 1/4. Иначе говоря, парадокс Ферми с достоверностью в 25 процентов предполагает, что мы вымрем в XXI веке. И хотя субъективные вероятности – это ещё не объективные вероятности, которые бы мы имели, обладай полнотой информации, наше космической одиночество – это тревожный факт. (С другой стороны, если мы окажемся не одиноки, это тоже будет тревожный факт, в свете рисков, которые создаст столкновение с чужеродной цивилизацией. Однако это покажет нам, что, по крайней мере, некоторые цивилизации способны выжить.)

8.4. «Doomsday argument». Формула Готта.

Другим способом непрямой оценки вероятности гибели человечества является специфическое и довольно спорное приложение теории вероятности, называемое Doomsday argument (DA), или Рассуждение о Конце света. В начале 1980-х годов DA был независимо и в разных формах открыт несколькими исследователями. Основные статьи по этому вопросу были опубликованы в ведущем естественнонаучном журнале Nature в разделе гипотез. DA опирается на так называемый постулат Коперника, который говорит, что обычный наблюдатель находится, скорее всего, в обычных условиях – то есть на обычной планете, у обычной звезды, в обычной Галактике. Он работает в отношении самых простых вещей: он говорит, что вряд ли вы родились в полночь 1 января, или что вы вряд ли живёте на Северном полюсе. Хотя принцип Коперника кажется самоочевидным и почти тавтологичным, он может быть выражен в математической форме. А именно, он позволяет дать вероятностную оценку о том, сколько времени будет продолжаться некий процесс, исходя из того, сколько времени он уже продолжается. Есть две основные формы этого математического предсказания – прямая, в которой вычисляется непосредственная вероятность, называемая формулой Готта, и косвенная, выдвинутая Картером и Дж. Лесли, в которой вычисляются байесовы поправки к априорной вероятности. Оба этих подхода сразу попытались применить к вычислению ожидаемой продолжительности жизни человечества. Объём дискуссий по этому вопросу составляет несколько десятков статей, и многие кажущиеся очевидными опровержения не работают. Я рекомендую читателю обратится к переведённым мною статьям Н.Бострома, где разбирается часть аргументов, а также к книге Дж.Лесли и статье Кейва. Основная дискуссия строится вокруг того, можно ли вообще использовать данные о прошлом времени существования объекта для предсказания его будущего времени существования, и если да, то можно ли использовать эти данные, чтобы предсказать будущее число людей и время до «конца света». При этом в обоих случаях оказывается, что получающиеся оценки будущего времени существования человечества неприятны.

Рассмотрим сначала формулу Готта. Суть лежащих в основе её рассуждений состоит в том, что если мы наблюдаем некое длящееся событие в случайный момент времени, то, скорее всего, мы попадём в середину периода его существования, и вряд ли попадём в области очень близкие к началу или к концу. Вывод формулы Готта можно посмотреть в статье Кейва. Приведём саму формулу.

(2)

Где T – возраст системы в момент её наблюдения, t – ожидаемое время её существования, а f – заданный уровень достоверности. Например, если f=0.5, то с вероятность в 50% система прекратит существовать в период от 1/3 до 3 её нынешних возрастов с настоящего момента. При f=0.95 система просуществует с вероятностью 95% от 0,0256 до 39 нынешних возрастов.

Формула Готта находит выражение в человеческой интуиции, когда, например, мы полагаем, что если некий дом простоял год, то очень вряд ли он обрушится в ближайшие несколько секунд. Этот пример показывает, что мы можем делать вероятностные высказывания об уникальных событиях, не зная ничего о реальном распределении вероятностей. Большинство попыток опровержения формулы Готта основано на том, что приводится контрпример, в котором она якобы не работает – однако в этих случаях нарушается принцип того, что предмет наблюдается в случайный момент времени. Например, если взять младенцев или очень старых собак, то формула Готта не будет предсказывать ожидаемую продолжительность их жизни, однако молодые люди или старые собаки не есть люди или собаки, взятые в случайный момент времени.

В отношении будущего человеческой цивилизации формула Готта применяется не к времени, а к рангу рождения, поскольку население менялось неравномерно, и более вероятно оказаться в период с высокой плотностью населения. Предполагается, что мы, родившись, произвели акт наблюдения нашей цивилизации в случайный момент времени. При этом мы узнали, что всего за историю человечества было только примерно 100 миллиардов людей. Это значит, что мы, скорее всего, попали в середину отрезку, и значит, что очень вряд ли (с менее 0,1% вероятности) суммарное число людей будет 100 триллионов. А это значит, что шанс того, что человечество распространится по всей галактике в течение многих тысячелетий, также мал.

Однако из этого также следует, что вряд ли что мы живём в последнем миллиарде родившихся людей, а значит, у нас есть, скорее всего, ещё несколько сотен лет до конца света, учитывая ожидаемое население Земли в 10 млрд. человек. Для XXI века вероятность гибели цивилизации, исходя из формулы Готта, составляет 15-30 процентов, в зависимости от числа людей, которые будут в это время жить. Как ни странно, эта оценка совпадет с предыдущей, на основе парадокса Ферми.

8.5. Рассуждение о конце света Картера-Лесли.

Лесли рассуждает несколько другим образом, применяя Байесову логику. Байесовая логика основывается на формуле Байеса, которая связывает апостериорную вероятность некой гипотезы с априорной её вероятностью и вероятностью новой порции информации, то есть свидетельства, которую мы получили в поддержку этой гипотезы. (Я рекомендую в этом месте обратиться к переведённым мною статьям о Doomsday Argument, поскольку не могу изложить здесь всю проблематику в деталях.)

Лесли пишет: допустим, есть две гипотезы о том, сколько будет всего людей от неандертальцев до «конца света»:

1-ая гипотеза: всего будет 200 млрд. людей. (То есть конец света наступит в ближайшее тысячелетие, так как всего на Земле уже жило 100 млрд. людей.)

2-ая гипотеза: всего будет 200 трлн. людей (то есть люди заселят Галактику).

И допустим, что вероятность каждого из исходов равна 50% с точки зрения некого абстрактного космического наблюдателя. (При этом Лесли предполагается, что мы живём в детерминистическом мире, то есть, хотя мы этого и не знаем, но эта вероятность твёрдо определена самими свойствами нашей цивилизации.) Теперь, если применить теорему Байеса и модифицировать эту априорную вероятность с учётом того факта, что мы обнаруживаем себя так рано, то есть среди первых 200 млрд. людей, мы получим сдвиг этой априорной вероятности в тысячу раз (разница между миллиардами и триллионами). То есть вероятность того, что мы попали в ту цивилизацию, которой суждено умереть относительно рано, стала 99,95%.

Проиллюстрируем это примером из жизни. Допустим, в соседней комнате сидит человек, который с равной вероятностью читает или книгу, или статью. В книге – 1000 страниц, а в статье 10 страниц. В случайный момент времени я спрашиваю этого человека, какой номер страницы, которую он читает. Если номер страницы больше, чем 10, я однозначно могу заключить, что он читает книгу, а если номер страницы меньше 10, то здесь мы имеем тот случай, когда можно применять теорему Байеса.

Номер меньше 10 может получиться в двух случаях:

А) человек читает книгу, но находится в её начале, вероятность этого – 1% из всех случаев, когда он читает книгу.

Б) Человек читает статью, и здесь эта вероятность равна единице из всех случаев, когда он читает статью.

Иначе говоря, из 101 случая, когда номер страницы может оказаться меньше 10, в 100 случаях это будет потому, что человек читает статью. А значит, что вероятность того, что он читает статью, после получения нами дополнительной информации о номере страницы стала 99%.

Свойство приведённых рассуждений состоит в том, что оно резко увеличивает даже очень небольшую вероятность вымирания в XXI веке. Например, если она равна 1% с точки зрения некого внешнего наблюдателя, то для нас, раз мы обнаружили себя в мире до этого события, она может составлять 99.9 процентов. (В предположении, что в галактической цивилизации будет 200 триллионов человек.)

Из этого следует, что, несмотря на абстрактность и сложность для понимания данных рассуждений, мы должны уделять не меньшее внимание попыткам доказать или опровергнуть рассуждение Картера-Лесли, чем мы тратим на предотвращение ядерной войны.

Многие учёные стараются доказать или опровергнуть аргумент Картера-Лесли, и литература на эту тему обширна. И хотя он мне кажется достаточно убедительным, я не претендую на то, что доказал этот аргумент окончательно. Я рекомендую всем, кому кажется очевидной ложность приведённых выше рассуждений, обратиться к литературе по этой теме, где подробно рассмотрены различные аргументы и контраргументы.

Рассмотрим ещё несколько замечаний, которые работают за и против аргумента Картера-Лесли. Важным недостатком DA по Картеру-Лесли является то, что время будущего выживания людей зависит от того, каким мы выберем число людей в «длинной» цивилизации. Например, при вероятности вымирания в XXI веке в 1% и при будущем числе людей в длинной цивилизации в 200 триллионов происходит усиление в 1000 раз, то есть мы имеем 99,9 процентов вымирания в XXI веке. Если пользоваться логарифмической шкалой, это даёт «период полураспада» в 10 лет. Однако если взять число людей в длинной цивилизации в 200 квинтильонов, то это даст шанс в одну миллионную вымирания в XXI веке, что есть 2**20 степени, и ожидаемый «период полраспада» только в 5 лет. Итак, получается, что, выбирая произвольную величину времени выживания длинной цивилизации, мы можем получать произвольно короткое ожидаемое время вымирания короткой цивилизации. Однако наша цивилизация уже просуществовала на наших глазах больше, чем 5 или 10 лет.

Чтобы учесть это различие, мы можем вспомнить, что чем больше людей в длинной цивилизации, тем менее она вероятна в соответствии с формулой Готта. Иначе говоря, вероятность того, что цивилизация вымрет рано – высока. Однако, судя по всему, рассуждение Картера-Лесли ещё больше усиливает эту вероятность. Однако сложно сказать, корректно ли применять рассуждение Картера-Лесли вместе с формулой Готта, так как здесь может получиться так, что одна и та же информация учитывается дважды. Этот вопрос нуждается в дальнейших исследованиях.

Оригинальное рассуждение Картера-Лесли содержит и ряд других логических проколов, которые были обобщены Бостромом в своих статьях, и основные из них относится к проблеме выбора референтного класса, а также к сомнениям в том, что выборка является действительно случайной. Объём рассуждений на эту тему настолько велик и сложен, что здесь мы только вкратце очертим эти возражения.

Проблема референтного класса состоит в выборе того, кого именно мы должны считать людьми, к которым относится данное рассуждение. Если мы вместо людей возьмём животных, наделённых мозгом, то их будут тысячи триллионов в прошлом, и мы вполне можем ожидать такое же их количество в будущем. Я вижу решение проблемы референтного класса в том, что, в зависимости от того, какой именно референтный класс мы выбираем, соответствующее событие должно считаться концом его существования. То есть каждому референетному классу соответствует свой «конец света». Например, то, что в будущем будет только ещё несколько сотен миллиардов людей, никак не мешает тому, что в будущем будут ещё тысячи триллионы наделённых мозгом существ.

Вторая логическая ошибка в рассуждении Картера-Лесли состоит в неслучайности выборки. Дело в том, что если бы я родился до ХХ века, то я бы никогда не узнал о рассуждении Картера-Лесли и никогда бы не мог задаться вопросом о его применимости. Иначе говоря, здесь имеется эффект наблюдательной селекции – не все наблюдатели равноценны. Поэтому на самом деле рассуждение Картера-Лесли может применяться только теми наблюдателями, которые знают о нём.

Однако это резко ухудшает наши шансы на выживание, даваемые DA. Ведь DA известен только с 80-х годов ХХ века, то есть 27 лет. (Более того, в начале он был известен только более узкому кругу людей. То есть эти 27 лет смело можно сократить лет до 20.) Если взять эти 27 лет, и применить к ним формулу Готта, мы получим 50 процентов вероятности гибели в промежуток от 9 до 81 года с настоящего момента, что примерно означает более 50 процентов для XXI века. Как ни странно, эта оценка не сильно расходится с двумя предыдущими.

Можно произвести рассуждение и по-другому. Рассмотрим промежуток времени, в течение которого существуют глобальные риски. При этом в качестве точки отсчёта возьмём 1945 год, а в качестве точки случайного наблюдения – тот момент, когда я узнал о возможности ядерной войны, как одного из глобальных рисков – 1979 год. (В качестве длящегося события здесь мы рассматриваем период от начала периода подверженности риску до его окончания.) Итак, в момент случайного наблюдения этот риск уже существовал в течение 30 лет. Формула Готта даёт промежуток 50% для шансов реализации риска с 10 до 90 лет (от 1980 года). То, что это событие до сих пор не случилось, вносит определённый сдвиг в оценку, но, тем не менее, мы можем сказать, что эти 50 процентов всё ещё действуют на остаток от промежутка в 90 лет с 1980 года, то есть до 2070 года. Иначе говоря, вероятность прекращения ситуации с глобальными рисками составляет более 50 процентов в XXI веке. Опять примерно тот же результат. Прекращение это может быть как реализация риска, так и переход в некое иное безрисковое состояние, о котором пока сказать ничего невозможно. Если же принять во внимание, что в реальности плотность риска росла в промежуток с 1945 по 70-е годы, то это значительно ухудшит нашу оценку.

8.6. Аналогия с человеком.

Другим способом оценки глобальных рисков может быть аналогия. Очевидно, что наша цивилизация становится всё сложнее. И по сложности она начинает приближаться к единому живому организму. Следовательно, к ней применимы те же представления о распределении и плотности рисков, как для живого организма. Далее, наша цивилизация гораздо больше заботится о выживании одного человека, чем о себе в целом. Поэтому её выживаемость вряд ли лучше, чем выживаемость отдельно взятого человека. Средняя продолжительность жизни современного человека около 80 лет. Средний возраст людей на Земле – 25 лет. Значит, ожидаемая средняя продолжительность остатка жизни людей – 55 лет. Если мы согласны с тем, что прочность современной цивилизации меньше или равна человеческой прочности, то таково же среднее ожидание выживания нашей цивилизации. Это опять-таки даёт более 50 процентов вымирания в XXI веке.

8.7. Непрямая оценка вероятности природных катастроф.

Мы можем оценить вероятность природной глобальной катастрофы по тому времени, которое мы уже существуем. Однако при этом будет действовать эффект наблюдательной селекции, в силу которого ожидаемое будущее время будет меньше, чем прошлое (см. подробнее «Природные катастрофы и антропный принцип»). Всё же вряд ли вклад наблюдательной селекции составляет больше одного порядка. Однако для разных уровней природных катастроф мы имеем разные характерные периоды времени. Например, жизнь на Земле существует уже 4 млрд лет, и, с учётом сказанного, она могла бы существовать ещё не менее 100 - 400 млн. лет. (Наблюдательная селекция здесь состоит в том, что мы не знаем, какая доля планет земного типа гибнет в процессе эволюции; предположив, что доля уцелевших составляет от 1000 до триллиона и получаем оценки в 100-400 млн.лет как период полураспада.) То есть непрямая оценка вероятности природной катастрофы была бы 1 к 4 000 000 за сто лет. Это пренебрежимо малая величина на фоне других рисков. Что касается времени существования нашего вида, то последняя природная катастрофа, угрожавшая ему, была гораздо ближе во времени, 74 000 лет назад, и поэтому мы имеем гарантировано только 7 000 лет с учётом возможного эффекта наблюдательной селекции. Наблюдательная селекция здесь состоит в том, что если бы люди были очень мало живучим видом, который вымирает с периодичностью раз в несколько тысяч лет, мы не могли бы заметить этого, так как мы можем заметить только ту ветвь нашего вида, которая прожила достаточный срок, необходимый для формирования цивилизации, в которой мы можем задаться данным вопросом. 7000 лет соответствовало бы с учётом огромной погрешности таких рассуждений примерно 1% вымирания в XXI веке в результате природных катастроф или внутренней присущей виду неустойчивости – причём это максимальная оценка в наихудшем случае. Если не брать в расчет наблюдательную селекцию, то шансы природной катастрофы любого рода, ведущей к вымиранию человечества, на основании прошлого времени существования можно вычислить с помощью формулы Готта, и они будут 1 к 1500 за 100 лет, то есть 0,066%, что очень мало.

Наконец, есть третьего рода катастрофы, которые мы можем оценить по прошлому времени, а именно, времени, в течение которого существует письменная история, то есть 5000 лет. Мы можем смело утверждать, что за 5000 лет не произошло ни одной катастрофы, которая бы прервала письменную историю. Здесь тоже возможна, но маловероятна наблюдательная селекция, поскольку сильнее действуют не природные, а антропогенные факторы. Та катастрофа, которая могла бы прервать письменную историю 3000 лет назад, например, извержение сверхвулкана в Средиземноморье, сейчас бы уже не могла сделать это. Поэтому можно смело сказать, что природная катастрофа, прерывающие письменную традицию (такой, как она была в прошлом, а не сейчас) имеет шансы не более 1% в XXI веке, считая по формуле Готта. А поскольку сейчас письменная традиция гораздо прочнее, чем в прошлом, то можно эту оценку смело уполовинить.

Наконец, эффект наблюдательной селекции может иметь отношение и к антропогенным катастрофам, а именно, к глобальному риску ядерной войны.

Эффект наблюдательной селекции состоит в том, что мы не знаем, каковы были шансы нашей цивилизации выжить в период с 1945 до 2007 года, то есть за время существования ядерного оружия. Может быть, в девяти из десяти «параллельных миров» это не удалось. Соответственно, в результате мы можем недооценивать глобальные риски.

Если бы интенсивность изменения числа наблюдателей была бы очень велика, то это оказывало бы «прижимающее» воздействие на дату, в которой бы мы себя обнаруживали – то есть мы бы вероятнее всего обнаруживали себя достаточно рано. См. подробнее статью Бострома и Тегмарка, где предложены точные выкладки для одного частного случая. Если бы вероятность риска вымирания составляла бы 90 процентов в год, тогда бы я, скорее всего, жил бы не в 2007, а в 1946. То, что я всё ещё жив в 2007 году, даёт определённый верхний предел (с определённой заданной достоверностью) на темп вымирания. А именно:

5 летний период «полураспада» можно исключить примерно с вероятностью 99,9 (так как за 50 лет прошло 10 циклов по 5 лет, и 2 в 10 степени это 1024. то есть за 50 лет уцелела бы только одна тысячная планет.)

25 лет с вероятностью в 75 процентов,

50 лет – с вероятностью в 50 процентов.

100 лет – не более 25 процентов.

Итак, можно достаточно достоверно исключить периоды «полураспада» цивилизации меньшие, чем 50 лет. Однако большие мы исключить не можем. Это, конечно не значит, что реальный период «полураспада» и есть 50 лет, однако, если исходить из принципа предосторожности, то надо предположить, что это так. Такой период полураспада означал бы наши шансы дожить до XXII века примерно в 25 процентов.

Выводы: различные независимые методы непрямых рассуждений дают оценки вероятности гибели цивилизации в XXI веке в десятки процентов. Это не должно нас успокаивать в том смысле, что как будто бы это гарантирует нам десятки процентов выживания. Потому что, если учесть степень неопределённости таких рассуждений, то это события категории Е1, которая, как мы предположили в начале, означает риски от 1 до 100 %.

8.8. Рассуждение о Симуляции.

Ник Бостром разработал следующую логическую теорему, называемую рассуждением о Симуляции.

Исходя из текущих тенденций в развитие микроэлектроники, кажется вполне вероятным, что рано или поздно люди создадут саморазвивающийся искусственный интеллект. Нанотехнологии обещают предельную плотность процессоров в триллион штук на грамм вещества (углерода) - с производительностью порядка 10**20 флопс. Плюс нанотехнологии позволят превращать залежи каменного угля в такое устройство. Это открывает перспективу превращения всей Земли в «компьютрониум» - одно огромное вычислительной устройство. Очевидно, что такая вычислительная мощь могла бы создавать детальные симуляции своего человеческого прошлого. Мощность такого устройства оценивается в 10**40 операций в секунду. (Что соответствует превращению миллиона кубических километров вещества в компьютрониум, который покроет всю Землю слоем в 2 метра.) Использование всего твёрдого вещества в Солнечной системе даст порядка 10**50 флопс. Поскольку предполагается, что для симуляция одного человека нужно не более, чем 10**15 флопс (это число основано на количестве нейронов и синапсов в мозгу, и частоте их переключения), то это даст возможность симулировать одновременно 10**35 людей, или 10**25 цивилизаций, подобных нашей, с нашей же скоростью развития. Вряд ли компьютрониум направит все свои ресурсы на симулирование людей, но даже если он выделит на это одну миллионную усилий, это будет всё ещё порядка 10**19 человеческих цивилизаций. Итак, даже если только одна из миллиона цивилизаций порождает компьютрониум, то этот компьюториум порождает порядка 10**19 цивилизаций, то есть на каждую реальную цивилизацию приходится 10**13 виртуальных.

Отсюда Ник Бостром делает вывод, что верно одно из трёх:

1) Или наша цивилизация погибнет и не создаст компьюториум.

2) Или компьюториум будет абсолютно не заинтересован в моделировании своего прошлого.

3) Или мы уже находимся внутри имитации в компьюториуме.

При этом пункт 2 можно исключить из рассмотрения, потому что есть причины, по которым компьюториуму будет интересно, каковы именно были обстоятельства его возникновения, но нет такой универсальной причины, которая могла бы действовать на все возможные компьюториумы, не позволяя им моделировать своё прошлое. Причина интереса к своему прошлому может быть много, назову несколько – это вычисление вероятности своего возникновения, чтобы оценить плотность других сверхцивилизаций во вселенной или развлечение людей или неких других существ.

В этом случае рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции».

Впрочем, гибель мира в этом рассуждении не означает вымирания всех людей – она означает только гарантированную остановку прогресса до того, как компьюториум будет создан. Гарантированность её означает не только, что она произойдёт на Земле, но и на всех остальных возможных планетах. То есть она означает, что имеется некий очень универсальный закон, который препятствует подавляющему большинству цивилизаций создать компьюториум. Возможно, это происходит просто потому, что компьюториум невозможен, или потому что моделирование человеческого сознания на нём невозможно. Но может быть, что это происходит потому, что ни одна цивилизация не может достичь уровня компьюториума, так как сталкивается с некими неразрешимыми противоречиями, и вынуждена или погибнуть, или откатится назад. Эти противоречия должны носить универсальный характер, а не быть связаны только, скажем, с атомным оружием, потому что тогда цивилизации на тех планетах, в коре которых нет урана, смогут устойчиво развиваться. Примером такого универсального противоречия может быть теория хаоса, которая делает системы выше определённого уровня сложности принципиально нестабильными.

Известное возражение к рассуждению о симуляции опирается на то, что симуляция реальности вовсе не обязательно является копией того, что было в прошлом. (См. обзор возражений рассуждению о симуляции в статье Д.Медведева «Живём ли мы в спекуляции Ника Бострома?») И если мы находимся в сконструированном мире, то это не позволяет нам делать выводы о том, каков реальный мир. Как, например, не может монстр из компьютерной игры догадаться о реальном устройстве мира людей. Однако то, что мы не знаем, каков мир за пределами симуляции, не мешает нам знать, что мы всё же находимся в симуляции. Здесь важно различать два смысла слова «симуляция» - как компьютерной модели, и как того факта, что эта модель напоминает некое историческое событие из прошлого. При этом можно предположить, что большинство симуляций не являются точными подобиями прошлого, и значительная доля симуляций вообще не имеет отношения к прошлому той цивилизации, которая их затем создала. Также и в литературе большинство романов не является историческими романами, и даже исторические романы не точно совпадают с прошлым.

Если мы находимся внутри симуляции, нам угрожают все те же риски гибели, которые могут случиться и в реальности, плюс вмешательство со стороны авторов симуляции, которые нам могут подкинуть некие «трудные задачки» или исследовать на нас некие экстремальные режимы, или просто поразвлечься за наш счёт, как мы развлекаемся, просматривая фильмы про падение астероидов. Наконец, симуляция может быть просто внезапно выключена. (У симуляции может быть предел ресурсоёмкости, поэтому авторы симуляции могут просто не позволить нам создавать настолько сложные компьютеры, чтобы мы могли запускать свои симуляции.)

Итак, если мы находимся в симуляции, это только увеличивает нависшие над нами риски и создаёт принципиально новые – хотя появляется шанс внезапного спасения со стороны авторов симуляции.

Если же мы не находимся в симуляции, то велик шанс, что любые цивилизации по причине катастроф не достигают уровня создания компьюториума, который мы могли к концу XXI века. А это означает, велика вероятность неких глобальных катастроф, которые не позволят нам достичь этого уровня.

Получается, что рассуждение о симуляции действует таким образом, что обе его альтернативы ухудшают наши шансы выживания в XXI веке, то есть его нетто вклад отрицательный, независимо от того, как мы оцениваем шансы одной из двух альтернатив. (Моя мнение состоит в том, что вероятность того, что мы находимся в симуляции, – выше, чем вероятность того, что мы реальная цивилизация, которой суждено погибнуть, и на много порядков.)

Интересно отметить повторяющийся паттерн: альтернатива с SETI также имеет отрицательный нетто-эффект – если они рядом, то мы в опасности, если их нет, то мы тоже в опасности, поскольку это значит, что некоторые факторы мешают им развиваться.

8.9. Интеграция различных непрямых оценок.

Все приведённые непрямые оценки выполнены независимо друг от друга, хотя дают примерно одинаковые и неутешительные результаты, состоящие в том, что вероятность человеческого вымирания высока. Однако поскольку эти рассуждения относятся к одной и той же реальности, возникает желание состыковать их в более целостную картину. Рассуждение о симуляции Бострома существует логически отдельно от рассуждения конце света Картера-Лесли (которое ещё надо связать с формулой Готта), и соответственно возникает соблазн их «поженить». Такая попытка предпринимается в работе «Doomsday Simulation Argument». Их, в свою очередь интересно связать с квантовым бессмертием в духе Хигго и с влиянием эффекта наблюдательной селекции.

Я полагаю, что суть этой интеграции должна быть в том, что мы выясним, какие рассуждения перекрывают другие, то есть какие из них являются более сильными. (При этом, возможно, что последующие исследования смогут дать более точную картину интеграции, и сведут все отдельные выкладки к одной формуле.)

Я вижу такой порядок мощности высказываний (более сильные утверждения, отменяющие более слабые, сверху). При этом я не имею в виду, что все они истины.

a. Качественная теория сознания, основанная на понятии о квалиа. Если она верна, то остальные рассуждения не работают или нуждаются в существенной переоценке. Теории о квалиа пока не существует, есть только несколько логических парадоксов, с этим связанных. Однако, судя по всему, теория о квалиа может исключать представления о множественности миров и линейности времени. В силу этого такая теория, будь она создана и доказана, сделала бы неправомочными любые нижеследующие рассуждения.

b. Рассуждение о бессмертии Хигго, основанное на идее о множественности миров. В этом случае всегда найдётся мир, где я, и часть земной цивилизации соответственно, не погибла. Эта теория не зависит от того, нахожусь я в симуляции или нет, поэтому её выводы не зависят от верности рассуждения о симуляции. Рассуждение о бессмертии Хигго является очень сильным, потому что оно не зависит ни от конца света, ни от того, находимся ли мы в симуляции или нет. Бессмертие по Хигго делает личный конец света невозможным. Ни один хозяин симуляции никак не может повлиять на работу рассуждения Хигго, потому что всегда найдётся бесконечное количество других симуляций и реальных миров, в точности совпадающих с данной в текущий момент времени, но имеющих с ней разные будущие. Однако рассуждение Хигго опирается на «self sampling assumption’ – то есть идею о том, что я являются одним из экземпляров из множества своих копий – а на эту же идею опираются и все последующие рассуждения – аргумент о симуляции, формула Готта, рассуждение о конце света Картера-Лесли. Любые попытки опровергнуть бессмертие по Хигго, основанное на невозможности рассмотрения себя как одного из экземпляров из множества своих копий одновременно опровергают и все эти рассуждения.

c. Аргумент о симуляции Бострома. Он тоже работает в предположении о множественности миров, тогда как последующие рассуждения не учитывают этот факт. Кроме того, если мы на самом деле находимся в симуляции, то мы не наблюдаем мир с случайный момент времени, поскольку симуляции, скорее, будут привязаны к исторически интересным эпохам. Наконец, рассуждения в духе DA требуют возможной непрерывной нумерации людей или времени, что в случае множества симуляций не работает. Поэтому любые формы DA утрачивают силу, если рассуждение о симуляции верно. Рассуждение о симуляции сильнее рассуждения о конце света Картера-Лесли и формулы Готта, потому что оно работает, независимо от того, сколько ещё людей будет в нашем реальном мире. Более того, оно существенно размывает понятия о количестве людей и том, что такое реальный мир, поскольку непонятно, должны ли мы учитывать будущих людей из других симуляций, как реальных. Непонятно также, должна ли каждая симуляция симулировать весь мир от начала до конца, или только некий отрезок его существования только для нескольких людей.

d. Формула Готта. Формула Готта проверенно работает в отношении событий, не связанных с изменением числа наблюдателей, например, в отношении радиоактивного распада, даты сноса берлинской стены, предсказания продолжительности человеческой жизни и т. д. Однако она даёт гораздо более мягкую оценку будущей продолжительности существования человечества, чем аргумент Картера-Лесли. Формула Готта является более простым и понятным инструментом для оценки будущего, чем рассуждение Картера-Лесли. Хотя бы потому, что формула Готта даёт конкретные числовые оценки, а рассуждение Картера-Лесли даёт только поправку к исходным вероятностям. Далее, формула Готта применима к любым референтным классам, так как для любого класса она даёт оценку времени завершения именного этого класса. А в рассуждении Картера-Лесли упоминается обычно именно смерть наблюдателя, и его надо адаптировать ситуациям, где наблюдатель не умирает. Вопрос о том, следует ли применять поправки, даваемые рассуждением Картера-Лесли к оценкам, которые дала формулой Готта, требует дальнейшего исследования.

e. Аргумент Картера-Лесли. Важным условием аргумента Картера-Лесли является не существование других цивилизаций, помимо земной. Кроме того, очень трудно придумать реальный эксперимент, в котором можно было бы проверить силу этого рассуждения. А мысленные эксперименты работают с определёнными натяжками.

f. Парадокс Ферми находится тоже внизу этой таблицы, поскольку рассуждение о симуляции очевидным образом отменяет его значение: в симуляции плотность цивилизаций может быть любой, равно как и риск их агрессии, в зависимости от прихоти владельцев симуляции.

Всё сказанное здесь о непрямых способах оценки находится на грани между доказуемым и гипотетическим. Поэтому я предлагаю не принимать на веру сделанные выводу, но и не отбрасывать их. К сожалению, исследования непрямых способов оценки вероятности глобальной катастрофы могут пролить свет на наше ожидаемое будущее, но не дают ключей к его изменению.

9. ЗАКЛЮЧЕНИЕ. НАИБОЛЕЕ ВЕРОЯТНЫЙ СЦЕНАРИЙ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.

Теперь мы можем попытаться обобщить все собранные данные, обрисовав наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть best guess – наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не буду выдавать её за объективную точно вычисленную вероятность. В зависимости от того, какая будет появляться новая информация, я буду корректировать свою оценку.

В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно также создание ядерного оружия судного дня тоже требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия. Эти предположения сделаны относительно данных угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько это могут.

Итак, я вижу два наиболее вероятных сценария глобальной окончательной катастрофы в XXI веке, ведущей к полному человеческому вымиранию:

1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные к человеку цели.

2) Системный сценарий, в котором ведущую роль играет биологической оружие и прочие продукты биотехнологий, но также будет применяться ядерное оружие и микророботы. Также будут играть свою роль распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что не будет какого-то одного уничтожающего людей фактора, а будет вал множества факторов, превосходящий все возможности по выживанию.

Наиболее вероятное время действия обоих сценариев – 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 процентов они произойдут в указанный промежуток времени. Эта оценка происходит из того, что, исходя из текущих тенденций, вряд ли обе технологии созреют до 2020 года или после 2040 года.

Теперь просуммируем все возможные сценарии с учётом их взаимного влияния так, чтобы сумма была равна 100% (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка).

Оценим общую вероятность человеческого вымирания, в соответствии со словами сэра Мартина Риса, в 50%. Тогда выглядят убедительными следующие оценки:

15% - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ обладает способностью отыскать и воздействовать на всех людей без исключения – в большей мере, чем другие факторы.

15% - системный кризис с многократным применением биологического и ядерного оружия.

14% - нечто неизвестное.

1% - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.

0,1% – естественные природные катастрофы,

0,9% – неудачные физические эксперименты

1% - серая слизь – нанотехнологическая катастрофа

1% - атака через SETI

1% - ядерное оружие судного дня

1% - прочие

Вторые 50% приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:

15% – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.

10% – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, зоопарк, безработные у телевизора. Власть переходит к ИИ и машинам.

5% – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается в качестве наилучшего варианта традиционными футурологами.

20% – Откат на стадию постапоклиптического мира. Разные уровни деградации.

Теперь рассмотрим возможное влияние на эти цифры разных форм теоремы о конце света. Формула Готта, взятая в отношении всего числа людей на Земле, даёт незначительные шансы вымирания в XXI веке – на уровне нескольких процентов, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Однако если применить формулу Готта к моему рангу в множестве всех людей, которые знают о формуле Готта, то шансы выживания в XXI веке оказываются призрачными (если отождествлять завершение этого множества и человеческое вымирание). Вопрос о том, в какой мере мы имеем право использовать формулу Готта таким образом, остаётся открытым. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Лесли без применения теоремы о конце света оценивает шансы человеческого вымирания в 5%, а после применения – в 30%. При этом в вычислении конкретного значения в тексте своей книги он берёт другие значения, а именно, априорную вероятность вымирания в ближайшее время в 1%, и разрыв между численностью человечества при «плохом» и при хорошем сценарии в тысячу раз. Тогда эти априорные 1% превращаются у него через формулу Байеса в апостериорные 50%. Однако если мы применим те же предположения к нашей априорной вероятности в 50%, то получим шансы вымирания в 99,9%. Наконец третий вариант теоремы о конце света в формулировке Бострома-Тегмарка, адаптированной мной к меньшим процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1%. Наихудшим проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны, которая бы снизила максимальную частоту этого события от одного события раз в несколько десятков лет, до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что здесь всё не так плохо.

Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её избегания. Это наводит на мысль, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Сэр Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и растёт. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое зависит от нас сейчас.

Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. (РФ объявила программу по развитию нанотехнологий. Значит, уже видно их оборонное значение и понятна возможность создания «серой слизи».) Понимание серьёзности рисков должно сплоить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы.

10. Рекомендуемая литература:

Здесь я привожу список книг, который, на мой взгляд, полезно прочитать человеку, интересующемуся глобальными рисками.

Азимов Айзек,«Выбор катастроф».

http://bookz.ru/authors/azimov-aizek/azimov_katastrof.html

В. Александров, Никита Николаевич Моисеев

"Ядерный конфликт — глазами климатологов и математиков".

http://www.pseudology.org/ZnanieSila/Yaderny_Konflict.htm

«Биовойна для чайников» Biowar for Dummies

by Paul Boutin

http://www.membrana.ru/articles/global/2006/02/22/220500.html

Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)

Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006

Бостром Н. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. http://www.proza.ru/texts/2007/04/04-210.html

Бостром Н. «А не живем ли мы в «Матрице»?

Доказательство методом моделирования».

http://alt-future.narod.ru/Future/bostrom3.htm

Тегмарк М. и Бостром Н. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )

Ник Бостром. Сколько осталось до суперинтеллекта?

http://mikeai.nm.ru/russian/superint.html

Ваганов А. Сценарии парниковой катастрофы.

http://science.ng.ru/policy/2001-04-18/1_accident.html

Вернор Виндж. Технологическая Сингулярность.

http://www.computerra.ru/Authors/2922/

Джой Б. Почему мы не нужны будущему.

http://old.computerra.ru/online/firstpage/14084/for_print.html

Дрекслер Э. «Машины созидания». http://mikeai.nm.ru/russian/eoc/eoc.html

Диринг М. «Рассвет Сингулярности».

http://transhumanism.org/languages/russian/dawnofsingularity/Deering.htm

«За горизонтом предсказуемости»

Небольшая интересная статья о предсказуемости, хаосе, траекториях и тяжёлых хвостах

http://www.iwf.ru/forum/content.php?article.17

Лем С., «Непобедимый». http://lib.web-malina.com/getbook.php?bid=2778&page=1

Лем, С. «Системы оружия двадцать первого века или Эволюция вверх ногами».

http://bio.fizteh.ru/student/diff_articles/weapon_xxi.html

Лем С. «Фантастика и футурология». Главы о футурологии из первого тома.

http://www.avturchin.narod.ru/lem.txt

Малинецкий Г.Г. и др. «Управление риском. Риск. Устойчивое развитие. Синергетика». http://www.keldysh.ru/papers/2003/source/book/gmalin/titul.htm

Медведев Д. «NBIC конвергенция». http://www.transhumanism-russia.ru/content/view/317/116/

Мухамедиев Р. Эмпирическая оценка закона гиперболического роста сложности высокоорганизованной материи.

http://ravil.astersoft.net/Articles/IncreasingComplexity.htm

Назаретян А.П. Цивилизационные кризисы

в контексте Универсальной истории

(Синергетика – психология – прогнозирование)

Пособие для вузов

http://macroevolution.narod.ru/nazaretyan03.htm

Панов А. Д. «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии»

http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html

Переслегин С.Б., Столяров А.

«Научно-обоснованный конец света»

http://okh.nm.ru/materials/Pereslegin/Per_EndOfTime.htm

«Причины катастроф: Глупость, Небрежность и Корысть» статья в Вашингтон пост, http://www.washprofile.org/?q=ru/node/1093

Рис Мартин. «Наш последний час. Предостережение ученого: как терроризм, ошибки и разрушения окружающей среды угрожают будущему человечества, Земле и окружающему ее космосу». -Нью-Йорк, 2003. - 228 с.

http://www.sciam.ru/2004/10/profile.shtml

Скоузен Марк «Кто предсказал крах 1929 года?»

http://www.sotsium.ru/books/65/61/skousen93.html

«Снижение боеготовности ядерных сил России и США -

путь к уменьшению ядерной угрозы.»

http://www.ieer.org/russian/pubs/dlrtbk-r.html

Шют, Н. «На берегу».

Юдковски Э. «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков»

http://www.proza.ru/texts/2007/03/08-62.html

Юдковски Э. «Искусственный интеллект как позитивный и негативный фактор глобального риска».

http://www.proza.ru/texts/2007/03/22-285.html

Литература:

1. Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998

2. Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)

3. Воробьёв, Ю.Л, Малинецкий. Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.

4. Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006

5. Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985

6. Еськов К.Ю. История Земли и жизни на ней. – М., НЦ ЭНАС, 2004.

7. Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // 1999. Журнал технической физики, том 69, вып. 9.

8. Сорохтин О.Г., Ушаков С.А. Развитие Земли. - М: Изд-во МГУ, 2002.

9. Сывороткин Владимир Леонидович. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, - М. 2001. – 302 С.

10. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002

11. Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира // 2004. Природа N 6.

12. Шкловский И.С. Звёзды. Их рождение, жизнь и смерть. - М., Наука, 1984.

13. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня? http://www.proza.ru/texts/2007/04/11-348.html )

14. Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002.

15. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.

16. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.

17. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.

18. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.

19. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )

20. Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.

21. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.

22. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.

23. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.

24. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.

25. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.

26. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.

27. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.

28. Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.

29. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.

30. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL: http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html.

31. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.

32. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.

33. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.

34. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.

35. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.

36. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.

37. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.

38. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.

39. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.

40. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.

41. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).

42. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.

43. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

44. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.

45. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL: http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html.

46. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp

47. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.

48. Shute, N. (1989). On the Beach: Ballentine Books.

49. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.

50. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005

51. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.

52. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.

53. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.

54. Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. – NY, 2000.

55. Warwick, K. (1997). March of the Machines. London: Century.

56. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.

57. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html )

58. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

59. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

60. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.

Е. Юдковски

Искусственный интеллект как позитивный и негативный фактор глобального риска.

Перевод с английского А.В. Турчина

Введение .

До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает её» (Monod 1974). Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «Интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Наука об ИИ печально известна тем, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ сложен, и это на самом деле так. Но запутанность не происходит из сложности. Сложно сделать звезду из водорода, но звездная астрофизика не имеет дурной славы обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ сложен, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.

Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.

Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.

Дело не в том, что я пренебрегаю необходимостью цитировать существующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).

Соблазнительно игнорировать ИИ в этой книге (имеется в виду книга «Риски глобальной катастрофы», в которой в 2007 году в Оксфорде выходят обе статьи Юдковского – прим. пер.), потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.

Эффекты систематических ошибок мышления, как оказалось, имеют тенденцию увеличиваться при недостатке времени, занятости ума или недостатке информации. Это говорит, что чем труднее аналитическая задача, тем важнее избежать или ослабить систематическую ошибку. Поэтому я усиленно рекомендую прочесть статью «Систематические ошибки мышления, потенциально влияющие на оценку глобальных рисков» (вышла на русском в первом томе серии «Диалоги о будущем» и доступна в Интернете - прим. пер.) до прочтения этой статьи.

1. Систематическая ошибка, связанная с антропоморфизмом.

Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем это как само собой разумеющееся вплоть до того, что забываем о существовании этого. Представьте себе сложную биологическую адаптацию, состоящую из 10 необходимых частей.

Если каждый из 10 генов независим и имеет 50% частоту в наборе генов - то есть каждый ген имеется только у половины особей вида – тогда в среднем только одна особь из 1024 будет обладать полнофункциональной адаптацией. Меховая шуба не является значительным эволюционным приобретением, пока окружающая среда не начнёт подвергать организмы отбору холодом. Точно так же, если ген Б зависит от гена А, тогда ген Б не имеет значительного преимущества, пока ген А не станет надёжной частью генетического окружения. Сложное, взаимозависимое устройство должно быть у всех сексуально воспроизводящихся видов; оно не может развиться в противном случае. (Tooby и Cosmides 1992) Одна малиновка может иметь более гладкие перья, чем другая, но у обеих должны быть крылья. Естественный отбор, двигаемый разнообразием, сужает это разнообразие (Sober, 1984). В каждой известной культуре люди испытывают грусть, отвращение, ярость, страх и удивление (Brown, 1991), и передают эти эмоции одними и теми же выражениями лица. У нас у всех под капотом один и тот же мотор, хотя мы можем и быть раскрашены разными красками; этот принцип эволюционные психологи называют психологическим единством человечества (Tooby and Cosmides, 1992). Это описание и объясняется, и требуется законами эволюционной биологии.

Антрополог не будет восторженно писать о новооткрытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях.

Люди научились моделировать других людей, - чтобы соревноваться и кооперироваться со своими сородичами. Это было надёжным инструментом в мире наших предков, где любой сильный ум, который вам попадался, был тоже человеком. Мы развили способность понимать наших ближних путём эмпатии, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Не удивительно, что люди часто очеловечивают, – то есть ожидают человекоподобных качеств от того, что не является человеком. В фильме «Матрица» (братья Вачовские, 1999) представитель искусственного интеллекта Агент Смит вначале кажется совершенно холодным и собранным, его лицо неподвижно и неэмоционально. Но позже, допрашивая человека Морфеуса, Агент Смит даёт выход свому отвращению к человечеству – и его лицо выражает общечеловеческое выражение отвращения. Опрашивание своего собственного ума хорошо работает под воздействием инстинкта адаптации, когда вам нужно предсказывать других людей.

Но если вы исследуете некий другой процесс оптимизации, - если вы, например, теолог 18 века William Paley – то тогда антропоморфизм – это липучка для мух для неосторожных учёных, столь липкая западня, что нужен Дарвин, чтобы из неё выбраться.

Эксперименты по исследованию антропоморфизма показали, что испытуемые часто антропоморфизируют неосознанно, вопреки своим базовым установкам. Баррет и Кейл (Barrett и Keil, 1996) провели эксперименты на субъектах, исповедовавших веру в неантропоморфные качества Бога – что Бог может быть более чем в одном месте одновременно, или одновременно наблюдать множество вещей. Баррет и Кейл предложили этим испытуемым истории, в которых Бог спасает людей от утопления. Испытуемые отвечали на вопросы об этих историях или пересказывали их своими словами, и из стиля их рассказов следовало, что Бог был только в одном месте в одно время и выполнял задачи последовательно, а не параллельно. К счастью для целей нашего исследования, Баррет и Кейл в другой группе использовали в прочих отношениях аналогичные истории о суперкомпьютере по имени "Uncomp". Например, чтобы изобразить свойство всезнания, говорилось, что сенсоры Uncomp’а покрывают каждый квадратный сантиметр Земли, и никакая информация не теряется. Испытуемые в этих условиях всё равно демонстрировали сильный антропоморфизм, хотя и значительно меньший, чем в «группе Бога». С нашей точки зрения, главным результатом является то, что хотя люди сознательно полагали ИИ не подобным человеку, они по-прежнему представляли себе такие сценарии, как если бы ИИ был человекоподобным (хотя и не настолько человекоподобным, как Бог).

Ошибка антропоморфизма подкрадывается незаметно: она происходит без нарочного намерения, не осознанно и вопреки очевидному знанию.

В эпоху бульварной научной фантастики обложки журналов часто изображали монструозного инопланетянина – собирательно известного как жукоглазый монстр (ЖГМ) – тащащего привлекательную полуобнажённую женщину. Может показаться, что художник верил, что негуманоидный инопланетянин, с полностью другой эволюционной историей, может сексуально желать женщину-человека. Такие ошибки происходят не из-за того, что люди явным образом рассуждают подобно следующему: «Все умы, скорее всего, возбуждаются похожим образом, и поэтому, вероятно, ЖГМ находит женщину-человека сексуально привлекательной». Скорее, художник просто не задался вопросом о том, действительно ли гигантский жук воспринимает женщин-людей привлекательными. Наоборот, полуобнажённая женщина является сексуальной – изначально, потому что это неотъемлемо присущее ей свойство. Те, кто делают эту ошибку, не думают об уме насекомообразного существа; они концентрируются на задранных одеждах женщины. Если бы одежды не были задраны, женщина была бы менее сексуальна, но ЖГМ этого не понимает. (Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую Джейнс назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst, 2003). Джейнс, специалист по байесовской теории достоверности, определил «ошибочностью, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена. Если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)

Людям нет нужды понимать, что они антропоморфизируют (или хотя бы понимать, что они вовлечены в сомнительный акт предсказания состояния чужого ума) для того, чтобы антропоморфизм повлиял на мышление. Когда мы пытаемся рассуждать о чужом сознании, каждый шаг рассуждений может быть соединён с предположениями, настолько очевидными для человеческого опыта, что мы обращаем на них внимания не больше, чем на воздух или гравитацию. Вы возражаете журнальному иллюстратору: «Не является ли более правдоподобным, что огромный жук-самец будет сексуально желать огромных жуков-самок?» Иллюстратор немного подумает и скажет: «Но даже если бы инопланетные инсектоиды начинали с любви к твёрдым экзоскелетам, после того, как инсектоид повстречает женщину-человека, он вскоре поймёт, что у неё гораздо более мягкая и нежная кожа. Если у инопланетян имеется достаточно продвинутая технология, они могут генетически изменить себя, чтобы любить мягкую кожу, а не твёрдые экзоскелеты».

Это - ошибочность-с-отступлением-на-шагом-назад (fallacy-at-one-remove). После того, как указано на антропоморфичность мышления инопланетянина, журнальный иллюстратор делает шаг назад и пытается представить умозаключения инопланетянина как нейтральный продукт его мышления. Возможно, продвинутые инопланетяне могут перестроить себя (генетически или как-то иначе), чтобы любить мягкую кожу, но захотят ли они? Инопланетянин-инсектоид, любящий жёсткие скелеты, не будет хотеть переделать себя, чтобы любить мягкую кожу вместо этого, – кроме как в случае, если естественный отбор каким-то образом породит в нём определённо человеческое чувство метасексуальности. При использовании длинных сложных цепочек рассуждений в поддержку антропоморфических выводов, каждый шаг таких рассуждений является ещё одной возможностью, чтобы прокралась ошибка.

И ещё одной серьёзной ошибкой является начинать с вывода и искать кажущуюся нейтральной линию рассуждений, ведущую к нему; это называется рационализацией. Если первое, что приходит на ум, при вопросе на эту тему, это образ инсектоида, преследующего женщину-человека, то тогда антропоморфизм является первопричиной этого восприятия, и никакое количество рационализации не изменит этого.

Любой, кто бы хотел уменьшить систематическую ошибку антропоморфизма в себе, должен был бы изучить эволюционную биологию для практики, желательно, эволюционную биологию с математическими выкладками. Ранние биологи часто очеловечивали естественный отбор – они полагали, что эволюция будет делать тоже, что и они сами; они пытались предсказать эффекты эволюции, ставя себя на её место. В результате получался по большей части нонсенс, который начали изгонять из биологии только в поздние 1960-е годы, например, это делал Williams (Williams, 1966). Эволюционная биология предлагает обучение на основе как математики, так и конкретных примеров, помогающее избавится от ошибки антропоморфизма.

1.1. Широта пространства возможных устройств ума.

Эволюция жёстко сохраняет некоторые структуры. В той мере, как развитие других генов опирается на ранее существовавший ген, этот ранний ген полностью цементируется: он не может мутировать, не нарушая множество форм адаптации. Гомеотические (Homeotic) гены – гены, контролирующие развитее структуры тела эмбриона – говорят множеству других генов, когда активироваться. Мутация гомеотического гена может привести к тому, что эмбрион плодовой мушки разовьётся нормально за исключением того, что у него не будет головы. В результате гомеотические гены столь точно сохраняются, что многие из них одни и те же у человека и плодовой мушки – они не изменились со времён последнего общего предка человека и насекомых. Молекулярные механизмы синтеза АТФ по существу одни и те же в митохондриях животных, хлоропластах растений и у бактерий; синтез АТФ не претерпел значительных изменений с развития эукариотов 2 миллиарда лет назад.

Любые два устройства искусственного интеллекта могут быть менее похожи друг на друга, чем вы и садовый цветок петуния.

Термин ИИ относится к гораздо большему пространству возможностей, чем термин "Homo sapiens". Когда мы говорим о разных ИИ, мы говорим об умах вообще, или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу маленький кружочек означает всех людей. И вся эта карта находится внутри ещё большего пространства, пространства процессов оптимизации. Естественный отбор создаёт сложные функционирующие механизмы не привлекая процесса думания; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей исключает антропоморфизм как законный способ мышления.

2. Предсказание и устройство.

Мы не можем спрашивать наш собственный мозг о нечеловеческих процессах оптимизации – ни о насекомоглазых монстрах, ни о естественном отборе, ни об искусственном интеллекте. И как же мы будем продолжать? Как мы можем предсказать, что ИИ будет делать? Я нарочно задаю этот вопрос в форме, которая делает его труднообрабатываемым. При такой постановке проблемы невозможно предсказать, будет ли произвольная вычислительная система выполнять хоть какие-нибудь функции ввода-вывода, включая, например, простое умножение (Rice, 1953). Так как же возможно, что компьютерные инженеры могут создавать микросхемы, которые надёжно выполняют вычисления? Потому что люди-инженеры нарочно используют те проекты, которые они могут понять.

Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте «интеллектуальности» (intelligence) чего-то – антропоморфизм продолжает генерировать предсказания, не взирая ни на что, в то время как ваш мозг автоматически ставит себя на место этой самой «интеллектуальности». Это может быть одним из факторов вызывающей замешательство истории ИИ, которая происходит не из трудности ИИ как такового, но из загадочной лёгкости обретения ошибочной веры в то, что некий данный дизайн ИИ сработает.

Для того, чтобы сделать утверждение о том, что мост выдержит вес автомобилей в 30 тонн, гражданские инженеры имеют два оружия: выбор изначальных условий и запас прочности для безопасности. Им нет необходимости предсказывать, может ли выдержать вес в 30 тонн произвольная конструкция, но только проект данного конкретного моста, относительно которого они делают это заявление. И хотя это показывает с лучшей стороны инженера, который может вычислить точный вес, который мост может выдержать, также приемлемо вычислить, что мост выдержит автомобили не менее, чем в 30 тонн – хотя для того, чтобы доказать это расплывчатое утверждение строго, может потребоваться большая часть того теоретического понимания, которое входит в точное вычисление.

Гражданские инженеры придерживаются высоких стандартов в предсказании того, что мосты выдержат нагрузку. Алхимики прошлого придерживались гораздо более низких стандартов в предсказании того, что последовательность химических реагентов трансформирует свинец в золото. Какое количество свинца в какое количество золота? Каков причинный механизм этого процесса? Вполне понятно, почему исследователь-алхимик хотел золото больше, чем свинец, но почему данная последовательность реагентов превращает свинец в золото, а не золото в свинец или свинец в воду?

Ранние исследователи ИИ полагали, что искусственная нейронная сеть из слоёв пороговых устройств, обученная посредством обратного распространения, будет «интеллектуальной» (intelligent). Использованное при этом мышление, обусловленное результатом (wishful thinking), ближе к алхимии, чем к гражданском строительству. Магия входит в список человеческих универсалий Дональда Брауна (Brown, 1991); наука – нет. Мы инстинктивно не понимаем, что алхимия не работает. Мы инстинктивно не различаем строгие рассуждения и хорошее рассказывание историй. Мы инстинктивно не замечаем ожидание положительных результатов, висящее в воздухе. Человеческий вид возник посредством естественного отбора, функционирующего посредством неслучайного сохранения случайных мутаций.

Один из путей к глобальной катастрофе – когда кто-то нажимает кнопку, имея ошибочное представление о том, что эта кнопка делает – если ИИ возникнет посредством подобного сращения работающих алгоритмов в руках исследователей, не имеющего глубокого понимания того, как вся система работает. Нет сомнения, они будут верить, что ИИ будет дружественным, без ясного представления о точном процессе, вовлечённом в создание дружественного поведения, или какого-либо детального понимания того, что они имеют в виду под дружественностью. Несмотря на то, что ранние исследователи ИИ имели сильно ошибочные, расплывчатые ожидания об интеллектуальности своих программ, мы можем представить, что этим исследователям ИИ удалось сконструировать интеллектуальную программу, но помимо того они имели сильно ошибочные, расплывчатые ожидания относительно дружественности своих программ.

Незнание того, как сделать дружественный ИИ, не смертельно само по себе, в том случае, если вы знаете, что вы не знаете. Именно ошибочная вера в то, что ИИ будет дружественным, означает очевидный путь к глобальной катастрофе.

3. Недооценка силы интеллекта.

Мы склонны видеть индивидуальные различия вместо общечеловеческих качеств. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем о людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известные как G-фактор Шпеермана (Spearman's G-factor), этот фактор представляет собой довольно спорную интерпретацию твёрдых экспериментальных фактов о том, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими, как суммарный доход за жизнь (Jensen, 1999). G-фактор Шпеермана является статистической абстракцией индивидуальных различий в интеллекте между людьми, которые, как вид, гораздо более интеллектуальны, чем ящерицы. G-фактор Шпеермана выводится из миллиметровых различий в высоте среди представителей вида гигантов.

Мы не должны путать G-фактор Шпеермана с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность – это межвидовое различие, комплексная адаптация и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, ещё нет академического согласия о природе интеллектуальности, но нет сомнения в существовании, или силе, этой вещи, которая должна быть объяснена. Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.

Но слово «интеллектуальность» обычно вызывает образы голодающего профессора с IQ в 160 единиц и миллиардера-главу компании с IQ едва ли в 120. В действительности, существуют различия в индивидуальных способностях, помимо качеств из «книжек про карьеру», которые влияют на относительный успех в человеческом мире: энтузиазм, социальные навыки, музыкальные таланты, рациональность. Отметьте, что каждый из названных мною факторов является когнитивным. Социальные навыки присущи мозгу, а не печени. И – шутки в сторону – вы не обнаружите множества глав компаний, ни даже профессоров академии, которые были бы шимпанзе. Вы не обнаружите ни прославленных мыслителей, ни художников, ни поэтов, ни лидеров, ни опытных социальных работников, ни мастеров боевых искусств, ни композиторов, которые были бы мышами. Интеллектуальность – это основание человеческой силы, мощь, которая наполняет другие наши искусства.

Опасность перепутать общую интеллектуальность с g-фактором состоит в том, что это ведёт к колоссальной недооценке потенциального воздействия ИИ. (Это относится к недооценке потенциально хороших воздействий, равно как и плохих воздействий.) Даже фраза «трансгуманистический ИИ» или «искусственный суперинтеллект» по-прежнему может создавать впечатление о «ящике с книгами как сделать карьеру»: ИИ, который реально хорош в когнитивных задачах, обычно ассоциируется с «интеллектуальностью», подобной шахматам или абстрактной математике. Но не со сверхчеловеческой убедительностью, или со способностью гораздо лучше, чем люди, предсказывать и управлять человеческими институтами, или нечеловечески умом в формулировании длительных стратегий. Так что, может, нам следует подумать не об Эйнштейне, а о политическом и дипломатическом гении 19 века Отто фон Бисмарке? Но это только малая часть ошибки. Весь спектр от деревенского идиота до Эйнштейна, или от деревенского идиота до Бисмарка, уменьшается в маленькую точку на отрезке между амёбой и человеком.

Если слово «интеллектуальность» ассоциируется с Эйнштейном, а не с людьми вообще, то может показаться осмысленным заявление, что интеллектуальность не имеет отношения к ружьям, как если бы ружья росли на деревьях. Может показаться осмысленным заявление о том, что интеллектуальность не имеет ничего общего с деньгами, как если бы мыши использовали деньги. Человеческие существа начинали, не обладая большими активами зубов, когтей, вооружений, или каких-либо других преимуществ, которые были ежедневной валютой для других видов. Если вы взгляните на людей с точки зрения остальной экосферы, не было никакого намёка на то, что мягкие розовые твари в конце концов закроют себя в бронированные танки. Мы создали поле битвы, на котором мы победили львов и волков. Мы не сражались с ними посредством когтей и зубов; у нас было собственное представление о том, что действительно важно. Такова сила творчества.

Винж (Vinge, 1993) уместно замечает, что будущее, в котором существуют умы, превосходящие человеческие, отличается качественно. ИИ – это не удивительный блестящий дорогой гаджет, рекламируемый в свежайших выпусках технических журналов. ИИ не принадлежит к тому же графику, который показывает прогресс в медицине, производстве и энергетике. ИИ – это не то, что вы можете небрежно добавить в люмпен-футуристический сценарий будущего с небоскрёбами и летающими машинами и нанотехнологическими красными кровяными клетками, которые позволяют вам задержать дыхание на 8 часов. Достаточно высокие небоскрёбы не могут начать проектировать сами себя. Люди достигли господства на Земле не из-за того, что задерживали дыхание дольше, чем другие виды.

Катастрофический сценарий, произрастающий из недооценки силы интеллекта, заключается в том, что некто создаст кнопку, не достаточно заботясь о том, что эта кнопка делает, потому что он не думает, что эта кнопка достаточно сильна, чтобы повредить ему. Или, поскольку недооценка силы интеллекта ведёт к пропорциональной недооценке силы Искусственного Интеллекта, то (в настоящая время микроскопическая) группа озабоченных исследователей и поставщиков грантов и отдельных филантропов, занимающихся рисками существованию, не будет уделять достаточно внимания ИИ.

Или в общих исследованиях по ИИ не будут уделять достаточного внимания рискам сильного ИИ, и в силу этого хорошие инструменты и твёрдые установления для Дружественности окажутся недоступными, когда возникнет возможность создавать мощные интеллекты.

И также следует заметить – поскольку это тоже влияет на глобальные риски – что ИИ может быть мощным решением для других глобальных рисков, и по ошибке мы можем игнорировать нашу лучшую надежду на выживание. Утверждение о недооценке потенциального воздействия ИИ симметрично относительно потенциально хороших и потенциально плохих воздействий. Именно поэтому название этой статьи – «Искусственный интеллект как позитивный и негативный фактор глобального риска», а не «Глобальные риски Искусственного интеллекта». Перспектива ИИ влияет на глобальные риски более сложным образом; если бы ИИ был чистой помехой, ситуация была бы проще.

4. Способности и мотивы.

Есть один вид ошибочности, часто встречающийся в дискуссиях об ИИ, особенно об ИИ со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, который вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки – ватрушки, размером с города – боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Видение образа ведёт прямо от возможности к реализации, без осознавания необходимого промежуточного элемента – мотива. Следующие цепочки рассуждений, рассматриваемые в изоляции без подтверждающего доказательства, все являются примером Ошибочных рассуждений в духе Гигантской Ватрушки:

- Достаточно сильный ИИ может преодолеть любое человеческое сопротивление и истребить человечество. (И ИИ решит сделать это.) Поэтому мы не должны строить ИИ.

- Достаточно сильный ИИ может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИИ.

- Когда компьютеры станут достаточно дёшевы, огромное большинство работ будет выполняться ИИ более легко, чем людьми. Достаточно сильный ИИ даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными (И ИИ решит выполнять эти работы.) Таким образом, после изобретения ИИ, людям будет больше нечего делать, и мы будем голодать или смотреть телевизор.

4.1. Процессы оптимизации.

Вышеприведенный разбор ошибочных рассуждений в духе Гигантской Ватрушки имеет органически присущий ему антропоморфизм – а именно, идею о том, что мотивы разделимы; то есть подразумеваемое предположение о том, что, говоря о «способностях» и «мотивах», мы разрываем связность реальности. Это удобный срез, но антропоморфический.

Для того, чтобы рассмотреть проблему с более общей точки зрения, я ввёл концепцию процесса оптимизации, то есть процесса, который попадает в маленькие мишени в большом пространстве поиска, чтобы порождать согласованные эффекты в реальном мире.

Процесс оптимизации направляет будущее в определённые регионы возможного. Например, когда я посещаю удалённый город, мой друг из местных вызывается отвезти меня в аэропорт. Я не знаю окрестностей. Когда мой друг выезжает на перекрёсток, я не могу предсказать его повороты, ни в последовательности, ни по отдельности. Но я могу предсказать результат непредсказуемых действий моего друга: мы прибудем в аэропорт. Даже если дом моего друга находится в другом месте города, так что моему другу придётся совершить совершенно другую последовательность поворотов, я могу с той же степенью уверенности предсказать, куда мы, в конце концов, прибудем. Не странная ли эта ситуация, научно говоря? Я могу предсказать результат процесса, будучи неспособным предсказать ни один из его промежуточных этапов. Я буду называть область, в которую процесс оптимизации направляет будущее, целью оптимизации.

Рассмотрим автомобиль, например, Тойоту Кароллу. Из всех возможных комбинаций атомов, которые её составляют, только бесконечно малая часть будет работающим автомобилем. Если вы будете собирать атомы в случайном порядке, много-много возрастов Вселенной пройдёт, пока вам удастся собрать автомобиль. Малая доля пространства проектов описывает автомобили, которые мы могли бы признать как более быстрые, более эффективные и более безопасные, чем Королла. Таким образом, Королла не является оптимальной с точки зрения целей своего конструктора. Но Королла является, однако, оптимизированной, поскольку конструктор должен был попасть в сравнительно бесконечно малую область в пространстве возможных конструкций, только чтобы создать работающий автомобиль, не говоря уже о машине качества Короллы. Вы не можете построить даже эффективную тележку, распиливая доски случайно и сколачивая их по результатам броска монеты. Чтобы достичь такой малой цели в пространстве конфигураций, необходим мощный оптимизационный процесс.

Понятие о «процессе оптимизации» является предсказательно полезным, поскольку легче понять цель процесса оптимизации, чем его пошаговую динамику. Обсуждение Короллы выше неявно предполагает, что конструктор Короллы пытался создать «автомобиль», средство транспорта. Это предположение следует сделать явным, но оно не ошибочно и оно очень полезно для понимания Короллы.

4.2. Наведение на цель.

Есть соблазн спросить, что ИИ будет хотеть, забывая о том, что пространство умов-вообще гораздо больше, чем малая точка, соответствующая человеческим умам. Следует сопротивляться соблазну распространить количественные ограничения на все возможные умы. Рассказчики историй накручивают сказки об отдалённой и экзотичной земле, называемой Будущее, говоря, каким будущее должно быть. Они делают предсказания. Они говорят: «ИИ нападёт на людей с помощью армий марширующих роботов» или «ИИ изобретёт лекарство от рака». Они не предлагают сложных отношений между изначальными условиями и результатами – так они могли бы потерять аудиторию. Но мы нуждаемся в понимании соотношений, чтобы управлять будущим, направляя его в область, приятную человечеству. Если не рулить, мы рискуем попасть туда, куда нас занесёт.

Главный вызов состоит не в том, чтобы предсказать, что ИИ атакует людей с помощью армий роботов, или, наоборот, введёт лекарство от рака. Задача состоит даже не в том, чтобы сделать это предсказание для произвольного устройства ИИ. Скорее, задача состоит в том, чтобы выбрать и создать такой процесс оптимизации, чьи позитивные эффекты могут быть твёрдо доказаны.

Я усиленно призываю своих читателей не начинать придумывать причины, почему универсальный процесс оптимизации должен быть дружественным. Естественный отбор не является дружественным, не ненавидит вас, не оставляет вас в одного. Эволюция не может быть таким образом антропоморфизирована, она работает не так, как вы.

Многие биологи до 1960-х годов ожидали, что естественный отбор создаст полный набор всех хороших вещей, и выдумывали всевозможные усложнённый причины, почему он должен сделать это. Они были разочарованы, поскольку естественный отбор сам по себе не начинает со знания, что от него хотят приятного человеку результата, и затем не придумывает сложные пути, чтобы создать приятные результаты, используя давление отбора. Таким образом, события в природе были результатами совершенно других по своим причинам процессов, чем те, что приходили в голову биологам до 1960-х годов, и поэтому предсказания и реальность расходились.

Мышление, привязанное к цели, добавляет детали, ограничивает предсказания и, таким образом, отягощает их невозможностью. Как насчёт инженера гражданских сооружений, который надеется, что мост не упадёт? Следует ли инженеру доказывать это тем, что мосты обычно не падают? Но природа сама по себе не предлагает разумных причин, почему мосты не должны падать. Скорее, это инженер преодоляет тяжесть недостоверности посредством специфического выбора, направляемого специфическим пониманием. Инженер начинает с намерения создать мост. Затем он использует строгую теорию, чтобы выбрать конструкцию моста, которая бы выдерживала автомобили. Затем строит реальный мост, чья структура отражает рассчитанный проект. И в результате реальная структура выдерживает автомобили. Таким образом достигается гармония предсказанных позитивных результатов и реальных позитивных результатов.

5. Дружественный ИИ.

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИИ.

Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИИ». Этот термин я отношу не только к самой методике, но также и к её продукту – то есть к ИИ, созданному со специфической мотивацией. Когда я использую термин «Дружественный» в любом из этих двух смыслов, я пишу его с большой буквы, чтобы избегать путаницы с обычным смыслом слова «дружественный».

Типичная реакция на это людей, которую я часто встречал, заключалась в немедленном заявлении, что Дружественный ИИ невозможен, потому что любой достаточно сильный ИИ сможет модифицировать свой собственный исходный код так, чтобы разорвать любые наложенные на него ограничения.

Первую логическую несообразность, которую вы тут можете отметить – это ошибочное рассуждение в духе Гигантской Ватрушки. Любой ИИ, имеющий свободный доступ к своему исходному коду, в принципе, будет обладать способностью изменить свой код таким образом, что изменится его цель оптимизации. Но это не означает, что ИИ имеет побуждение изменить свои собственные побуждения. Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья-люди не умирали.

Но что если я попытаюсь изменить себя и сделаю ошибку? Когда компьютерные инженеры доказывают пригодность чипа – что есть хорошая идея, если в чипе 155 миллионов транзисторов, и вы не можете выпустить потом заплатку – инженеры используют руководимую человеком и исполняемую машинами формальную проверку. Замечательным свойством формального математического доказательства является то, что доказательство из 10 миллиардов шагов в той же мере надёжно, что и доказательство из 10 шагов. Но человеческие существа недостойны доверия в том, чтобы следить за проверкой из 10 миллиардов шагов; у нас слишком высокие шансы пропустить ошибку. Современные техники доказывания теорем не достаточно умны сами по себе, чтобы спроектировать и проверить целый компьютерный чип – современные алгоритмы испытывают экспоненциальный рост по мере увеличения пространства поиска. Люди-математики могут доказывать теоремы гораздо более сложные, чем те, что могут осилить современные программы-доказыватели, без того, чтобы быть поверженными экспоненциальным взрывам. Но люди-математики неформальны и ненадёжны; время от времени кто-то находит ошибку в принятом ранее неформальном доказательстве. Выход состоит в том, что люди-инженеры направляют программы-доказыватели на промежуточные шаги доказательства. Человек выбирает следующую лемму, и сложный доказыватель теорем генерирует формальное доказательство, и простой проверяльщик сверяет шаги. Таким образом современные инженеры создают надёжные механизмы со 155 миллионами независимых частей.

Проверка корректности работы компьютерного чипа требует синергии человеческого интеллекта и компьютерных алгоритмов, поскольку сейчас ни того, ни другого недостаточно. Возможно, подлинный ИИ будет использовать подобную комбинацию способностей, когда будет модифицировать свой собственный код – будет обладать как способностью выполнять объёмные проекты без того, чтобы потерпеть поражение от экспоненциального роста, так и способностью проверить свои шаги с высокой надёжностью. Это один из путей, которым подлинный ИИ может оставаться познаваемо стабильным в своих целях даже после выполнения большого количества самоисправлений.

Эта статья не будет разъяснять приведённую выше идею в деталях. (Также см. (Schmidhuber, 2003) на связанную с данной тему.) Но следует подумать об этом вызове, и изучить его с привлечением наилучших доступных технических данных, до того, как объявлять его невозможным – особенно, если большие ставки зависят от ответа. Неуважительно по отношению к человеческой изобретательности объявлять проблему неразрешимой без внимательного и творческого рассмотрения. Это очень сильное заявление: сказать, что вы не можете сделать нечто – что вы не можете построить летающую машину тяжелее воздуха, что вы не можете извлечь полезную энергию из ядерных реакций, что вы не можете летать на Луну. Такие заявления являются универсальными обобщениями, относящимися к любому возможному подходу к решению этой проблемы, который кто-либо придумал или придумает. Требуется всего один противоположный пример, чтобы опровергнуть универсальное обобщение. Утверждение о том, что Дружественный (или дружественный) ИИ теоретически невозможен, осмеливается относиться к любым возможным устройствам ума и любым возможным процессам оптимизации – включая человеческие существа, которые тоже имеют ум, и многие из которых добрые и хотят быть ещё лучше. На настоящий момент имеется неограниченное количество расплывчато убедительных аргументов, почему Дружественный ИИ может быть не под силу человеку, и всё же гораздо вероятнее, что проблема разрешима, но никто не соберётся решить её вовремя. Но не следует слишком быстро списывать проблему, особенно учитывая масштаб ставок.

6. Техническая неудача и философская неудача.

Бостром (Bostrom, 2001) определяет глобальную окончательную катастрофу как такую катастрофу, которая полностью истребляет возникшую на Земле разумную жизнь или необратимо повреждает часть её потенциала. Мы можем разделить потенциальные ошибки в попытках создания Дружественного ИИ на две неформальные категории, техническую ошибку и философскую ошибку. Техническая состоит в том, что вы пытаетесь создать ИИ, и он не работает так, как должен – вы не смогли понять, как работает на самом деле ваш собственный код. Философская неудача заключается в попытке построить неправильную вещь, так что даже если вы достигните успеха, вы всё равно не сможете никому помочь или облагодетельствовать человечество. Нет необходимости говорить о том, что одна ошибка не исключает другую.

Граница между двумя случаями тонка, поскольку большинство философских ошибок гораздо легче объяснить при наличии технического знания. В теории вы должны сначала заявить, что именно вы хотите, а затем обрисовать, как вы это достигните. На практике часто требуется глубокое техническое понимание, чтобы очертить то, что вы хотите.

6.1. Пример философской ошибки.

В конце 19 века многие честные и интеллигентные люди выступали за коммунизм, исходя только из лучших побуждений. Люди, которые первыми ввели, распространили и усвоили коммунистический мем, были, по строгому историческому счёту, идеалистами. У первых коммунистов не было предупреждающего примера Советской России. В то время, без преимущества знания задним числом, это должно было звучать как весьма хорошая идея. После революции, когда коммунисты пришли к власти и были отравлены ею, в игру могли вступить другие мотивы; но это не было предсказано первыми идеалистами, несмотря на то, что это могло быть предсказано. Важно понимать, что автор огромной катастрофы не должен быть злым или особенно тупым. Если мы отнесём любую трагедию насчёт зла или особенной глупости, мы посмотрим на себя, правильно обнаружим, что мы не злы и не особенно тупы и скажем: «Но ведь это никогда не случится с нами».

Первые коммунисты думали, что эмпирическим последствием их революции будет то, что жизнь людей должна улучшиться: рабочие больше не будут работать долгие часы на изнурительной работе и получать за это мало денег. Это оказалось не совсем так, мягко говоря. Но то, что, по мнению первых коммунистов, должно было получится, не сильно отличалось от того, что, по мнению сторонников других политических систем, должно было быть эмпирическим последствием их любимой политической системы. Они думали, что люди будут счастливы. Они заблуждались.

Теперь представим, что кто-то запрограммирует «Дружественный» ИИ на построение коммунизма, или либертарианства, или анархо-феодализма, или любой другой любимой-политической-системы, веря, что это осуществит утопию. Любимые политические системы порождают у людей ослепительный свет позитивных эмоций, так что предложение будет казаться действительно хорошей идеей для предлагающего.

Мы можем наблюдать здесь программистскую ошибку на моральном или этическом уровне – скажем, в результате того, что кто-то доверяет себе столь высоко, что неспособен принять в расчет собственную подверженность ошибкам, отказываясь рассмотреть возможность того, что, например, коммунизм может быть ошибочным в конечном счёте. Но на языке байсовской теории решений, существует дополнительный технический взгляд на проблему. С точки зрения теории решений выбор в пользу коммунизма происходит из комбинации эмпирической веры и ценностного суждения. Эмпирическая вера состоит в том, что введение коммунизма приведёт к определённому результату или классу результатов: люди станут счастливее, работать меньше часов и обладать большим материальным богатством. Это, в конечном счёт, эмпирическое предсказание: даже его часть о счастье относится к реальным состояниям мозга, хотя её трудно измерить. Если вы введёте коммунизм, этот результат будет или достигнут, или нет. Ценностное суждение состоит в том, что этот результат удовлетворяет или предпочтителен в текущих обстоятельствах. При другой эмпирической вере о действительных последствиях коммунистической системы в реальном мире, решение может претерпеть соответствующие изменения.

Мы можем ожидать, что подлинный ИИ, Искусственный Универсальный Интеллект, будет способен изменять свои эмпирические верования. (Или свою вероятностную модель мира и т. д.) Если бы каким-то образом Чарльз Бэббидж (Charles Babbage) жил до Николая Копериника, и если бы каким-то образом компьютеры были бы изобретены до телескопов, и каким-то образом программисты той эпохи сконструировали бы Искусственный Универсальный Интеллект, из этого не следует, что ИИ верил бы всегда, что Солнце вращается вокруг Земли. ИИ может преодолеть фактическую ошибку своих программистов, в случае, если программисты понимают теорию умозаключений лучше, чем астрономию. Чтобы создать ИИ, который откроет орбиты планет, программистам не нужно знать математику Ньютоновской механики, а только математику Байсовой теории вероятности.

Недомыслие программирования ИИ для введения коммунизма, или любой другой политической системы, состоит в том, что вы программируете средства, а не цель. Вы программируете определённые решения без возможности их переработать после обретения улучшенного эмпирического знания о результатах коммунизма. Вы даёте ИИ готовое решение без того, чтобы обучить его, как правильно создать заново, - на более высоком уровне понимания, - новый путь к желаемой цели.

Если я играю в шахматы против более сильного игрока, я не могу предсказать точно, где мой оппонент сделает ход против меня – если бы я мог предсказать, я бы, по определению, был бы так же силён в шахматах сам. Но я могу предсказать конечный результат, а именно выигрыш этого игрока. Я знаю область возможных будущ, куда мой оппонент направляется, что позволяет мне предсказать конец пути, даже если я не могу видеть дороги. Когда я нахожусь в наиболее творческом состоянии, это тогда, когда труднее всего предсказать мои действия и легче всего предсказать последствия моих действий. (Предполагая, что вы знаете и понимаете мои цели.) Если я хочу создать игрока в шахматы, превосходящего человека, я должен запрограммировать его на поиск выигрышных ходов. Мне не следует программировать конкретные шаги, потому что в этом случае шахматный игрок не будет чем-либо лучше меня. Когда я начинаю поиск, я, по необходимости, жертвую своей способностью предсказать точный ответ заранее. Чтобы получить по-настоящему хороший ответ, вы должны пожертвовать своей способностью предсказать ответ, но не своей способностью сказать, каков вопрос.

Такая путаница, как непосредственное программирование коммунизма, вероятно, не соблазнит программиста универсального ИИ, который говорит на языке теории решений. Я бы назвал это философской ошибкой, но обвинил бы в этом недостаток технического знания.

6.2. Пример технической неудачи.

«Вместо законов, ограничивающих поведение интеллектуальных машин, мы должны дать им эмоции, которые будут руководить их обучением поведению. Они должны хотеть, чтобы мы были счастливы и процветали, - что есть эмоция, которую мы называем любовью. Мы можем спроектировать интеллектуальные машины так, что их основная, врождённая эмоция будет безусловная любовь ко всем людям. В начале мы можем сделать относительно простые машины, которые научатся распознавать выражения счастья и несчастья на человеческом лице, человеческие голоса и человеческий язык жестов. Затем мы можем жёстко привязать результат этого обучения в качестве изначально присущих эмоциональных ценностей более сложным интеллектуальным машинам, позитивно подкрепляемым, когда мы счастливы, и негативно – когда несчастливы. Машины могут обучиться алгоритмам приблизительного предсказания будущего, как, например, инвесторы используют сейчас обучающиеся машины, чтобы предсказать будущие цены облигаций. Таким способом мы можем запрограммировать интеллектуальные машины на обучение алгоритмам предсказания будущего человеческого счастья, и использовать эти предсказания, как эмоциональные ценности».

Билл Хиббард (Bill Hibbard, 2001), Сверх-интеллектуальные машины.

Однажды американская армия захотела использовать нейронную сеть для автоматического обнаружения закамуфлированных танков. Исследователи натренировали нейронную сеть на 50 фотографиях закамуфлированных танков среди деревьев, и на 50 фото деревьев без танков. Использую стандартные методики контролируемого обучения, исследователи обучили нейронную сеть взвешиванию, которое правильно опознавало тренировочный набор – ответ «да» - для 50 фотография закамуфлированных танков, и ответ «нет» для 50 фотографий леса. Это не гарантировало, ни даже означало, что новые образцы будут классифицированы правильно. Нейронная сеть могла обучиться ста отдельным случаям, которые могли не обобщаться ни на одну новую задачу. Предусмотрительные исследователи сделали в начале 200 фото, 100 фото танков и 100 деревьев. Они использовали только 50 из каждой группы для тренировочного набора. Исследователи запустили в нейронную сеть оставшиеся 100 фото, и без дальнейшей тренировки нейронная сеть распознала все оставшиеся фотографии правильно. Успех подтвердился! Исследователи направили законченную работу в Пентагон, откуда её вскоре вернули, жалуясь, что в их собственной серии тестов нейронная сеть давала результат не лучше случайного в отборе фотографий.

Оказалось, что в наборе данных исследователей фотографии закамуфлированных танков были сделаны в облачные дни, тогда как фотографии чистого леса были сделаны в солнечные дни. Нейронная сеть обучилась различать облачные и солнечные дни вместо того, чтобы научиться различать закамуфлированные танки от пустого леса .

Технический провал имеет место, когда код не делает то, что вы думаете, он делает, хотя он честно выполняет то, на что вы его запрограммировали. Одни и те же данные могут соответствовать разным моделям. Допустим, что мы обучаем нейронную сеть различать улыбающиеся человеческие лица и отличать их от хмурящихся лиц. Будет ли эта сеть распознавать маленькую картинку смеющегося лица как такой же аттрактор, как и смеющееся человеческое лицо? Если ИИ, жёстко фиксированный на таком коде, обретёт власть – а Хиббард (Hibbard, 2001) говорит о сверхинтеллекте – не закончит ли галактика тем, что будет покрыта малюсенькими молекулярными картинками улыбающихся лиц ?

Эта форма провала особенно опасна, потому что система выглядит работающей в одном контексте, и проваливается при смене контекста. Создатели «определителя танков» обучали свою нейронную сеть до тех пор, пока она не начала правильно распознавать данные, затем проверили сеть на дополнительных данных (без дальнейшего обучения). К несчастью, данные и для обучения, и для проверки содержали предположение, которое относилось ко всей информации, использованной в разработке, но не к ситуациям реального мира, где нейронная сеть была призвана работать. В истории с определителем танков это предположение состояло в том, что танки фотографируются в облачные дни.

Предположим, мы стремимся создать самоусиливающийся ИИ. Этот ИИ будет иметь фазу развития, когда люди-программисты будут сильнее его – не только в смысле физического контроля над электропитанием ИИ, но в смысле, что люди-программисты умнее, хитрее и более творческие, чем этот ИИ. Мы предполагаем, что в течение фазы развития программисты будут обладать способностью изменять исходный код ИИ без его согласия. После этого момента мы должны полагаться на установленную до того систему целей, потому что, если ИИ заработает достаточно непредсказуемым образом, то он сможет активно сопротивляться нашим попыткам корректировать его – и если ИИ умнее человека, то, скорее всего, он победит.

Попытки контролировать растущий ИИ посредством тренировки нейронной сети, чтобы создать его систему целей, сталкиваются с проблемой значительной смены контекста при переходе от стадии развития ИИ к стадии после его развития. На стадии развития ИИ может быть только способен создавать реакции, попадающие в категорию «улыбающихся человеческих лиц», решая предоставленные людьми задачи, как задумали его создатели. Вскоре, когда ИИ станет сверхчеловечески интеллектуален и создаст свою собственную нанотехнологическую инфраструктуру, он станет способен создавать столь же притягательные для него стимулы, покрывая всю галактику маленькими улыбающимися лицами.

Таким образом, этот ИИ кажется работающим правильно на стадии разработки, но создаёт катастрофические результаты, когда он становится умнее программистов(!)

Есть соблазн подумать: «Но наверняка ИИ будет знать, что это не то, что мы имеем в виду?» Но код не дан ИИ, чтобы он его просмотрел и вернул, если выяснится, что он работает неправильно. Код и есть ИИ. Возможно, приложив достаточно усилий и понимания, мы можем написать код, который следит, чтобы мы не написали неправильный код – легендарная DWIM-инструкция, которая среди программистов означает делай-то-что-я-имею-в-виду. (Do-What-I-Mean. (Raymond, 2003).) Но требуются усилия, чтобы описать механику работы DWIM, и нигде в предложении Хиббарда нет упоминаний о создании ИИ, который делает то, что мы имеем в виду, а не то, что мы говорим. Современные чипы не выполняют DWIM над своим кодом; это не автоматическое свойство. И если у вас проблемы с самим DWIM, вы пострадаете от последствий. Предположим, например, что DWIM был определён так, чтобы максимизировать удовлетворение программиста от своего кода; когда этот код запустится как сверхинтеллект, он может переписать мозги программиста, чтобы он был максимально удовлетворён этим кодом. Я не говорю, что это неизбежно; я только говорю, что Делай-то-что-я-имею-в-виду – это большая и не тривиальная техническая проблема на пути к Дружественному ИИ.

7. Темпы усиления интеллекта.

С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро. Очевидная причина подозревать такую возможность – это рекурсивное само-улучшение (Good, 1965). ИИ становится умнее, в том числе умнее в отношении написания внутренней когнитивной функции ИИ, так что ИИ может переписать свою существующую когнитивную функцию, чтобы она работала лучше. Это сделает ИИ ещё умнее, в том числе умнее в отношении задачи переделывания себя, так что он сделает ещё больше улучшений.

Люди по большому счёту не могут улучшать себя рекурсивно. В ограниченном объёме мы себя улучшаем: мы учимся, мы тренируемся, мы затачиваем свои навыки и знания. В некоторой степени эти самоулучшения улучшают нашу способность улучшаться. Новые открытия могут увеличить нашу способность делать дальнейшие открытия – в этом смысле знание питает само себя. Но есть более низкий уровень, которого мы даже не коснулись. Мы не переписываем человеческий мозг. Мозг является, в конечном счёте, источником открытий, и наши мозги сейчас почти такие же, как они были 10 тысяч лет назад.

Похожим образом, естественный отбор улучшает организмы, но процесс естественного отбора не улучшает сам себя – по большому счёту. Одна адаптация может открыть дорогу к дополнительным адаптациям. В этом смысле адаптация питает сама себя. Но даже когда генетический океан кипит, там всё равно присутствует нижестоящий нагреватель, а именно процессы рекомбинации, мутации и селекции, которые сами себя не перепроектируют. Несколько редких нововведений увеличили скорость эволюции самой по себе, например, появление половой рекомбинации. Но даже пол не изменил сущностной природы эволюции: отсутствие в ней абстрактного интеллекта, её зависимость от случайных мутаций, её слепоту и постепенность, её сосредоточенность на частоте аллелей. Точно также появление науки не изменило сущностного характера человеческого мозга: его лимбическое ядро, церебральный кортекс, его префронтальные собственные модели, его характеристическую скорость в 200 ГЦ.

ИИ может переписать свой код с самого начала – он может изменить лежащую в основе динамику процесса оптимизации. Такой процесс оптимизации будет закручиваться гораздо сильнее, чем эволюционные накапливающие адаптации, равно как и человеческие накапливающиеся знания. Главным последствием с точки зрения наших целей является то, что ИИ может совершить огромный прыжок в интеллектуальности после достижения некого порога критичности.

Часто встречающееся скептическое мнение об этом сценарии, – который Good (1965) назвал «интеллектуальным взрывом» - происходит из того, что прогресс в области ИИ имеет репутацию очень медленного.

Здесь полезно рассмотреть свободную историческую аналогию об одном неожиданном открытии. (Дальнейшее взято главным образом из (Rhodes, 1986).)

В 1933 году лорд Эрнст Резерфорд заявил, что никто не должен ожидать, что когда-нибудь удастся извлечь энергию из распада атома: «Любой, кто искал источник энергии в трансформации атомов, говорил вздор». В те времена требовались дни и недели работы, чтобы расщепить небольшое количество ядер.

Вскоре, в 1942 году, на теннисном корте под Стаг Филдом около университета Чикаго физики строят агрегат в форме гигантской шарообразной дверной ручки из чередующихся слоёв графита и урана, намереваясь запустить первую самоподдерживающуюся ядерную реакцию. За проект отвечает Энрико Ферми.

Ключевым числом для реактора является K, эффективный фактор умножения нейтронов, то есть среднее значение числа нейтронов из реакции деления, которое вызывает другую реакцию деления. Пока К меньше единицы, реактор является субкритическим. При К >=1 реактор должен поддерживать критическую реакцию. Ферми рассчитал, что реактор достигнет К=1 при числе слоёв между 56 и 57.

Рабочая группа, руководимая Гербертом Андерсоном, закончила 57 слой в ночь 1 декабря 1942 года. Контрольные стержни - бруски дерева, покрытые поглощающей нейтроны кадмиевой фольгой, - предохраняли реактор от достижения критичности. Андерсон убрал все стержни, кроме одного и замерил радиацию реактора, подтвердив, что реактор готов к цепной реакции на следующий день. Андерсон вставил все стержни, запер их на висячие замки, запер теннисный корт и пошёл домой.

На следующий день, 2 декабря 1942 года, ветреным и морозным Чикагским утром, Ферми начал окончательный эксперимент. Все, кроме одного, стержни были подняты. В 10:37 Ферми приказал поднять последний контролирующий стержень на половину высоты. Счётчики Гейгера застучали чаще, и самописец дёрнулся вверх. «Это не то, - сказал Ферми, - график дойдёт до вот этой точки и выровняется», - указывая на точку на графике. Через несколько минут самописец дошёл до указанной точки, и не пошёл выше. Через несколько минут Ферми приказал поднять стержень ещё на один фут. Опять радиация усилилась, но затем выровнялась. Стержень подняли ещё на 6 дюймов, затем ещё и ещё.

В 11:30 медленный подъём самописца прервался колоссальным ПАДЕНИЕМ - защитный контролирующий стержень, запущенный ионизационным датчиком, активировался и опустился в реактор, который был всё ещё некритичен. Ферми тихо приказал команде сделать перерыв на обед.

В два часа пополудни команда собралась снова, вынула и заперла защитный стержень, и вывела контролирующий стержень на его последнюю позицию. Ферми сделал несколько измерений и вычислений, и затем опять начал процесс подъёма стержня небольшими шагами. В 15:25 Ферми приказал поднять стержень ещё на 12 дюймов. «Это должно дать результат», - сказал Ферми. «Сейчас она станет самоподдерживающейся. График будет расти и расти, не выравниваясь».

Герберт Андерсон рассказывает (Rhodes, 1986):

«В начале вы могли слышать звук нейтронного счётчика, щёлк-щёлк. Затем щёлчки стали появляться всё чаще и через некоторое время они слились в рёв; счётчик за ними больше не успевал. Теперь надо было переключаться на графический регистратор. Но когда это было сделано, все уставились во внезапной тишине на возрастающее отклонение пера самописца. Это была значительная тишина. Каждый понимал значительность этого переключения; мы были на режиме высшей интенсивности и счётчики больше не могли справляться с этой ситуацией. Снова и снова шкала самописца должна была сменяться, чтобы подстраиваться под интенсивность нейтронов, которая возрастал всё более и более быстро. Внезапно Ферми поднял свою руку. «Реактор достиг критичности», - объявил он. Никто из присутствующих не имел на этот счёт никаких сомнений».

Ферми дал проработать реактору 28 минут, при скорости удвоения интенсивности нейтронов в две минуты. Первая критическая реакция имела К в 1,0006. Но даже при К=1.0006 реактор был контролируем только потому, что некоторые из нейтронов из деления урана задерживаются – они получаются при распаде короткоживущих продуктов деления. На каждые 100 распадов U235 242 нейтрона испускаются почти мгновенно (0,0001 сек) и 1,58 нейтронов испускаются в среднем через десять секунд. Поскольку среднее время жизни нейтрона ~0.1 секунды, что означает 1200 поколений за 2 минуты, и время удвоения в 2 минуты, потому что умножение 1.0006 на 1200 примерно даёт 2. Ядерная реакция, являющаяся мгновенно критичной (prompt critical), достигает критичности без вклада отложенных нейтронов. Если бы реактор Ферми был бы мгновенно критичным с k=1.0006, интенсивность нейтронов удваивалась бы каждую десятую долю секунды.

Первая мораль этой истории состоит в том, что смешение скорости исследований ИИ со скоростью реального ИИ подобно смешению скорости физических исследований со скоростью ядерных реакций. Происходит смешение карты и территории. Потребовались годы, чтобы построить этот первый реактор, усилиями небольшой группы физиков, которые не публиковали множества пресс-релизов. Но когда реактор был построен, интересные события произошли на временной шкале ядерных взаимодействий, а не на временной шкале человеческого общения. В ядерной области элементарные взаимодействия происходят гораздо быстрее, чем срабатывают человеческие нейроны. Тоже может быть сказано о транзисторах.

Другая мораль в том, что есть колоссальная разница между ситуацией, когда одно самоулучшение запускает в среднем 0.9994 дальнейших самоулучшений, и когда одно самоулучшение запускает 1.0006 дальнейших самоулучшений. Ядерный реактор перешёл порог критичности не потому, что физики внезапно заложили в него много дополнительного вещества. Физики вводили вещество медленно и равномерно. Даже если имеется гладкая кривая интеллектуальности мозга как функции оптимизационного давления, оказанного до того на этот мозг, то кривая рекурсивного самоулучшения может содержать огромный скачок.

Есть и другие причины, по которым ИИ может совершить внезапный огромный скачок в интеллектуальности. Вид Homo sapiens совершил большой прыжок в эффективности интеллекта, как результат естественного отбора, оказывавшего более-менее равномерное давление на гоминидов в течение миллионов лет, постепенно расширяя мозг и префронтальную кору, настраивая программную архитектуру. Несколько десятков тысяч лет назад интеллект гоминидов пересёк некий ключевой порог и сделал огромный прыжок в эффективности в реальном мире; мы перешли от пещер к небоскрёбам за мгновение ока эволюции. Это произошло при неизменном давлении отбора – не было большого прыжка в оптимизирующей силе эволюции, когда появились люди. Наша соответствующая мозговая архитектура тоже развивалась плавно – объём нашего черепа не увеличился вдруг на два порядка величины. Так что может так случиться, что даже если ИИ будет развивать снаружи силами людей-инженеров, кривая его интеллектуальной эффективности может совершить резкий скачок.

Или, возможно, некто построит прототип ИИ, который покажет некие многообещающие результаты, и эта демо-версия привлечёт дополнительные 100 миллионов долларов венчурного капитала, и на эти деньги будет закуплено в тысячу раз больше суперкомпьютеров. Я сомневаюсь, что усиление оборудования в 1000 раз приведёт к чему-либо подобному усилению интеллектуального потенциала в 1000 раз – но само это сомнение не надёжно при отсутствии какой-либо возможности произвести какие-либо аналитические вычисления.

В сравнении с шимпанзе, человек имеет трёхкратное преимущество в мозге и шестикратное – в префронтальной коре, что означает (а) программы важнее оборудования и (б) малые увеличения оборудования могут поддержать значительно большие улучшения программного обеспечения. И есть ещё один момент, который надо рассмотреть.

В конечном счёте, ИИ может сделать кажущийся резким скачок в интеллектуальности только по причине антропоморфизма, то есть человеческой склонности думать о «деревенском идиоте» и Эйнштейне как о крайних границах интеллектуальной шкалы, а не как о почти неразличимых точках на шкале умов-вообще.

Любой объект, более немой, чем немой человек, может показаться нам просто немым. Можно представить «стрелку ИИ», медленно ползущую по шкале интеллекта, проходящую уровни мыши и шимпанзе, и при этом ИИ остаётся всё ещё немым, потому что ИИ не может свободно говорить или писать научные статьи, и затем стрелка ИИ пересекает тонкую грань между ультра-идиотом и Эйнштейном в течение месяца или такого же малого периода. Я не думаю, что этот сценарий убедителен, в основном, потому что я не ожидаю, что кривая рекурсивного самоулучшения будет ползти линейно. Но я не буду первым, кто укажет, что ИИ – это движущаяся цель. Как только веха достигнута, она перестаёт быть ИИ. Это может только вдохновлять промедление.

Давайте допустим, для продолжения дискуссии, что, исходя из всего, что мы знаем (и это кажется мне реально возможным), ИИ обладает способностью совершить внезапный, резкий, огромный скачок в интеллектуальности. Что из этого следует? Первое и главное: из этого следует, что реакция, которую я часто слышал: «Нам не следует заботиться о Дружественном ИИ, потому что у нас ещё нет самого ИИ» - неверна или просто самоубийственна. Мы не можем полагаться на то, что у нас будут заранее предупреждающие сигналы до того, как ИИ будет создан; прошлые технологические революции обычно не телеграфировали о себе людям, жившим в том время, что бы потом ни говорилось. Математика и техника Дружественного ИИ не появится из ниоткуда, когда она будет нужна; требуются годы, чтобы установить твёрдые основания. И мы должны разрешить проблему Дружественного ИИ до того, как универсальный ИИ появится, а не после; мне даже не следует говорить об этом. Будут трудности с Дружественным ИИ, потому что поле исследований ИИ само по себе имеет мало согласия и высокую энтропию. Но это не значит, что мы не должны беспокоиться о Дружественном ИИ. Это означает, что будут трудности. Эти два утверждения, к сожалению, даже отдалённо не эквивалентны.

Возможность резкого скачка в интеллектуальности также требует высоких стандартов для техники Дружественного ИИ. Техника не может полагаться на способность программиста наблюдать ИИ против его воли, переписывать ИИ против его воли, угрожать превосходящей военной силой, ни на то, что программисты смогут контролировать «кнопку вознаграждения», которую умный ИИ отберёт у программистов, и так далее. В действительности, никто не должен исходить из этих предположений. Необходимой защитой является ИИ, который не хочет вам повредить. Без этого ни одна дополнительная защита не является безопасной. Ни одна система не является безопасной, если она ищет способы разрушить свою безопасность. Если ИИ повредит человечеству в любом смысле, вы должны были сделать что-то неправильно на очень глубоком уровне, искривив свои основные посылки. Например, вы делаете дробовик, направляете его на свою ступню и спускаете крючок. Вы осознанно приводите в движение некую когнитивную динамику, которая, при некоторых обстоятельствах, будет стремиться вам повредить. Это – неправильное поведение для данной динамики; напишите вместо этого код, который делает что-то другое.

Примерно по тем же причинам, программисты Дружественного ИИ должны предполагать, что ИИ будет иметь полный доступ к своему исходному коду. Если ИИ захочет модифицировать себя, чтобы больше не быть Дружественным, то Дружественность уже потерпела неудачу в этот момент, когда ИИ создал такое намерение. Любое решение, которое полагается на то, что ИИ не будет способен модифицировать сам себя, будет разрушено тем или иным способом, и будет разрушено даже в том случае, если ИИ решит никогда себя не модифицировать. Я не говорю, что это должна быть единственная предосторожность, но главной и незаменимой предосторожностью будет то, что вы создадите ИИ, который не захочет вредить человечеству.

Чтобы избежать ошибочности рассуждений в духе Гигансткой Ватрушки, мы должны сказать, что способность улучшать себя не означает выбора делать это. Успешное воплощение техники Дружественного ИИ может создать ИИ, который обладает потенциалом расти более быстро, но выбирающий вместо этого расти медленнее и по более управляемой кривой.

Даже в этом случае, после того, как ИИ пройдёт критический порог рекурсивного самоулучшения, вы окажетесь действующими в гораздо более опасном режиме. Если Дружественность потерпит неудачу, ИИ может решить направиться с полной скоростью в сторону самоулучшения – метафорически говоря, он станет мгновенно критичным.

Я склонен предполагать потенциально произвольно большие прыжки в интеллектуальности, потому что это (а) консервативное предположение; (б) это отвергает предложения построить ИИ без реального понимания его; и (с) большие скачки потенциала кажутся мне наиболее вероятными в реальном мире. Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше. Это не та область, относительно которой бы мне хотелось предлагать узкие интервалы уверенности.

8. Оборудование.

Люди склонны думать о больших компьютерах как о ключевом факторе ИИ. Это, мягко говоря, очень сомнительное утверждение. Не-футурологи, обсуждая ИИ, говорят обычно о прогрессе компьютерного оборудования, потому что его легко измерить – в отличие от понимания интеллекта. Не потому что здесь нет прогресса, а потому что этот прогресс не может быть выражен в аккуратных графиках компьютерных презентаций. Трудно сообщать об улучшениях в понимании, и поэтому об этом меньше сообщают. Вместо того, чтобы думать о «минимальном» уровне оборудования, которое «необходимо» для ИИ, задумаемся лучше о минимальном уровне понимания исследователя, который уменьшается по мере улучшения оборудования. Чем лучше компьютерное оборудование, тем меньше понимания вам нужно, чтобы построить ИИ. Крайним случаем является естественный отбор, который использовал удивительные количества грубой компьютерной силы, чтобы создать человеческий интеллект, не используя никакого понимания, только неслучайное сохранение случайных мутаций.

Увеличивающаяся компьютерная мощность делает изготовление ИИ проще, но нет очевидных причин, по которым увеличивающая компьютерная мощь поможет сделать ИИ Дружественным. Возрастающая сила компьютеров делает более простым применение грубой силы, а также совмещение плохо понятных, но работающих техник. Закон Мура устойчиво снижает барьер, который предохраняет нас от построения ИИ без глубокого понимания мышления.

Приемлемо провалиться в попытках создания как ИИ, так и Дружественного ИИ. Приемлемо достичь успеха и в ИИ, и в Дружественном ИИ. Что неприемлемо – это создать ИИ и провалиться в создании Дружественного ИИ. Закон Мура делает именно последнее гораздо проще. «Проще», но, слава богу, не просто. Я сомневаюсь, что ИИ будет прост, когда его, наконец, построят – просто потому что есть группы людей, которые приложат огромные усилия, чтобы построить ИИ, и одна из них достигнет успеха, когда ИИ, наконец, станет возможным достичь посредством колоссальных усилий.

Закон Мура является посредником между Дружественным ИИ и другими технологиями, что добавляет часто пропускаемый глобальный риск к другим технологиям. Мы можем представить себе, что молекулярная нанотехнология развивается силами мягкого многонационального правительственного консорциума, и им удалось успешно избежать опасностей физического уровня нанотехнологий. Они непосредственно не допустили случайное распространение репликатора, и с гораздо большими трудностями разместили глобальную защиту на местах против враждебных репликаторов; они ограничили доступ к базовому уровню нанотехнологии, в то же время распространяя настраиваемые наноблоки и так далее. (См. Phoenix и Treder, в книге «Риски глобальной катастрофы».) Но, тем не менее, нанокомпьютеры становятся широко распространены, потому что предпринятые ограничения обходятся, или потому что никаких ограничений не введено. И затем кто-то добивается грубой силой ИИ, который не Дружественен, и дело закончено. Этот сценарий является особенно беспокоящим, потому что невероятно мощные нанокомпьютеры будут среди первых, простейших и кажущихся безопаснейшими применений нанотехнологии.

Как насчёт регуляторного контроля над суперкомпьютерами? Я бы определённо не стал на него полагаться, чтобы предотвратить создание ИИ; вчерашние суперкомпьютеры - это завтрашние лэптопы. Стандартный ответ на предложение о регулировании состоит в том, что когда нанокомпьютеры будут вне закона, только стоящие вне закона люди будут ими обладать.

Трудно доказать, что предполагаемые преимущества от ограничения распространения перевешивают неизбежные риски от неточного распространения. Я сам точно не буду выступать в пользу регулятивных ограничений на использование суперкомпьютеров для исследований ИИ; это предложение сомнительной полезности будет встречено в штыки всем ИИ-сообществом. Но в том маловероятном случае, если это предложение будет принято – что весьма далеко от текущего политического процесса – я не буду прикладывать значительных усилий, чтобы бороться с ним, поскольку я не думаю, что хорошим ребятам нужен доступ к современным им суперкомпьютерам. Дружественный ИИ – это не про грубую силу.

Я могу представить регулирующие органы, эффективно контролирующие небольшой набор сверхдорогих компьютерных ресурсов, которые нынче называются суперкомпьютеры. Но компьютеры везде. Это не похоже на ядерное нераспространение, где основное направление – это контроль плутония и обогащённого урана. Исходные материалы для ИИ уже есть везде. Эта кошка так далеко выскочила из мешка, что она уже в ваших наручных часах, сотовом телефоне и посудомоечной машине. Это тоже является особенным и необычным фактором ИИ как глобального риска. Мы отделены от рискованного процесса не большими видимыми установками, такими как изотопные центрифуги или ускорители частиц, но только недостаточным знанием. Если использовать слишком драматичную метафору, это подобно тому, как если бы субкритические массы обогащённого урана приводили бы в движение машины и корабли по всему миру до того, как Лео Сцилард впервые подумал бы о цепной реакции.

9. Угрозы и перспективы.

Это рискованное интеллектуальное предприятие, - пытаться предсказать конкретно, как именно благожелательный ИИ поможет человечеству, или недружественный ИИ повредит. Здесь есть риск систематической ошибки наложения: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают чёткие добавленные детали. (См. Елизер Юдковски. «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков».) Есть риск – почти наверняка – потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочных рассуждений в духе Гигантской Ватрушки, который перескакивает от возможности к мотиву.

Тем не менее, я попробую очертить угрозы и перспективы. Будущее имеет репутацию совершать подвиги, которые прошлое считало невозможными. Будущие цивилизации даже нарушали то, что прошлые цивилизации считали (неверно, разумеется) законами физики. Если бы пророки 1900 года – и даже не думайте о 1000 годе – попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия; превращение свинца в золото, например. Мы помним, что будущие цивилизации удивляли прошлые цивилизации, и поэтому стало клише, что мы не можем накладывать ограничений на своих праправнуков. И всё же все в ХХ веке, в XIX веке и в XI веке мы были людьми.

Мы можем различить три семейства ненадёжных метафор для представления возможностей превосходящего человека ИИ:

- метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта между людьми. ИИ будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

- историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИИ быстро введёт набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию; межзвёздные путешествия; компьютеры, выполняющие 1025 операций в секунду.

- Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИИ овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческом гении, а не о людях вообще. В историях о враждебном ИИ G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно, за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счёте, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида – пример хорошей истории, но Голиаф против плодовой мушки – нет.

Если мы предполагаем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИИ – не большая угроза, чем враждебный человеческий гений.

Если мы предполагаем множественность ИИ, то тогда мы имеем метафору конфликта между племенем ИИ и человеческим племенем. Если племя ИИ выиграет в военном конфликте и истребит людей, то это глобальная катастрофа по типу Взрыва (Bostrom, 2001). Если племя ИИ будет доминировать над миром экономически и обретёт эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИИ не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныкание или Хруст в терминологии Бострома. Но насколько вероятно, что ИИ преодолеет весь огромный разрыв от амёбы до деревенского идиота, и затем остановится на уровне человеческого гения? Быстрейший из наблюдавшихся нейронов срабатывает 1000 раз в секунду; быстрейший аксон передаёт сигналы со скоростью 150 метров в секунду, в пол-миллионную долю от скорости света; каждая операция синапса рассеивает примерно 15 000 аттоджоулей, что в миллион раз больше термодинамического минимума для необратимых вычислений при комнатной температуре (kT300 ln(2) = 0.003 аттоджоулей на бит). Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого, без уменьшения размера, работы при низких температурах, применения обратимых вычислений и квантового компьютера. Если человеческий ум будет таким образом ускорен, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, и тысячелетие пролетит за восемь с половиной часов. Винж (Vinge, 1993) назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.

Мы предполагаем, что возникнет чрезвычайно быстрый ум, установленный в сердцевине человеческой технологической цивилизации, которая будет существовать в это время. Провалом воображения было бы сказать: «Не важно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем он приказывает человеческим рукам работать; поэтому быстрый ум – это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.

Дрекслер (Drexler, 1992) проанализировал контролируемые молекулярные манипуляторы, которые будут выполнять >106 молекулярных операций в секунду – отметьте это в связи с основной темой о «миллионократном ускорении». (Наименьшим физически значимым приращением времени обычно считается интервал Планка, 5•10-44 секунды, и на этой шкале даже танцующие кварки кажутся статуями.)

Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством заморожено медленных движений щупалец пришельца, или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построить быстрые манипуляторы во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии – хотя могут быть и другие пути. Какой кратчайший путь может привести вас к нанотехнологии в медленном внешнем мире, если у вас есть эоны времени, чтобы обдумывать каждый ход? Ответ в том, что я не знаю, потому что у меня нет эонов времени на размышления. Вот один из воображаемых быстрых путей:

- разрешить проблему свёртки белков, до той степени, чтобы быть способным создавать последовательности ДНК, чьи свёрнутые пептидные последовательности будут соответствовать специфическим функциональным задачам в сложных химических реакциях.

- Отправить по E-mail набор последовательностей ДНК в одну или несколько лабораторий, которые предлагают синтез ДНК, секвенсирование пептидов и доставку по FedEx. (Много лабораторий предлагают сейчас такие услуги, и некоторые рекламируют время в 72 часа на полный цикл.)

- Найти по крайней мере одного человека, соединённого с Интернетом, которого можно оплатить, запугать шантажом или задурить соответствующей историей, чтобы он получил отправления по FedEx и смешал их в специальной среде.

- Синтезированные белки сформируют очень примитивную «влажную» наносистему, вроде рибосомы, способную принимать внешние инструкции; возможно, модулированные акустические волны, направляемые динамиком на мензурку.

- Использовать эту невероятно примитивную наносистему, чтобы построить более сложную систему, развивающуюся затем в молекулярную нанотехнологию – или дальше.

Полное время на всю процедуру имело бы, вероятно, порядок недель с момента, когда быстрый интеллект смог бы решить проблему сворачивания белков. Разумеется, этот сценарий целиком выдумал я. Возможно, за 19 500 лет субъективного времени (одна неделя физического времени при ускорении в миллион раз) я бы нашёл более простой путь. Возможно, вы можете заплатить за быструю курьерскую доставку вместе FedEx. Возможно, существуют технологии, или небольшие модификации существующих технологий, которые синергетически соединяются с простыми белковыми механизмами. Возможно, если вы достаточно умны, вы можете использовать волновые электрические поля, чтобы изменять пути реакций в существующих биохимических процессах. Я не знаю. Я не настолько умён.

Задача состоит в том, чтобы связать вместе ваши способности – аналогом чему в реальном мире является комбинирование слабых уязвимостей в компьютерной системе для получения корневого доступа. Если один путь перекрыт, вы выбираете другой, всегда ища способы увеличить свои возможности и использовать их взаимоусиливающим образом. Подразумеваемая цель – построить быструю инфраструктуру, то есть средства манипулировать внешним миром в большом масштабе за малое время. Молекулярная нанотехнология удовлетворяет этим критериям, во-первых, потому что её элементарные операции происходят быстро, и, во-вторых, потому что имеется готовый набор совершенных частей – атомов – которые могут быть использованы для самореплицирования и экспоненциального роста нанотехнологической инфраструктуры. Путь, обсуждённый выше, подразумевает ИИ, получающий скоростную инфраструктуру в течение недели – что звучит быстро для человека с 200 Гц нейронами, но является гораздо бoльшим временем для ИИ.

Как только ИИ обретает быструю инфраструктуру, дальнейшие события происходят по шкале времени ИИ, а не по человеческой временной шкале. (Кроме того случая, когда ИИ предпочтёт действовать в человеческой временной шкале.) С молекулярной нанотехнологией, ИИ может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.

Недружественный ИИ с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширующих роботов, или шантаже или тонких экономических вмешательств. Недружественный ИИ обладает способностью переделать всё вещество Солнечной системы согласно своей цели оптимизации. Для нас будет фатальным, если этот ИИ не будет учитывать при своём выборе то, как эта трансформация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИИ ни ненавидит вас, ни любит, но вы сделаны из атомов, которые он может использовать как-то по-другому. ИИ работает на другой временной шкале, чем вы; к тому моменту, когда ваши нейроны закончат думать слова «я должен сделать нечто», вы уже проиграли. Дружественный ИИ плюс молекулярная нанотехнология предположительно достаточно сильны, чтобы разрешить любую проблему, которая может быть разрешена путём перемещения атомов или творческого мышления. Следует соблюдать предосторожность в отношении возможных ошибок воображения: лечение рака – это популярная современная цель для филантропии, но из этого не следует, что Дружественный ИИ с молекулярной нанотехнологией скажет сам себе: «Теперь я буду лечить рак». Возможно, лучшее описание проблемы состоит в том, что человеческие клетки непрограммируемы. Если решить эту проблему, то это излечит рак как частный случай, а заодно диабет и ожирение. Быстрый, позитивный интеллект, владеющий молекулярной нанотехнологией, обладает силой избавиться от болезней, а не от рака.

Последнее семейство метафор связано с видами, и основывается на межвидовых различиях интеллекта. Такой ИИ обладает магией – не в смысле заклинаний или снадобий, но в том смысле, как волк не может понять, как работает ружьё, или какого рода усилия требуются, чтобы изготовить ружья, или природу человеческой силы, которая позволяет нам придумывать ружья.

Винж (Vinge, 1993) пишет: «Сильное сверхчеловечество будет не просто разогнанным до большой скорости эквивалентом человеческого ума. Трудно сказать, чем именно сверхчеловечество будет, но разница, вероятно, будет глубокой. Представьте себе ум собаки, работающий на огромной скорости. Дадут ли тысячелетия собачей жизни хотя бы один человеческий инсайт?»

Видовая метафора является ближайшей аналогией а приори, но она не очень пригодна для создания детальных историй. Главный совет, которая даёт нам эта метафора, состоит в том, что нам лучше всего всё-таки сделать Дружественный ИИ, что есть хороший совет в любом случае. Единственную защиту, которую она предлагает от враждебного ИИ – это вообще его не строить, что тоже очень ценный совет. Абсолютная власть является консервативным инженерным предположением в отношении Дружественного ИИ, который был неправильно спроектирован. Если ИИ повредит вам с помощью магии, его Дружественность в любом случае ошибочна.

10. Локальные стратегии и стратегии большинства.

Можно классифицировать предлагающиеся стратегии снижения риска следующим образом:

- стратегии, требующие единодушной кооперации всех участников, а значит могут быть опрокинуты отдельными вредителями или небольшими группами.

- мажоритарные стратегии, которые требуют совместного действия большинства: большинства законодателей в одной стране, или большинства голосующих людей, или большинства стран в ООН: стратегии, требующие большинства, но не всех людей из некой большой группы, чтобы действовать определённым образом.

- Стратегии, которые требуют локальных действий – концентрации воли, таланта и финансирования, которая достигает порогового значения для некоторой конкретной задачи.

Единодушные стратегии не работоспособны, что не мешает людям продолжать предлагать их.

Мажоритарные стратегии иногда работают, если у вас есть десятилетия на то, чтобы сделать свою работу. Следует создать движение, и пройдут годы до его признания в качестве силы в публичной политике и до его победы над оппозиционными фракциями. Мажоритарные стратегии занимают значительное время и требуют огромных усилий. Люди уже старались это сделать, и история помнит несколько успехов. Но будьте настороже: исторические книги имеют тенденцию селективно концентрироваться на тех движениях, которые имели влияние, в отличие от большинства, которое никогда ни на что не влияло. Здесь есть элемент удачи и изначальной готовности публики слушать. Критические моменты этой стратегии включают элементы, лежащие за пределами нашего контроля. Если вы не хотите посвятить всю свою жизнь продвижению некой мажоритарной стратегии, не беспокойтесь; и даже целиком посвящённой жизни недостаточно.

Обычно, локальные стратегии наиболее убедительны. Не легко получить 100 миллионов долларов обеспечения, и всеобщей политической перемены тоже нелегко достичь, но всё же гораздо легче получить 100 миллионов, чем продвинуть глобальную политическую перемену. Два предположения, выдвигаемые в пользу мажоритарной стратегии в отношении ИИ:

- Большинство из Дружественных ИИ может эффективно защитить человеческий вид от неДружественного ИИ.

- Первый построенный ИИ не может сам по себе нанести катастрофический ущерб.

Это повторяет по существу ситуацию в человеческой цивилизации до создания ядерного и биологического оружия: большинство людей сотрудничают во всемирной социальной структуре, а вредители могут причинить определённый, но не катастрофический ущерб. Большинство исследователей ИИ не хотят построить неДружественный ИИ. Если кто-то знает, как сделать стабильный Дружественный ИИ – если проблема не находится полностью за пределами современных знаний и техники – исследователи будут учиться успешным результатам друг у друга и повторять их. Законодательство может (например) потребовать от исследователей публиковать свои стратегии Дружественности или наказывать тех исследователей, чьи ИИ причинили ущерб; и хотя эти законы не предотвратят всех ошибок, они могут гарантировать, что большинство ИИ будут построены Дружественными.

Мы можем также представить сценарий, который предполагает простую локальную стратегию:

- первый ИИ не может сам по себе причинить катастрофический ущерб.

- Если даже хотя бы один Дружественный ИИ появится, этот ИИ вместе с человеческими учреждениями может отогнать любое количество неДружественных ИИ.

Этот лёгкий сценарий выдержит, если человеческие институты смогут надёжно отличать Дружественный ИИ от неДружественного и дадут могущую быть отменённой власть в руки Дружественного ИИ. Тогда мы сможем собрать и выбрать наших союзников. Единственное требование состоит в том, чтобы проблема Дружественного ИИ была разрешима (в противовес тому, что бы быть полностью за пределами человеческих возможностей).

Оба из вышеприведённых сценариев предполагают, что первый ИИ (первый мощный, универсальный ИИ) не может сам по себе причинить глобально катастрофический ущерб. Более конкретные представления, которые это предполагают, используют G-метафору: ИИ как аналог особо одарённым людям. В главе 7 о скоростях усиления интеллекта, я указал несколько моментов, почему следует подозревать огромный, быстрый скачок в интеллектуальности.

- расстояние от идиота до Эйнштейна, которое выглядит большим для нас, является маленькой точкой на шкале умов вообще.

- Гоминиды сделали резкий скачок в эффективности во внешнем мире, несмотря на то, что естественный отбор оказывал примерно равномерное давление на их геном.

- ИИ может впитать колоссальное количество дополнительного оборудования после достижения определённого уровня компетентности (то есть, съесть интернет).

- Существует критический порог рекурсивного самоулучшения. Одно самоулучшение, дающее приращение в 1,0006 раз, качественно отличается от самоулучшения, дающего приращение в 0,9994 раза.

Как описано в главе 9, достаточно сильному ИИ может потребоваться очень короткое время (с человеческой точки зрения), чтобы достичь молекулярной нанотехнологии, или другой формы быстрой инфраструктуры. Теперь мы можем представить себе всё значение того, кто достигнет цели первым в суперинтеллекте. Эффект пришедшего первым состоит в том, что исход возникшей на Земле разумной жизни зависит в первую очередь от особенностей того ума, который первым достигнет определённого ключевого порога интеллектуальности – такого, как критичности (criticality) самоулучшения. Два важных следствия таковы:

- Первый ИИ, который достиг некого критического порога (то есть критичности самоулучшений), будучи неДружественным, может истребить человеческий вид.

- Если первый ИИ, который достигнет этого уровня, будет Дружественным, то он сможет не допустить возникновения враждебных ИИ или причинения ими вреда человеческому виду; или найдёт другие оригинальные пути, чтобы обеспечить выживание и процветание возникшей на Земле разумной жизни.

Более, чем один сценарий соответствует эффекту пришедшего первым. Каждый из следующих примеров отражает другой ключевой порог:

- Пост-критический, самоулучшающийся ИИ достигает сверхинтеллекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивление. Ключевым порогом является критический уровень самоулучшения.

- ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быстрых манипуляторов веществом ИИ-1 может (потенциально) отключить исследования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную черту – побеждает. Ключевым порогом здесь является быстрая инфраструктура.

- Тот ИИ, который первым поглощает интернет, может (потенциально) не допустить в него другие ИИ. Затем, посредством экономического доминирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.

Человеческий вид, Homo sapiens, является финишировавшим первым. С точки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, потому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что пришедшие первыми виды должны были первыми пересечь столь много порогов: речь, технология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект пришедшего первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), но при этом являет собой технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.

Я не могу произвести точных вычислений на основании точно подтверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие интервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, – если резкий прыжок в интеллектуальности не произойдёт. Но гораздо более серьёзной проблемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект пришедшего первым. Это более серьёзная проблема, потому что:

- Более быстро растущий ИИ является более сложной технической задачей.

- Подобно автомобилю, едущему по мосту для грузовиков, ИИ, спроектированный, чтобы оставаться Дружественным в экстремально сложных условиях (предположительно) остаётся Дружественным в менее сложных условиях. Обратное неверно.

- Быстрые скачки в интеллектуальности контринтуитивны с точки зрения обычной социальной жизни. Метафора G-фактора для ИИ является интуитивной, притягательной, заверяющей и, по общему согласию, требующей меньше конструктивных ограничений.

- Моя нынешняя догадка состоит в том, что кривая интеллектуальности содержит огромные, резкие (потенциально) скачки.

Моя нынешняя стратегическая точка зрения имеет тенденцию фокусироваться на трудном локальном сценарии: первый ИИ должен быть Дружественным. С этой мерой предосторожности, если никаких быстрых прыжков в ИИ не произойдёт, можно переключиться на стратегию, которая сделает большинство ИИ Дружественными. В любом случае, технические усилия, которые ушли на подготовку к экстремальному случаю появления первого ИИ, не сделают нам хуже.

Сценарий, который требует невозможной – требующей единодушия – стратегии:

- Единственный ИИ может быть достаточно силён, чтобы уничтожить человечество, даже несмотря на защитные меры Дружественных ИИ.

- Ни один ИИ недостаточно могуществен, чтобы остановить людей-исследователей от создания одного ИИ за другим (или найти другой творческий путь решения проблемы.).

Хорошо, что этот баланс возможностей кажется невероятным а приори, потому что при таком сценарии мы обречены. Если вы выкладываете на стол колоду карт одна за другой, вы рано или поздно выложите туза треф.

Та же проблема относится и к стратегии намеренного конструирования таких ИИ, которые выбирают не увеличивать свои способности выше определённого уровня. Если ограниченные ИИ недостаточно сильны, чтобы победить неограниченных, или предотвратить их возникновение, то тогда ограниченные ИИ вычёркиваются из уравнения. Мы участвуем в игре до тех пор, пока мы не вытащим сверхинтеллект, независимо оттого, что это – туз червей или туз треф. Мажоритарные стратегии работают, только если невозможно для одиночного вредителя причинить катастрофический ущерб. Для ИИ эта возможность является свойством самого пространства возможных проектов – эта возможность не зависит от человеческого решения, равно как скорость света или гравитационная константа.

11. ИИ и усиление человеческого интеллекта.

Я не нахожу достоверным, что Homo sapiens будут продолжать существовать в неограниченном будущем, тысячи или миллионы или миллиарды лет, без того, чтобы возник хотя бы один ум, который бы прорвал верхний предел интеллектуальности. И если так, то придёт время, когда люди впервые встретятся с вызовом более умного, чем человек, интеллекта. И если мы выиграем первый уровень схватки, то человечество сможет взывать к более умному, чем человек, интеллекту в следующих раундах схватки.

Возможно, мы скорее выберем другой путь, чем создание ИИ, более умного, чем человек, – например, будем улучшать людей вместо этого. Чтобы рассмотреть крайний случай, допустим, что кто-то говорит: «Перспектива ИИ меня беспокоит. Я бы предпочёл, чтобы, до того, как какой-либо ИИ был сконструирован, отдельный люди были бы отсканированы в компьютеры, нейрон за нейроном, и затем усовершенствованы, медленно, но наверняка, пока они не станут сверх-умными; и это та основа, на которой человечество должно сразиться с вызовом суперинтеллекта».

Здесь мы сталкиваемся с двумя вопросами: Возможен ли этот сценарий? И если да, то желателен ли он? (Разумно задавать вопросы именно в такой последовательности, по причинам рациональности: мы должны избегать эмоциональной привязки к привлекательным возможностям, которые не являются реальными возможностями.)

Представим, что некий человек сканирован в компьютер, нейрон за нейроном, как предлагает Моравек (Moravec, 1988). Отсюда однозначно следует, что использованная компьютерная мощность значительно превосходит вычислительную мощность человеческого мозга. Согласно гипотезе, компьютер выполняет детальную симуляцию биологического человеческого мозга, исполняемую с достаточной точностью, чтобы избежать каких-либо обнаружимых высокоуровневых эффектов от системных низкоуровневых ошибок.

Каждый биологический аспект, который любым образом влияет на переработку информации, мы должны тщательно симулировать с достаточной точностью, чтобы общий ход процесса был изоморфен оригиналу. Чтобы симулировать беспорядочный биологический компьютер, каким является человеческий мозг, мы должны иметь гораздо больше полезной компьютерной силы, чем воплощено в самом беспорядочном человеческом мозге.

Наиболее вероятный способ, который будет создан, чтобы сканировать мозг нейрон за нейроном – с достаточным разрешением, чтобы захватить любой когнитивно важный аспект нейронной структуры – это развитая молекулярная нанотехнология .

Молекулярная нанотехнология, возможно, позволит создать настольный компьютер с общей вычислительной мощностью, превосходящей суммарную мозговую мощь всей человеческой популяции (Bostrom, 1998); (Moravec, 1999); (Merkle and Drexler, 1996); (Sandberg, 1999). Более того, если технология позволит нам сканировать мозг с достаточной точностью, чтобы выполнять этот скан в качестве кода, это означает, что за несколько лет до того эта технология была способна создать невероятно точные картины процессов в нейронных сетях, и, предположительно, исследователи сделали всё от них зависящее, чтобы понять их. Более того, чтобы проапгрейдить загруженное – трансформировать скан мозга, чтобы усилить интеллект ума внутри него – мы обязательно должны понимать во всех деталях высокоуровневые функции мозга, и какой полезный вклад они делают в интеллект.

Более того, люди не созданы для того, чтобы их улучшали, ни внешние нейробиологи, ни посредством рекурсивного самоулучшения изнутри. Естественный отбор не создал человеческий мозг удобным для людей-хакеров. Все сложные механизмы в мозгу адаптированы для работы в узких параметрах конструкции мозга. Допустим, вы можете сделать человека умнее, не говоря уже о сверхинтеллекте; останется ли он вменяемым? Человеческий мозг очень легко разбалансировать; достаточно изменить баланс нейротрансмиттеров, чтобы запустить шизофрению или другие расстройства. В статье Декона (Deacon, 1997) представлено отличное описание эволюции человеческого мозга и того, как деликатно элементы мозга сбалансированы, и как это отражается в дисфункциях современного мозга. Человеческий мозг немодифицируем конечным пользователем.

Всё это делает весьма невероятным, что первое человеческое существо будет сканировано в компьютер и вменяемо усовершенствовано до того, как кто-нибудь где-нибудь первым построит ИИ. В тот момент, когда технология впервые станет способна осуществить загрузку, это потребует невообразимо больше компьютерной мощности и гораздо лучшей науки о мышлении, чем требуется, чтобы построить ИИ. Построить Боинг 747 с нуля непросто. Но проще ли:

- начать с существующего дизайна биологической птицы

- и путём пошаговых добавлений модифицировать этот дизайн через серию успешных стадий

- где каждая стадия независимо жизнеспособна

- так что в конечном итоге мы имеем птицу, растянутую до размеров 747-ого

- которая на самом деле летает

- также быстро, как 747

- и затем провести серию трансформаций реальной живой птицы

- не убивая её и не причиняя ей невыносимых страданий.

Я не хочу сказать, что это никогда не может быть сделано. Я хочу сказать, что проще сделать 747, и, имея уже 747-ой, метафорически говоря, апгрейдить птицу. «Давайте просто увеличим птицу до размеров 747-ого» не выглядит в качестве разумной стратегии, избегающей контакта с устрашающе сложной теоретической мистерией аэродинамики. Может быть, в начале, всё, что вы знаете о полёте – это то, что птица обладает загадочной сущностью полёта, и что материалы, из которых вы должны построить 747-ой просто лежат здесь на земле. Но вы не можете слепить загадочную сущность полёта, даже если она уже имеется в птице, до тех пор, пока она не перестанет быть загадочной сущностью для вас. Вышеприведённый довод предложен как нарочито экстремальный случай. Основная идея в том, что у нас нет абсолютной свободы выбирать путь, который выглядит позитивным и утешительным, или который будет хорошей историей для научно-фантастического романа. Мы ограничены тем, какие технологии будут, скорее всего, предшествовать другим. Я не против сканирования человеческих существ в компьютеры и делания их умнее, но кажется чрезвычайно маловероятным, что это будет полем, на котором люди впервые столкнутся с вызовом превосходящего человеческий интеллекта. Из различных ограниченных наборов технологий и знаний, требуемых, чтобы загружать и усовершенствовать людей, можно выбрать:

- апгрейдить биологические мозги на месте (например, добавляя новые нейроны, которые полезным образом встраиваются в работу);

- или продуктивно связать компьютеры с биологическими человеческими мозгами.

- или продуктивно связать мозги людей друг с другом

- или сконструировать ИИ.

Далее, это одно дело усилить среднего человека, сохраняя его здравомыслие, до IQ 140, и другое – развить Нобелевского лауреат до чего-то за пределами человеческого. (Отложим в сторону каламбуры по поводу IQ или Нобелевских призов как меры совершенного интеллекта; простите меня за мои метафоры.) Приём пирацетама (или питьё кофеина) может сделать, а может и не сделать, по крайней мере, некоторых людей умнее; но это не сделает вас существенно умнее Эйнштейна. Это не даёт нам никаких существенных новых способностей; мы не переходим на следующие уровни проблемы; мы не пересекаем верхние границы интеллекта, доступного нам, чтобы взаимодействовать с глобальными рисками. С точки зрения управления глобальными рисками, любая технология улучшения интеллекта, которая не создаёт (позитивного и вменяемого) сознания, буквально более умного, чем человек, ставит вопрос о том, стоило ли, возможно, те же время и усилия более продуктивно потратить на то, чтобы найти чрезвычайно умных современных людей и натравить их на ту же самую проблему. Более того, чем дальше вы уходите от «естественных» границ конструкции человеческого мозга – от наследственного состояния мозга, к которому отдельные компоненты мозга адаптированы – тем больше опасность личного безумия. Если улучшенные люди существенно умнее обычных, это тоже глобальный риск. Сколько ущерба усовершенствованные в сторону зла люди может причинить? Насколько они творческие? Первый вопрос, который мне приходит в голову: «Достаточно творческие, чтобы создать свой собственный рекурсивно улучшающийся ИИ?» Радикальные техники улучшения человеческого интеллекта поднимают свои вопросы безопасности. Опять, я не говорю, что эти проблемы технически не разрешимы; только указываю на то, что эти проблемы существуют. ИИ имеет спорные вопросы, связанные с безопасностью; тоже касается и усовершенствования человеческого интеллекта. Не всё, что лязгает – это ваш враг, и не всё, что хлюпает – друг. С одной стороны, позитивный человек начинает со всей огромной моральной, этической и структурной сложности, которая описывает то, что мы называем «дружественным» решением. С другой стороны, ИИ может быть спроектирован для стабильного рекурсивного самоулучшения и нацелен на безопасность: естественный отбор не создал человеческий мозг с множеством кругов мер предосторожности, осторожного процесса принятия решений и целыми порядками величины полей безопасности.

Улучшение человеческого интеллекта это самостоятельный вопрос, а не подраздел ИИ; и в этой статье нет места, чтобы обсуждать его в деталях. Стоит отметить, что я рассматривал как улучшение человеческого интеллекта, так и ИИ в начале своей карьеры, и решил сосредоточить свои усилия на ИИ. В первую очередь, потому что я не ожидал, что полезные, превосходящие человеческий уровень техники улучшения человеческого интеллекта появятся достаточно вовремя, чтобы существенно повлиять на развитие рекурсивно самоулучшающегося ИИ. Я буду рад, если мне докажут, что я не прав в отношении этого. Но я не думаю, что это жизнеспособная стратегия – нарочно выбрать не работать над Дружественным ИИ, пока другие работают над усовершенствованием человеческого интеллекта, в надежде, что усовершенствованные люди решат проблему Дружественного ИИ лучше. Я не хочу вовлекаться в стратегию, которая потерпит катастрофическое поражение, если усовершенствование человеческого интеллекта потребует больше времени, чем создание ИИ. (Или наоборот.) Я боюсь, что работа с биологией займёт слишком много времени – здесь будет слишком много инерции, слишком много борьбы с плохими конструкторскими решениями, уже сделанными естественным отбором. Я боюсь, что регуляторные органы не одобрят экспериментов с людьми. И даже человеческие гении тратят годы на обучение своему искусству; и чем быстрее улучшенный человек должен учиться, тем труднее улучшить кого-либо до этого уровня.

Я буду приятно удивлён, если появятся улучшенные люди и построят Дружественный ИИ раньше всех. Но тот, кто хотел бы видеть этот результат, должен, вероятно, тяжело трудиться над ускорением технологий улучшения интеллекта; будет трудно убедить меня замедлиться. Если ИИ по своей природе гораздо более сложен, чем усиление интеллекта, то никакого вреда не будет; если же построение 747-ого естественным путём проще, чем растягивание птицы до его размеров, то промедление будет фатальным. Имеется только небольшая область возможностей, внутри которой намеренный отказ от работы над Дружественным ИИ может быть полезен, и большая область, где это будет неважно или опасно. Даже если усиление человеческого интеллекта возможно, здесь есть реальные, сложные вопросы безопасности; мне следовало бы серьёзно задаться вопросом, хотим ли мы, чтобы Дружественный ИИ предшествовал усилению интеллекта, или наоборот.

Я не приписываю высокой достоверности утверждению, что Дружественный ИИ проще, чем усовершенствование человека, или что он безопаснее. Есть много приходящих на ум путей улучшить человека. Может быть, существует техника, которая прощу и безопаснее, чем ИИ, достаточно мощная, чтобы оказать влияние на глобальные риски. Если так, я могу переключить направление своей работы. Но я желал указать на некоторые соображения, которые указывают против принимаемого без вопросов предположения, что улучшение человеческого интеллекта проще, безопаснее и достаточно мощно, чтобы играть заметную роль.

12. Взаимодействие ИИ и других технологий.

Ускорение желательной технологии – это локальная стратегия, тогда как замедление опасной технологии – это трудная мажоритарная стратегия. Остановка или отказ от нежелательной технологии имеет тенденцию требовать невозможную единодушную стратегию. Я предлагаю думать не в терминах развития или неразвития некоторых технологий, но в терминах прагматичных доступных возможностей ускорять или замедлять технологии; и задаваться вопросом, в границах этих возможностей, какие технологии мы бы предпочли бы видеть развитыми до или после одна другой.

В нанотехнологиях, обычно предлагаемая цель состоит в развитии защитных щитов до появления наступательных технологий. Я очень обеспокоен этим, поскольку заданный уровень наступательной технологии обычно требует гораздо меньших усилий, чем технология, которая может защитить от него. Наступление превосходило оборону в течение большей части человеческой истории. Ружья были созданы за сотни лет до пуленепробиваемых жилетов. Оспа была использована как орудие войны до изобретения вакцины от оспы. Сейчас нет защиты от ядерного взрыва; нации защищены не благодаря обороне, превосходящей наступательные силы, а благодаря балансу угроз наступления. Нанотехнологии оказались по самой своей природе сложной проблемой. Так что, должны ли мы предпочесть, чтобы нанотехнологии предшествовали развитию ИИ, или ИИ предшествовал развитию нанотехнологий? Заданный в такой форме, это несколько мошеннический вопрос. Ответ на него не имеет ничего общего с присущей нанотехнологиям проблемностью в качестве глобального риска, или с собственной сложностью ИИ. В той мере, в какой мы беспокоимся о порядке возникновения, вопрос должен звучать: «Поможет ли ИИ нам справиться с нанотехнологиями? Помогут ли нанотехнологии нам справится с ИИ?»

Мне кажется, что успешное создание ИИ существенно поможет нам во взаимодействии с нанотехнологиями. Я не вижу, как нанотехнологии сделают более простым развитие Дружественного ИИ. Если мощные нанокомпьютеры сделают проще создание ИИ, без упрощения решения самостоятельной проблемы Дружественности, то это – негативное взаимодействие технологий. Поэтому, при прочих равных, я бы очень предпочёл, чтобы Дружественный ИИ предшествовал нанотехнологиям в порядке технологических открытий. Если мы справимся с вызовом ИИ, мы сможем рассчитывать на помощь Дружественного ИИ в отношении нанотехнологий. Если мы создадим нанотехнологии и выживем, нам всё ещё будет предстоять принять вызов взаимодействия с ИИ после этого.

Говоря в общем, успех в Дружественном ИИ должен помочь в решении почти любой другой проблемы. Поэтому, если некая технология делает ИИ не проще и не труднее, но несёт собой определённый глобальный риск, нам следует предпочесть, при прочих равных, в первую очередь встретиться с вызовом ИИ. Любая технология, увеличивающая доступную мощность компьютеров, уменьшает минимальную теоретическую сложность, необходимую для создания ИИ, но нисколько не помогает в Дружественности, и я считаю в сумме её эффект негативным. Закон Мура для Безумной Науки: каждые 18 месяцев минимальный IQ, необходимый, чтобы уничтожить мир, падает на один пункт. Успех в усилении человеческого интеллекта сделает Дружественный ИИ проще, а также поможет в других технологиях. Но улучшение людей не обязательно безопаснее, или проще, чем Дружественный ИИ; оно также не находится в реалистически оцененных пределах наших возможностей изменить естественный порядок возникновения улучшения людей и Дружественного ИИ, если одна из технологий по своей природе гораздо проще другой.

13. Ход прогресса в области Дружественного ИИ.

«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже, Ганновер, Нью Гемпшир. Исследование будет выполнено на основе предположения, что любой аспект обучения или любое другое качество интеллекта может быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».

- Маккарти, Мински, Рочестер и Шеннон (McCarthy, Minsky, Rochester and Shannon, 1955).

Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Откуда они могли знать?

Дартмутское предложение включало в себя, среди прочего, следующие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение.

Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, к оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным. В Дармутском предложении ничего не говорится о построении позитивного / доброго / благоволящего ИИ. Вопросы безопасности не обсуждены даже с целью отбросить их. И это в то искреннее лето, когда ИИ человеческого уровня казался прямо за углом. Дармутское предложение было написано в 1955 году, до Асиломарской конференции по биотехнологии, детей, отравленных тамиламидом во время беременности, Чернобыля и 11 Сентября. Если бы сейчас идея Искусственного интеллекта был бы предложена в первый раз, кто-то доложен был бы постараться выяснить, что конкретно делается для управления рисками. Я не могу сказать, хорошая это перемена в нашей культуре или плохая. Я не говорю, создаёт ли это хорошую или плохую науку. Но сутью остаётся то, что если бы Дартмутское предложение было бы написано 50 лет спустя, одной из его тем должна была бы стать безопасность.

В момент написания этой статьи в 2006 году, сообщество исследователей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсутствие литературы. Дружественный ИИ отсутствует в пространстве концепций, а не просто не популярен или не финансируем. Вы не можете даже назвать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено . Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, такие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Дружественного ИИ в качестве части проблемы. Точно так же я не видел обсуждения Дружественного ИИ как технической проблемы в технической литературе. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссылок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov 1942.) Имея в виду, что сейчас уже 2006 год, почему не много исследователей ИИ, которые говорят о безопасности? У меня нет привилегированного доступа к чужой психологии, но я кратко обсужу этот вопрос, основываясь на личном опыте общения.

Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.

У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.

Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.

Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.

Наиболее сильные современные техники ИИ, так, как они были развиты, отполированы и улучшены с течением времени, имеют основополагающую несовместимость с требованиями Дружественного ИИ, как я их сейчас понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, - точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три десятилетия с нуля. В поле исследований ИИ довольно вызывающе открыто обсуждать ИИ человеческого уровня, в связи с прошлым опытом этих дискуссий. Есть соблазн поздравить себя за подобную смелость, и затем остановиться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.

Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учётом нашего теперешнего понимания, мы просто не на том уровне, чтобы обращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: теории решений, эволюционной психологии, теории вероятностей, эволюционной биологии, когнитивной психологии, теории информации и в области знаний, традиционно известной как «Искусственный интеллект»… Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.

«Правило десяти лет» для гениев, подтверждённое в разных областях – от математике до тенниса – гласит, что никто не достигает выдающихся результатов без по крайней мере десяти лет подготовки (Hayes 1981). Моцарт начал писать симфонии в четыре года, но это не были моцартовские симфонии – потребовалось ещё 13 лет, чтобы Моцарт начал писать выдающиеся симфонии (Weisberg 1986). Мой собственный опыт с кривой обучения подкрепляет эту тревогу. Если нам нужны люди, которые могут сделать прогресс в Дружественном ИИ, то они должны начать тренировать сами себя, всё время, за годы до того, как они внезапно понадобятся.

Если завтра Фонд Билла и Мелинды Гейтс выделит сто миллионов долларов на изучение Дружественного ИИ, тогда тысячи учёных начнут переписывать свои предложения по грантам, чтобы они выглядели релевантными по отношению к Дружественному ИИ. Но они не будут искренне заинтересованы в проблеме – и этому свидетельство то, что они не проявляли любопытства к проблеме до того, как кто-то предложил им заплатить. Пока Универсальный ИИ немоден и Дружественный ИИ полностью за пределами поля зрения, мы можем предположить, что каждый говорящий об этой проблеме искренне заинтересован в ней. Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги создадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых решений.

Я не могу считать этот вывод хорошей новостью. Мы были бы в гораздо большей безопасности, если бы проблема Дружественного ИИ могла бы быть разрешена путём нагромождения людей и денег. Но на момент 2006 года я сильно сомневаюсь, что это годится – область Дружественного ИИ, и сама область ИИ, находится в слишком большом хаосе. Если кто-то заявляет, что мы не можем достичь прогресса в области Дружественного ИИ, что мы знаем слишком мало, нам следует спросить, как долго этот человек учился, чтобы придти к этому заключению. Кто может сказать, что именно наука не знает? Слишком много науки существует в природе, чтобы один человек мог её выучить. Кто может сказать, что мы не готовы к научной революции, опережая неожиданное? И если мы не можем продвинуться в Дружественном ИИ, потому что мы не готовы, это не означает, что нам не нужен Дружественный ИИ. Эти два утверждения вовсе не эквивалентны!

И если мы обнаружим, что не можем продвинуться в Дружественном ИИ, мы должны определить, как выйти из этой ситуации как можно скорее! Совершенно неочевидно, что раз мы не можем управлять риском, то он должен уйти.

И если скрытые таланты юных учёных будут заинтересованы в Дружественном ИИ по своему собственному выбору, тогда, я думаю, будет очень полезно с точки зрения человеческого вида, если они смогут подать на многолетний грант, чтобы изучать проблему с полной занятостью. Определённое финансирование Дружественного ИИ необходимо, чтобы это сработало – значительно большее финансирование, чем это имеется сейчас. Но я думаю, что на этих начальных стадиях Манхэттенский проект только бы увеличил долю шума в системе.

Заключение.

Однажды мне стало ясно, что современная цивилизация находится в нестабильном состоянии. Дж.Гуд предположил, что взрыв интеллекта описывает динамическую нестабильную систему, вроде ручки, точно сбалансированной, чтобы стоять на своём кончике. Если ручка стоит совершенно вертикально, она может оставаться в прямом положении, но если ручка отклоняется даже немного от вертикали, гравитация потянет её дальше в этом направлении, и процесс ускорится. Точно так же и более умные системы будут требовать всё меньше времени, чтобы сделать себя ещё умнее.

Мёртвая планета, безжизненно вращающаяся вокруг своей звезды, тоже стабильна. В отличие от интеллектуального взрыва, истребление не является динамическим аттрактором – есть большая разница между «почти исчезнуть» и «исчезнуть». Даже в этом случае, тотальное истребление стабильно.

Не должна ли наша цивилизация, в конце концов, придти в один из этих двух режимов? Логически, вышеприведённое рассуждение содержит проколы. Например, Ошибочное рассуждение в духе Гигантской Ватрушки: умы не бродят слепо между аттракторами, у них есть мотивы. Но даже если и так, то, я думаю, наша альтернатива состоит в том, что или стать умнее, или вымереть.

Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвигает грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин X века изобрести лекарство от туберкулёза? Природа не соизмеряет свои вызовы с вашими умениями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызовом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случиться и со всем человеческим видом, если человеческий вид столкнётся с несправедливым вызовом.

Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бессмертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего человека в мире, столь рискованном, как наш, вы должны каким-то образом свести свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а интеллектуально невозможно.

Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было военных биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить сколько-нибудь заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо для того, чтобы прожить ещё миллион лет.

Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.

Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.

Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747-ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.

Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:

«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по (MacFie 1912).)

Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.

Библиография.

1. Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.

2. Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.

3. Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.

4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.

5. Brown, D.E. 1991. Human universals. New York: McGraw-Hill.

6. Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/

7. Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.

8. Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.

9. Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.

10. Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.

11. Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.

12. Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).

13. Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.

14. Hofstadter, D. 1979. Godel, Escher, Bach: An Eternal Golden Braid. New York: Random House

15. Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.

16. Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).

17. MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.

18. McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.

19. Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.

20. Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.

21. Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.

22. Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.

23. Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.

24. Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

25. Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.

26. Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.

27. Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.

28. Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.

29. Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.

30. Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.

31. Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.

32. Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.

33. Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.

34. Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.

35. Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.

36. Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.

А.А. Кононов

Идеологические начала общей теории неуничтожимости человечества.

Количество открытий в астрономии сделанных за последние 10 лет сопоставимо со всеми открытиями, сделанными в этой области за всю предыдущую историю цивилизации. Многие из этих открытий стали так же открытиями новых угроз и рисков существования человечества в Космосе. На сегодняшний день можно сделать вывод о том, что наша цивилизация существует и развивается в катастрофически нестабильной среде, которая может уничтожить ее в любой момент и только счастливое стечение обстоятельств (везений) дало возможность развиться нашей цивилизации до современного уровня. Но такое «везение» вряд ли будет вечным.

Угрозы уничтожения человечества

В течение нескольких последних лет автором статьи в Интернете ведется проект «Досье на Мироздание» (http://www.mirozdanie.narod.ru), где в нескольких разделах собранно большое количество научных публикаций и сообщений о последних космических открытиях, из которых можно сделать вывод о катастрофическом характере процессов протекающих в Космосе, и о непредсказуемости влияния этих процессов на жизнь в той части Космоса, где обитает Человечество. Не на много большей предсказуемостью отличаются и геологические процессы, многие из которых могут стать источниками глобальных природных катастроф. Да и почти каждый шаг в развитии цивилизации несет новые угрозы и риски ее существованию.

Ниже приводится перечень основных групп угроз глобальных катастроф и даются некоторые примеры угроз.

Природные:

Катастрофы в результате геологических процессов. Супервулканы, смещение магнитных полюсов, сдвиги земной коры и процессы в более глубоких слоях Земли.

Катастрофы в результате возможной нестабильности Солнца. Сверхмощные вспышки и выбросы, возможная нестабильность реакций, обеспечивающих необходимые для жизни на Земле светимость и температуру на Солнце.

Катастрофы в результате воздействий из Космоса (астероиды, кометы, нельзя полностью исключить и возможность злонамеренного вторжения инопланетной цивилизации).

Порождаемые цивилизацией.

Самоуничтожение. В результате применения средств массового уничтожения.

Уничтожение среды обитания. В результате техногенных катастроф.

Самоликвидация. Выбор ошибочного пути развития цивилизации, например, такого, который ограничит темпы наращивания технологической мощи цивилизации. В условиях существования цивилизации в катастрофически нестабильной среде такое решение может стать приговором самоликвидации цивилизации - она просто не успеет подготовиться к преодолению наступающих катастроф. Да и многие другие теории определяющие направления развития цивилизации в случае их однобокого несистемного применения могут нанести большой урон и не дать успеть решить цивилизации те задачи, которые позволят ей преодолеть возможные катастрофы. Даже представляемая в этой статье идеология неуничтожимости цивилизации несет в себе угрозу обоснования сверхэксплуатации (принесения в жертву жизней живущих поколений) ради решения задач неуничтожимости цивилизации. Поэтому так важна вторая часть этой идеологии – развитие культуры сохранения фамильной и индивидуальной памяти. Причем эта культура может выступать в роли защитного механизма и от множества других угроз дегуманизации и этической деградации цивилизации.

Провоцирование природной нестабильности. Например, инициирование парникового эффекта и изменений климата.

Угрозы уничтожения цивилизации, порождаемые новыми технологиями и развитием цивилизации (цивилизационной динамикой). Это угрозы, с которыми человечество должно учиться справляться по мере создания новых технологий и освоения космического пространства (космической экспансии). Например, с возникновением информационного общества, появилась целая отрасль, решающая проблемы безопасности (кибербезопасности) возникающие при использовании компьютерных и телекоммуникационных технологий. Необходимость отвлечения значительных ресурсов для решения проблем безопасности новых технологий - это неизбежное условие прогресса. Нужно понимать и принимать как должное, то что решение проблем безопасности каждого нового технологического или цивилизационного прорыва (например, создания внеземных космических колоний) могут обходиться во много раз дороже, чем затраты на их осуществление. Но это единственный путь, обеспечивающий безопасность прогресса, в том числе, и космической экспансии.

Угрозы уничтожения жизни в космическом масштабе.

Эти угрозы носят в значительной степени гипотетический характер, но известные случаи столкновений и взрывов галактик говорят о том, что они никак не могут быть проигнорированы. К числу таких угроз относятся:

Угрозы уничтожения жизни в той части Галактики, где расположена Солнечная система.

Угрозы уничтожения жизни во всей Галактике или в группе Галактик, в которую входит Млечный путь

Угрозы уничтожения Вселенной или жизни во Вселенной

Угрозы уничтожения жизни в возможно существующих структурах, в которые может входить наша Вселенная

Неуничтожимость как главная сверхзадача цивилизации

Наличие большого числа угроз существованию цивилизации ставит в качестве главной задачи, а скорее, с учетом масштаба и важности, - главной сверхзадачи – неуничтожимость цивилизации. Другие общецивилизационные сверхзадачи и задачи, такие как, продление человеческой жизни, избавление человечества от болезней, голода, глубокого социального неравенства (нищеты, бедности), преступности, терроризма – во многом теряют смысл и свой этический потенциал, если не решается главная сверхзадача – неуничтожимость цивилизации. Игнорирование этой сверхзадачи – означает демонстративное равнодушие к судьбе цивилизации, к судьбе будущих поколений и таким образом, лишает живущие поколения этического фундамента в виду имморализма и жестокости (по отношению к будущим поколениям, обрекаемым таким образом на гибель) подобного выбора.

Итак, какие же возможны пути решения этой главной сверхзадачи цивилизации.

Вообще говоря, сложившаяся практика отражения угроз предполагает нахождение решений по защите от каждой из них. Но количество и масштаб угроз уничтожения цивилизации, а так же принципиальная невозможность защититься от них иным путем, как только преодолеть зависимость судьбы цивилизации от тех мест, в которых эти угрозы существуют, позволяют сделать вывод, что относительно надежные (относительно других возможных решений, например, создания защитных оболочек или ковчегов) решения задачи неуничтожимости цивилизации могут быть получены только путем космической экспансии. С учетом же того, что во всей Вселенной, а возможно и во всем Мироздании, не существует абсолютно безопасных мест, задача спасения цивилизации состоит в стремлении к максимально распределенному существования сохраняющей единство цивилизации на максимально большом числе пространств с обладанием большими эвакуационными потенциалами в каждом из них.

Итак, развитие космической экспансии цивилизации должно идти по пути преодоления зависимости цивилизации от тех мест обитания, которые могут быть уничтожены. И первая задача в этом направлении – это преодоление зависимости человечества от условий жизни на планете Земля и от судьбы Земли. Она решается путем целенаправленной колонизации Солнечной системы. То есть путем создания технологически автономных колоний на всех планетах или их спутниках, где это возможно, и создания автономных, готовых к полной технологической независимости от Земли межпланетных станций.

При этом должен осуществляться постепенный вынос всех критических для судьбы цивилизации, а также опасных для экологии Земли производств за пределы нашей планеты и распределение их по Солнечной системе. За планетой Земля постепенно должна закрепляться роль экологически чистой рекреационной зоны, предназначенной для отпусков и жизни после выхода на пенсию.

Можно предположить, что на решение этой задачи - создания технологически независимых от Земли колоний и выноса критических производств за пределы Земли может понадобиться около 1000 лет. Хотя история XX-го века показала сколько неожиданных технологических сюрпризов может принести себе человечество только в течение каких-то 100 лет. И это при том, что в течение этих 100 лет его спокойному развитию мешали катастрофические по своим масштабам и последствиям 2 мировые и бесчисленные гражданские войны и кровавые конфликты. Возможно, технологические прорывы при мирной и целенаправленной деятельности позволят решать задачи преодоления зависимости цивилизации от судьбы Земли, Солнечной системы и далее в значительно более высоком темпе, чем это можно сейчас представить.

Попытаемся определить отдельные этапы возможной дальнейшей космической экспансии, которые будут означать значительное повышение неуничтожимости цивилизации.

После решения задачи преодоления зависимости судьбы человечества от судьбы Земли следующей в этом направлении должна стать задача преодоления зависимости судьбы цивилизации от судьбы Солнечной системы. Это задача должна будет решаться путем колонизации пространств на безопасном удалении от Солнечной системы. Ожидаемый срок осуществления (если не будет невероятных с современной точки зрения научно-технологических прорывов) десятки тысяч лет.

Далее должны решаться задачи преодоление зависимости судьбы цивилизации от судьбы отдельных внутригалактических пространств и от судьбы галактики Млечный путь и Метагалактики. Очевидно, что возможность решения этих задач будет определяться только возможностью появления новых непредсказуемых на сегодняшний день технологий.

Тоже касается и решения последующих задач, например, преодоления зависимости судьбы цивилизации от судьбы Вселенной. На сегодняшний день представляется, что решение такого рода задач будет возможно либо через контроль всех критических процессов во Вселенной, либо через обретение технологий перемещения в другие вселенные (если таковые существуют) или обретения технологий создания новых вселенных, пригодных в качестве новых резервных (эвакуационных) жизненных пространств цивилизации.

Абсолютную же гарантию безопасности и неуничтожимости цивилизации может дать только контроль над Мирозданием, если он в принципе достижим и возможен. Но именно к нему должна стремиться любая цивилизация в Космосе, чтобы быть полностью уверенной в своей неуничтожимости.

Предположим, что Человечество - не единственная цивилизация, которая ставит перед собой сверхзадачу неуничтожимости. Что будет при встрече с другими цивилизациями, ставящими перед собой аналогичные задачи?

В этой точке рассуждений можно с высокой степенью уверенностью предположить существование в природе объективного закона, который можно назвать Законом этического фильтра.

? Закон этического фильтра : Развиться до уровня цивилизации, способной к космической экспансии в межзвездном и межгалактическом масштабе, могут только цивилизации с весьма высоким этическим потенциалом, не позволяющим им самоуничтожиться при обладании технологиями, способными стать средствами массового уничтожения во внутрицивилизационных конфликтах.

Иными словами, цивилизации, не научившиеся себя правильно вести при обладании высокими технологиями, либо самоуничтожаются, либо уничтожаются, как и любые недостаточно развитые цивилизации, природными катаклизмами, потенциалы для преодоления которых они не успели обрести, возможно, не в последнюю очередь, по причине растраты сил и отведенного им времени на самоистребление (войны).

При двух и более ставящих перед собой цель неуничтожимости и прошедших этический фильтр космических цивилизаций, вероятно наиболее продуктивным путем их сосуществования может быть их постепенное единение в решении задач неуничтожимости всех прошедших этический фильтр цивилизаций.

Можно допустить возможность существования тоталитарных цивилизаций, способных обойти указанный фильтр, поскольку у них не было проблемы угрозы самоуничтожения в виду их изначального единства. Но как показывает исторический опыт человечества тоталитарные цивилизации (режимы) склонны к значительному подрыву собственного, условно говоря, человеческого потенциала в виду репрессивных механизмов, на которых они держатся, и не способны к созданию эффективных стимулов прогрессивного развития, прежде всего технологического. То есть, они в принципе нежизнеспособны.

Поэтому возможные специфические принципы взаимодействия с подобными тоталитарными космическими цивилизациями должны будут отрабатываться при возникновении такого рода проблем, если станет понятно, что они реально могут возникнуть. Пока же можно относиться к возможности столкновения с подобными цивилизациями, которые могут оказаться враждебно настроены по отношению к человечеству, как к любой другой космической угрозе, возможность отражения которой будет определяться достаточностью необходимых для решения такого рода задач потенциалов цивилизации.

Качества неуничтожимой цивилизации

Попробуем определить качества, которые могут позволить цивилизации стать неуничтожимой. Для этого попытаемся ответить на ряд вопросов:

Какая цивилизация имеет больше шансов не быть уничтоженной: та, которая осознала, что она существует в катастрофически нестабильном Космосе и должна стремиться к наращиванию потенциалов преодоления возможных проблем или игнорирующая эти проблемы?

Очевидно, что стать неуничтожимой больше шансов у цивилизации, стремящейся к наращиванию потенциалов преодоления угроз и рисков ее уничтожения.

Какая цивилизация имеет больше шансов не быть уничтоженной: та, в которой есть механизмы, стимулирующие ответственность живущих поколений перед будущими, или в которой таковых нет?

У неуничтожимой цивилизации существуют механизмы, стимулирующие ответственность живущих поколений перед будущими. И наоборот, цивилизации в которых, считается бессмысленным проявлять серьезную озабоченность о будущем цивилизации и о судьбе будущих поколений, обречены или на постепенное самоистребление или на уничтожение в первом же апокалипсисе.

Далее, в виду очевидности вопросов, только ответы и выводы:

? Неуничтожимая цивилизация должна стремиться к преодолению зависимости своей судьбы от судьбы места своего изначального и текущего обитания, то есть к космической экспансии.

? Неуничтожимая цивилизация должна стремиться к увеличению собственной популяции и к росту качества жизни и способностей каждого индивидуума. Очевидно, что в условиях колонизации новых космических пространств, чем больше численность и способности, или, условно говоря, человеческий потенциал цивилизации, тем больше ее возможности в решении проблем прогресса, космической экспансии, обеспечения своего перманентного процветания и безопасности.

? Неуничтожимая цивилизация должна стремиться к единству. Все усилия цивилизационного развития и космической экспансии будут напрасны, если цивилизация распадется настолько, что невозможно будет решать эвакуационные задачи по спасению тех, кто окажется в зоне катастрофических проявлений космической стихии.

? Неуничтожимая цивилизация должна стремиться к повышению этических стандартов в своем развитии, поскольку это позволит: не самоуничтожиться при овладении все новыми и новыми технологиями (которые могут быть использованы в качестве средств массового уничтожения) и сохранить единство цивилизации, что в свою очередь даст возможность решать массовые транскосмические эвакуационные задачи, задачи транспоколенческой ответственности и другие задачи неуничтожимости.

О необходимости разработки теоретических основ решения задач неуничтожимости человечества

О том, что существуют объективные угрозы существования человеческой цивилизации, можно убедиться, например, обратившись к материалам, размещенным на сайте «Досье на Мироздание». Но точно так же объективно существует потенциалы цивилизации, которые позволят ей противостоять возможным катастрофическим обстоятельствам. Очевидно, что эти потенциалы должны контролироваться. То есть должны ставиться задачи по их наращиванию, должны учитываться и поощряться факторы, которые повышают эти потенциалы. Проблематика управления потенциалами неуничтожимости цивилизации должна получить научную понятийную базу и теоретический фундамент.

В качестве первого шага к созданию научной понятийной базы проблематики неуничтожимости цивилизации предлагается использовать следующие понятия:

потенциалы неуничтожимости цивилизации;

конкурентоспособность цивилизации;

конкурентоспособность социальных составляющих образующих цивилизацию.

Под потенциалами неуничтожимости цивилизации понимаются те качества, достижения и характеристики цивилизации, которые позволят ей в случае возникновения обстоятельств, направленных на ее ослабление или уничтожение, противодействовать этим обстоятельствам и не допустить гибели и ослабления цивилизации.

Объективно существует большое число возможных обстоятельств (угроз, рисков), которые при определенном ходе развития событий могут привести к гибели цивилизации, то есть оказаться сильнее, или, как принято говорить, выше ее. В тоже время у цивилизации есть определенные потенциалы, качества, способности, которые могут позволить ей противостоять этим обстоятельствам. То есть объективно, существуют некие отношения (соотношения) потенциальных сил. Назовем эти отношения конкуренцией. Тогда можно сказать, что объективно существует конкуренция между обстоятельствами, которые могут уничтожить цивилизацию и способностями цивилизации противостоять этим обстоятельствам и преодолевать их. Вот эти способности цивилизации противостоять возможным обстоятельствам (угрозам, рискам), которые могут ее уничтожить или ослабить, будем называть конкурентоспособностью цивилизации.

Очевидно, что, как и любые способности, конкурентоспособность цивилизации может быть развита, например, путем наращивания конкурентных преимуществ (потенциалов неуничтожимости).

Теперь о понятиях конкурентоспособности социальных составляющих, образующих цивилизацию.

Цивилизация – это прежде всего ее носители. Человечество – это прежде всего люди и социальные структуры, в которые они входят. Реальность такова, что нашу цивилизацию образуют нации (госнации и этнонации). Как показывает история, прогресс и благоденствие цивилизации во многом зависит от прогресса и благоденствия отдельных наций, от благоденствия социумов, семей и людей.

Процветающие нации двигают цивилизацию вперед. Условия существования процветающих наций создают возможности для того, чтобы их представители могли решать задачи, двигающие цивилизацию по пути прогресса. Вместе с тем и перед отдельными нациями встают проблемы и обстоятельства, которые могут отбрасывать эти нации, а вместе с ними и всю цивилизацию назад, обстоятельства, приводящие отдельные нации к катастрофам уничтожения.

Поэтому так важно понимать, что подобно тому, как совершенно объективно, существует конкуренция цивилизации с обстоятельствами, которые могут ее уничтожить, точно также объективно существует и конкуренция каждой нации с обстоятельствами, которые могут ослабить нацию привести ее к состоянию, когда она вместо того, чтобы быть одной из сил, укрепляющих и развивающих конкурентоспособность всей цивилизации, напротив, становится фактором, ослабляющим цивилизацию. Поэтому конкурентоспособность нации должна стать национальной идеей каждой нации, следование которой позволит ей привнести в свою жизнь объективные критерии, которые должны использоваться при принятии любых жизненно важных решений путем оценки их влияния на потенциалы конкурентоспособности и конкурентные преимущества нации.

При этом, конечно, должно пониматься, что когда говорится о конкурентоспособности наций, то речь идет об отношениях конкуренции аналогичных тем, что рассматривались для цивилизации в целом, то есть о конкуренции с рисками, угрозами, обстоятельствами, которые могут привести нации к катастрофам, но не как ни к конкуренции с другими нациями, поскольку такого рода конкуренция – это путь к гибели или ослаблению конкурирующих между собой наций и всей цивилизации в целом. В конечном счете, правильно понимаемая идея конкурентоспособности наций должна привести к их единению в достижении неуничтожимости всей человеческой цивилизации. И примеры позитивного движения в этом направлении мы видим сегодня и в области совместного освоения космоса на международной космической станции и в развитии Евросоюза, в который вошли страны, столетиями воевавшие друг с другом. В октябре прошлого года конкурентоспособность нации была провозглашена в качестве национальной идеи в Казахстане. Причем, если обратиться к выступлению Президента Республики Казахстан Н.А.Назарбаева на ХІІ сессии Ассамблеи народов Казахстана (Астана, 24 октября 2006 года, http://www.zakon.kz/our/news/print.asp?id=30074242 ), в котором конкурентоспособность нации как раз и была провозглашена как национальная идея, то следует отметить, что ни о какой конкуренции с другими нациями там нет ни слова, речь идет только о конкурентоспособности нации перед вызовами и проблемами, стоящими перед ней.

Далее рассматривая социальную структуру цивилизации можно говорить о семье и отдельных индивидуумах. Бесспорно, семья во многом определяет и развитие, и повседневное состояние и способности индивидуума. Поэтому можно говорить и о конкурентоспособности семей и отдельных людей, опять же используя термин «конкурентоспособности» в том понимании, которое определено выше, то есть, не о конкуренции между отдельными семьями и людьми, что в принципе может подрывать этический и иные потенциалы нации и цивилизации, но лишь о конкуренции с возможными вызовами, угрозами, рисками, обстоятельствами, проблемами.

Конечно, состояние и конкурентоспособность отдельных индивидуумов зависит не только от семьи, но и от других социальных структур, к которым они могут быть причастны. Более того, для некоторых структур такого рода есть традиционное понимание их конкурентоспособности, которое подразумевает конкуренцию именно между такого рода структурами, а именно, конкуренцию между фирмами, или любыми другими коммерческими организациями, конкуренцию между партиями и т.д. Нельзя не признать, что наличие конкурентной борьбы в среде подобных организаций является одним из основных движущих механизмов технологического, экономического, общественного прогресса современной цивилизации. Вместе с тем, возможно, введение альтернативного понимания терминов «конкуренции» и «конкурентоспособности», как конкуренции с вызовами, обстоятельствами, рисками, угрозами, проблемами (что предусматривается в рамках понятийной базы теоретических основ неуничтожимости цивилизации), будет способствовать постепенному формирования более этически гармоничной аксиологической базы (ценностных ориентиров) во взаимоотношениях между такого рода (коммерческих, политических и т.д.) организаций без снижения динамики развития технологических и экономических потенциалов цивилизации. То есть, речь идет о том, что конкуренция в традиционном ее понимании, является экономическим и технологическим двигателем цивилизации, но, мягко говоря, не способствует развитию и укреплению этического потенциала цивилизации. И вопрос состоит в том, не может ли альтернативное понимание конкуренции, предлагаемое в рамках теории неуничтожимости цивилизации, снять недостаток, содержащийся в традиционном понимании термина «конкуренция», сохранив подразумеваемые этим традиционным пониманием жизненно важные для цивилизации механизмы обеспечения динамики ее развития?

Рей Брэдбери в одном из своих рассказов описал «эффект раздавленной бабочки». Герой рассказа на экскурсии в прошлое, раздавил бабочку и в результате мир, в который он вернулся, стал на много хуже. Что уж говорить о негативном влиянии на прогресс и конкурентоспособность человечества безвременной гибели его представителей, которые могли внести вклад в его развитие и процветание. Совершенно точно этот эффект выражен в словах Джона Донна: «Не спрашивай по ком звонит колокол – он звонит по тебе».

Человеческий потенциал – основа конкурентоспособности и любой нации и цивилизации в целом. Можно сказать и так: конкурентоспособность каждого – основа конкурентоспособности цивилизации. О том, что как раз в этом направлении существуют самые большие проблемы, говорит, например, тот факт, что ежегодно около 1 млн. человек кончают жизнь самоубийством - обстоятельства оказываются выше них. Еще больше людей гибнут из-за, мягко выражаясь, этического несовершенства человеческих отношений – убийств (в том числе, в ходе военных действий), насилия, голода. В этой связи новое переосмысление терминов «конкуренции» и «конкурентоспособности» в свете заложенных в эти термины концепций теории неуничтожимости человечества (ТНЧ) может давать надежду на улучшении сложившейся ситуации.

Что еще может дать развитие теоретических основ проблематики неуничтожимости цивилизации? Укажем на два направления:

? разработка системы объективных показателей и критериев для принятия решений по развитию цивилизации и ее социальных составляющих;

? нахождение системных решений, позволяющих повысить конкурентоспособность цивилизации и ее социальных составляющих.

О важности создания системы объективных показателей и критериев для принятия решений, учитывающей жизненную важность наращивания потенциалов неуничтожимости и конкурентных преимуществ цивилизации можно судить хотя бы по такому примеру, как закрытие программ освоения Луны в 70-х годах прошлого века. Значительная часть из огромных средств вложенных в эти проекты была, в конечном счете, просто похоронена из-за того, что ни в США, ни в СССР не нашлось достаточно убедительных мотивов для продолжения этих работ. В результате, по признанию Президента США Буша-младшего, три десятилетия в космическом развитии цивилизации были просто потеряны. А ресурсы и средства, которые могли быть вложены в космическую экспансию, пошли на удовлетворение амбиций в разрушительных для цивилизации направлениях – на войны США во Вьетнаме и СССР в Афганистане.

В качестве примера системных решений, позволяющих повысить конкурентоспособность цивилизации и ее социальных составляющих, можно привести входящую, как неотъемлемая часть ТНЧ и важнейший защитный механизм от возможного некорректного и потому разрушительного использования основных идей теории неуничтожимости человечества – идею необходимости развития культуры сохранения фамильной и индивидуальной памяти о каждом из живших на Земле людей.

Современные цифровые технологии позволяют сохранить память о каждом человеке. Если появится и будет развиваться культура сохранения и передачи из поколения в поколение цифровой информации (памяти) о себе и своих предках, а так же о своих близких и друзьях, то каждый в своих наиболее ярких (лучших) проявлениях сможет быть запомнен навсегда. Каждый сможет навсегда сохранить свои мысли и идеи, сохранить память о самых интересных и важных моментах своей жизни, о том, кого он знал и любил, о лучших качествах, поступках, мыслях, идеях того, кого он любил и кто был ему дорог. Таким образом, каждый сможет навсегда остаться частью памяти человеческой цивилизации. Больше никто не уйдет из этого мира бесследно, каждый будет запомнен навсегда.

Представляется, что культура сохранения фамильной и индивидуальной памяти может повысить конкурентоспособность человечества тем, что обеспечит:

? повышение ответственности:

? живущих поколений перед будущими,

? руководителей государств за принимаемые решения,

? людей друг перед другом;

? улучшение человеческих отношений:

? между представителями разных поколений в семье;

? повышения статуса каждого человека - каждый навсегда остается частью памяти человеческой цивилизации;

? механизм защиты:

? от политических спекуляций типа: «жизнь для будущих поколений»,

? от жестокости власти,

? от жестокости в межличностных отношениях;

? механизм облагораживания человеческой природы и наращивания этического потенциала цивилизации;

? создание стержня, ядра, корня обеспечивающих единство цивилизации в ее космической экспансии при ее расселении на необъятных космических просторах.

Резюмируя доводы, приведенные в доказательство необходимости развития теоретических основ решения задачи неуничтожимости цивилизации, можно отметить, что количество подзадач, которые должны решаться для решения главной задачи, может оказаться достаточно велико, и практически каждая из них требует построения своих парадигм, своей теоретической проработки. Поэтому на первом этапе развития теории неуничтожимости цивилизации имеет смысл говорить о развитии общих теоретических начал, об общей теории неуничтожимости, и уже потом, по мере углубления в решении отдельных, специальных и частных задач, строить специальные теории, связанные с потребностями развития отдельных потенциалов (технологического, этического, эвакуационного, и т.д.) и решения задач повышения конкурентоспособности (в понятиях теории неуничтожимости) отдельных социальных составляющих.

Что должна дать постановка задач неуничтожимости цивилизации и космической экспансии живущим поколениям людей:

• Снижение рисков войны – ничто так не подрывает потенциалы неуничтожимости цивилизации, как войны. Ресурсы ВПК должны переориентироваться на решение задач и создание потенциалов космической экспансии и колонизации Космоса.

• Обосновывается важность повышения уровня жизни людей – поскольку только высокий уровень жизни дает возможность максимально большому количеству людей осваивать новейшие технологии, проявлять с их помощью свои таланты и участвовать в создании еще более новых и совершенных технологий. Власти все в большей степени будут понимать, что конкурентоспособность наций в решающей степени зависит от уровня жизни людей, и что социальные программы – это не пустая трата денег, а закладывание фундамента и важное условие процветания и конкурентоспособности наций.

• Придание нового смысла человеческой жизни. Более ответственное отношение людей к своей и чужим жизням, повышение этических стандартов человеческих отношений и, как следствие, снижение преступности и террористической активности.

• Важнейшее идеологическое обоснование для преодоления конфликтов, единения наций и цивилизации в целом.

• Новые жизненные пространства.

• Новые источники сырья.

• Новые сферы занятости и рабочие места.

• Новые рынки.

Литература

1. Лефевр В.А. Космический субъект. - М: Когито-Центр, 2005 - 220 с.

2. Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. 2-е изд. – М.: Мир, 2004. – 367 с.

3. Хван М.П. Неистовая Вселенная: от Большого взрыва до ускоренного расширения, от кварков до суперструн. М. УРСС, 2006 - 408 с.

4. Narlikar Jayant "Violent Phenomena in the Universe", Oxford UP, 1984 - 246 р.

Н. Бостром

Введение в Doomsday Argument.

Перевод с английского А.В. Турчина

Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света (Doomsday Argument) является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооценивается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё большим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.

Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли, который был плодовитым авторам на эту тему и написал монографию «Конец света» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.

Вот само Рассуждение о конце света. Я объясню его в три этапа.

Шаг 1.

Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим снаружи, и оставшиеся 10 – красным. Каждого человека попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает всё это.)

Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по-вашему, должен быть? Поскольку 90% из всех людей находятся в голубых боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в голубом боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).

Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном расположении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в среднем, 50% людей выиграют, и 50% проиграют. - Так что рациональной моделью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.

Шаг 2.

Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написаны снаружи. Затем бросается монетка (может быть, Богом). Если выпадают орлы, один человек создаётся в каждом из 100 боксов. Если выпадает решка, люди создаются только в боксах с номерами с 1 по 10.

Вы обнаруживаете себя в одном из боксов, и вам предлагается догадаться, имеется ли в боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как монетка выпала, и вы не имеете никакой другой значимой информации, кажется, что вам следует предполагать, что с 50% вероятностью выпали орлы (и в силу этого имеется 100 человек).

Более того, вы можете использовать предположение о собственном расположении, чтобы определить условную вероятность того, что на вашем боксе написан номер от 1 до 10, в зависимости от того, как выпала монетка. Например, при условии орлов вероятность того, что номер вашего бокса лежит между 1 и 10 составляет 1/10, поскольку в них будет находиться одна десятая людей. При условии решек вероятность того, что ваш номер лежит от 1 до 10 равна 1; в этом случае вам известно, что все находятся в этих боксах.

Предположим, что вы открываете дверь, и обнаруживаете, что вы находитесь в боксе 7. Затем вас снова спрашивают, как выпала монета? Но теперь вероятность того, что выпала решка, больше 50%. Поскольку то, что вы наблюдаете, даёт большую вероятность этой гипотезе, чем гипотезе, что выпали орлы. Точная новая вероятность выпадения решки может быть вычислена на основании теоремы Байса. Это примерно 91%. Таким образом, после обнаружения того, что вы находитесь в боксе номер 7, вам следует думать, что с вероятностью в 91% здесь находится только 10 людей.

Шаг 3.

Последний шаг состоит в переносе этих результатов на нашу текущую ситуацию здесь, на Земле. Давайте сформулируем две конкурирующие гипотезы. Ранняя Гибель: человечество вымирает в следующем столетии и суммарное число людей, которое существовало за всё время, составляет, скажем, 200 миллиардов. Поздняя Гибель: человечество переживает следующий век и отправляется колонизировать галактику; суммарное число людей составляет, скажем, 200 триллионов. Для упрощения изложения мы рассмотрим только эти две гипотезы. (Использование дробного деления пространства гипотез не изменяет принцип, хотя даёт более точные численные значения.)

Ранняя гибель соответствует здесь тому, что есть только 10 человек в мысленном эксперименте Шага 2. Поздняя Гибель соответствует здесь тому, что было 100 человек. Номерам боксов мы сопоставим «ранги рождения» человеческих существ – их позицию в человеческой расе. Изначальной вероятности (50%) того, что монета упадёт орлом или решкой, мы сопоставим некоторую изначальную вероятность Ранней Гибели и Поздней Гибели. Эта оценка будет выполнена на основе наших обычных эмпирических оценок потенциальных угроз человеческому выживанию, таких как ядерная или биологическая война, взрывающий завод метеорит, неограниченно растущий парниковый эффект, вышедшие из-под контроля саморазмножающиеся наномашины, распад метастабильного вакуума в результате высокоэнергетичных экспериментов с элементарными частицами и так далее (вероятно, есть много опасностей, о которых мы даже не думали). Скажем, что на основе таких размышлений, вы полагаете, что вероятность Ранней Гибели составляет 5%. Точное число не важно для структуры рассуждения.

Наконец, тому факту, что вы обнаруживаете себя в боксе 7, соответствует тот факт, что вы обнаруживаете, что ваш ранг рождения составляет примерно 60 миллиардов (что примерно соответствует числу людей, которое жило до вас). И подобно тому, как обнаружение себя в боксе 7 увеличивает вероятность того, что монетка выпала решкой, обнаружение себя человеком номер 60 миллиардов даёт вам основания полагать, что Ранняя Гибель более вероятна, чем вы думали раньше. В данном случае апостериорная вероятность Ранней Гибели очень близка к 1. Вы почти наверняка можете исключить Позднюю Гибель.

*

Таково Рассуждение о Конце Света в двух словах. Услышав его, многие люди думают, что они знают, что неправильно в нём. Но эти возражения имеют тенденцию быть взаимно несовместимыми, и часто они держатся на неких простых непониманиях. Обязательно прочтите имеющуюся литературу до того, как чувствовать себя достаточно уверенным в том, что у вас есть опровержение.

Если Рассуждение о Конце Света верно, что именно оно показывает? Оно не говорит, что нет смысла пытаться уменьшить угрозы человеческому выживанию, потому что «мы обречены в любом случае». Наоборот, Рассуждение о Конце Света может сделать такие усилия выглядящими даже более срочными. Работы по уменьшению риска того, что нанотехнологии будут употреблены во вред, чтобы уничтожить разумную жизнь, например, уменьшат начальную вероятность Ранней Гибели, и это уменьшит также её апостериорную вероятность после принятия в расчет Рассуждения о Конце Света; так что ожидаемая продолжительность жизни человечества вырастет.

Есть также определённое количество «брешей» или альтернативных интерпретаций того, что именно говорит Рассуждение о Конце Света. Например, оказывается, что если существует множество внеземных цивилизаций, и вы интерпретируете предположение о собственном местоположении как применимое в равное мере ко всем разумным существам, а не только к людям, то тогда происходит другой сдвиг вероятности, который точно уравновешивает и отменяет сдвиг вероятности, следующий из Рассуждения о Конце Света. Другая возможная брешь – это если в будущем будет бесконечно много людей; неясно, как применять предположения о собственном расположение в бесконечном случае. Далее, если люди разовьются в значительно более продвинутый вид довольно скоро (за век или два), может быть, посредством использования продвинутых технологий, тогда не ясно, будут ли эти пост-люди в том же референетном классе, что и мы, так что тогда не понятно, как в этом случае должно применяться Рассуждение о Конце Света.

Другой возможностью является то, что если размер популяции значительно уменьшится – то тогда потребуется гораздо больше времени, до того как достаточное людей родится, чтобы ваш ранг рождения начал казаться удивительно малым. И, наконец, может быть так, что референтные классы должны быть сделаны относительными, так что не все наблюдатели, даже не все люди, будут принадлежать к одному и тому же референетному классу.

Оправдание введения относительности референтных классов могло бы придти из общей теории эффектов наблюдательной селекции, в которой предположение о собственном расположении будет только одним из элементов. Теория эффектов наблюдательной селекции – то есть теория о том, как корректировать систематические ошибки, которые вводятся тем фактом, что наши свидетельства отфильтрованы предусловием, что подходящим образом расположенный наблюдатель существует, «чтобы» получить эти свидетельства – будет иметь приложения во множестве областей науки, включая космологию и эволюционную биологию.

Так что хотя Рассуждение о Конце Света содержит интересную идею, оно должно быть соединено с дополнительными предположениями и принципами (некоторые из которых ещё предстоит выработать) до того, как она может быть применено к реальному миру. По всей вероятности, даже когда будут заполнены все детали, будет набор возможных вариантов относительно нашего будущего. Тем не менее, лучшее понимание эффектов избирательности наблюдения исключит определённые типы гипотез и установит неожиданные ограничения на любые самосогласованные теоретические построения о будущем нашего вида и о распределении наблюдателей во вселенной.

Термины 9

1. Ошибочные представления о роли ошибок. 13

1.1 Незавершённость этого списка ошибок. 14

2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ. 14

2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами. 14

2.2 Недооценка неочевидных рисков. 15

2.3 Глобальные риски нетождественны национальной безопасности. 16

2.4. Ошибка, связанная с психологизацией проблемы. 16

2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. 16

2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ. 17

2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила. 17

2.8 Ошибка, состоящая в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира». 18

2.9 Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти. 18

2.10 Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания. 19

2.11 Ошибка, связанная с тем, что глобальным рискам, как целому, уделяют меньше внимания, чем рискам отдельных объектов. 19

2.12 Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. 19

2.13 Отсутствие ясного понимания того, к кому, собственно, обращены дискуссии о глобальных рисках. 19

2.14 Особенность связи теоретического и практического в отношении глобальных рисков. 20

2.15 Ошибочные модели поведения, связанные с эволюционными психологическими моделями – и не учёт этих моделей в предсказании поведения людей. 20

2.16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему. 20

2.18 Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию. 21

2.19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно. 21

2.20. Гордыня исследователя. 21

2.21. Интуиция как источник ошибок в мышлении о глобальных рисках. 21

2.22 Научное исследование глобальных рисков также сталкивается с рядом проблем. 22

2.23 Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска. 22

2.24 Методы, применимые к управлению экономическими и прочими рисками, не применимы для глобальных рисков. 22

2.25 Трудности в определении понятия глобального риска в связи с нечёткостью его объекта. 22

2.26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока они замкнуты на Земном шаре, и переселение в космос автоматически снимет проблему. 23

2.27. Психологическая особенность человека, называемая «пренебрежение масштабом». 23

2.28. Преувеличение прогностической ценности экстраполяции. 23

2.29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. 24

2.30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. 24

2.31. «Шок будущего»: Ошибки, связанные с разными горизонтами возможного будущего у разных людей. 25

2.32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. 26

2.33 Недооценка системных факторов глобального риска. 26

2.34 Представления в духе: «Мы все должны бороться за мир». 26

2.35 Недооценка предкризисных событий как элементов глобальной катастрофы. 27

2.36. Это слишком плохо, чтобы быть правдой. 27

2.37. Это слишком невероятно, чтобы быть правдой. 27

2.38 Идеи о торможении неких технологий как способе противостояния глобальным рискам. 27

2.39 Человеческая приспособляемость высока и продолжает неограниченно расти благодаря новым технологиям. 28

2.40 Неспособность для системы смоделировать саму себя. 28

2.41 Неспособность человека представить свою собственную смерть. 28

2.42 Путаница между очень большой катастрофой и окончательной глобальной катастрофой. 29

2.43 «После нас хоть потоп». 29

2.44. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. 29

2.45. Религиозные мировоззрения и апокалиптические культы. 29

3. ОШИБКИ, МОГУЩИЕ КАСАТЬСЯ ЛЮБЫХ РИСКОВ, ПРИМЕНИТЕЛЬНО К ГЛОБАЛЬНЫМ РИСКАМ. 30

3.1. Основной причиной человеческих ошибок является сверхуверенность. 30

3.2 Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых. 30

3.4 Возрастные особенности восприятия глобальных рисков. 31

3.5. Споры не рождают истину о глобальных рисках. 31

3.7. Желание смерти. 31

3.8. Косность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения. 31

3.9. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности. 32

3.10. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе. 33

3.11. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться. 33

3.12. Более конкретизированные риски воспринимаются как более опасные, чем описанные в общих словах. 33

3.13. Идея о том, что мышление о глобальных рисках – пессимистично. 33

3.14 «Теории заговора» как препятствие для научного анализа глобальных рисков. 34

3.15. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов. 35

3.16. Специфика человеческой эмоции страха. 35

3.19. Эффект смещения внимания. 36

3.20. Интернет 36

3.21. Верования. 36

3.22. Врождённые страхи. 37

3.23. «Убить гонца, принёсшего плохую весть». 37

3.28. Склонность людей бороться с подобными опасностями, какие уже были в прошлом. 38

3.29. Усталость от ожидания катастрофы. 38

3.30. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности. 39

3.31 Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта. 39

3.32 Недооценка или переоценка нашей способности противостоять глобальным рискам. 39

3.33. Стокгольмский синдром. 40

3.34. За ошибками оператора стоит неправильная подготовка. 40

3.35. Группа людей может быть глупее, чем каждый человек в отдельности. 40

3.36. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие. 40

3.37. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо. 40

3.38. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить. («Беда не приходит одна») 41

3.39. Эффект избирательности внимания, сосредоточенного на катастрофах. 41

3.40. Подсознательное желание катастрофы. 42

3.41. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса. 42

3.42. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа. 42

3.43. Ошибка «хорошей истории». 43

3.44. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества. 43

3.45. Секретность как источник ошибок в управлении рисками. 43

3.46. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии. 44

3.47. Идея о том, что безопасность чего-либо можно доказать теоретически. 44

3.48. Недооценка человеческого фактора. 44

3.48. Идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 44

3.49. Статистика. 45

3.50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты. 45

3.51. Двойная ошибка. 45

3.52. Анализ глобальных рисков не есть создание прогнозов. 45

3.53. Эффект знания задним числом приводит к тому, что люди восклицают «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности. 45

3.54. Эффект настройки на источники информации. 46

3.55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы. 46

3.56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное. 46

3.57. Есть класс людей, которые придумывают апокалипсические сценарии, чтобы привлечь внимание к своим безумным проектам и добиться их финансирования. 46

3.58. Стремление людей установить некий приемлемый для них уровень риска. 47

3.59. Эффект «сверхуверенности молодого профессионала». 47

3.60. Ощущение неуязвимости. 47

3.61. Переоценка собственных профессиональных навыков. 47

3.62. Есть ряд ситуаций, когда меры по предотвращению небольшой катастрофы готовят ещё большую катастрофу. 48

3.63. Утомление исследователя. 48

3.64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем. 48

3.65. Количество внимания, которое общество может уделить рискам, конечно. 49

3.66. Пренебрежение экономикой. 49

3.67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит. 50

3.68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей. 51

3.69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав. 51

3.70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. 51

3.71. Ошибка, связанная с неправильной корреляции силы и безопасности. 51

3.72. Преждевременные инвестиции. 51

3.73. Склонность людей путать свои ожидания того, как оно будет в наиболее вероятном случае, и того, как оно будет в наилучшем случае. 52

3.74.Апатия прохожего. 52

3.75. Потребность в завершении. 52

3.76. Влияние авторитета и социальное давление группы. 52

3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом». 53

3.78. Ошибка, связанная с интеллектуальной проекцией. 53

3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины. 54

3.80. Забвение основного принципа медицины – «Не навреди!» 54

3.81. Путаница между объективными и субъективными врагами. 54

3.82. Предчувствие катастрофы, на самом деле обусловленное завистью. 54

3.83. Страх утраты идентичности. 54

3.84. Понятная катастрофа может быть привлекательнее непонятного будущего. 55

3.85. Неправильное применение бритвы Оккама. 55

3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую. 55

3.88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки. 56

3.89. Отказ рассматривать некий сценарий по причине его «невероятности». 56

3.90. Переход от обмана к самообману. 56

3.91. Переоценка собственных возможностей вообще и выживаемости в частности. 56

3.92. Стремление к прекрасному будущему, заслоняющее восприятие рисков. 57

3.93. Фильтры, мешающие поступлению информации к руководству. 57

3.94. Любопытство может оказаться сильнее страха смерти. 58

3.95. Система и регламент. 58

3.96. Эффект «стрелочника». 58

3.97. Минимальный воспринимаемый риск. 58

3.98. Отвержение новых идей. 59

3.99. Воздействие эмоциональной реакции шока. 59

3.100. Проблемы отбора экспертов. 60

3.101. Вина и ответственность как факторы предотвращения рисков. 61

3.102. Недооценка сил инерции как фактора устойчивости систем. 61

3.103. Мировоззрение. 61

3.104. Психологические трудности, связанные с изменением точки зрения. 61

4. ОБЩЕЛОГИЧЕСКИЕ ОШИБКИ, МОГУЩИЕ ПРОЯВИТЬСЯ В РАССУЖДЕНИЯХ О ГЛОБАЛЬНЫХ РИСКАХ. 62

4.1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте. 62

4.2. Подмена анализа возможностей анализом целей. 62

4.3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго. 62

4.4. Мышление, обусловленное желаниями – то, что по-английски называется «Wishful thinking». 62

4.5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов. 63

4.6. Ошибки, связанные с подменой анализов рисков анализом коммерческих мотивов тех, кто о них говорит. 63

4.7. Использование так называемого «авторитетного знания». 63

4.8. Неправильное применение идеи о том, что теория должна быть опровержимой, чтобы быть истинной. 64

4.9. Восприятие новой информации через призму старой. 64

4.10. Ошибка в выборе нейтральной позиции. 64

4.11. Уверенность как источник ошибок. 64

4.12. Употребление полностью ошибочной логики. 64

4.13. Различие между преднаукой и псевдонаукой. 65

4.14. Ошибка, связанная с неправильным определением статуса «универсалий». 65

4.15. Утверждения о возможности чего-то и невозможности неравносильны. 66

4.16. Очевидности как источник ошибок. 66

4.17. Недооценка собственной ошибочности. 66

4.18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину. 66

4.19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы. 67

4.20. Необходимость выбора актом веры. 67

4.21. Эффект первой и последней прочитанной книги. 68

4.22. Преувеличение роли компьютерного моделирования. 68

4.23. Доказательство по аналогии. 68

4.24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной. 68

4.25. Санкт-Петербургский парадокс. 69

4.26. Различие между опасностью и риском. 70

4.27. Систематическая ошибка, связанная с эгоцентричностью. 70

4.28. Систематическая ошибка, связанная с атрибуцией причины. 70

4.29. Если вероятность некого события является невычислимой, ей полагают нулевой. 70

4.30. Упущение того, что безопасность системы определяется наиболее слабым её звеном. 70

4.31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть. 70

4.32. Невычислимость. 71

4.33. Наблюдательная селекция. 73

5. СПЕЦИФИЧЕСКИЕ ОШИБКИ, ВОЗНИКАЮЩИЕ В ДИСКУССИЯХ ОБ ОПАСНОСТИ НЕКОНТРОЛИРУЕМОГО РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. 73

5.1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности. 73

5.2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 74

5.3. Критика ИИ Пенроузом. 74

5.4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ. 75

5.5. Прогресс в области программного обеспечения отсутствует. 75

5.6. Никто в мире не занимается такой ерундой как ИИ. 76

5.7. ИИ – это разные приложения, вроде распознания образов. 76

5.8. Антропоморфизм. 76

5.9. Достаточно отключить ИИ от питания, чтобы его остановить. 76

5.10. Даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир. 76

5.11. У ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред. 76

5.12. ИИ будет осваивать космос, оставив Землю человеку. 76

5.13. Любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо. 77

5.14. Современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки лет. 77

5.15. Прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно. 77

5.16. Человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы. 77

5.17. ИИ невозможен, потому что он мыслит алгоритмически, а человек неалгоритмически. 77

5.18. ИИ будет примерно такой же умный, как и человек. 78

5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами. 78

5.20. Представление, что ИИ будет много. 78

5.21. Различия в понимании того, что, собственно, является интеллектом. 78

5.22. Однозначное отождествление ИИ как отдельного объекта. 79

5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен. 79

5.24. В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен. 79

5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке. 79

5.26. «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности». 80

5.27. «Маловероятно, что наш проект по ИИ выйдет из-под контроля». 80

5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы. 80

5.29. Нетождественность способностей и намерений. 80

6. СПЕЦИФИЧЕСКИЕ ОШИБКИ, СВЯЗАННЫЕ РАССУЖДЕНИЯМИ О РИСКАХ НАНОТЕХНОЛОГИЙ. 80

6.1. Нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома. 80

6.2. Нанофабрики безопаснее наноассемблеров. 80

6.3. Нанотехнологии настолько далеки от нас во времени, что о них можно не думать. 80

6.4. «Нанотехнологии придумали только для отмывания денег» 81

6.5. Нанотехнологии связаны только с мелкодисперсными материалами. 81

6.6. Нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде. 81

6.7. Если бы нанороботы были возможны, их бы уже создала природа. 81

6.8. Нанороботы не смогут размножаться в природной среде. 81

6.9 Нанороботов в природной среде будет легко уничтожить взрывом бомбы. 81

6.10. Нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально. 82

6.11. Нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер. 82

6.22. Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми? 82

6.23. Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать? 83

6.24. Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования? 83

6.25. Эволюция не сумела произвести ассемблеры, не говорит ли это о том, что они являются либо невозможными, либо бесполезными? 83

6.26. Доказательства реализуемости ассемблеров и других наномашин могут казаться обоснованным, но почему бы просто не подождать и не посмотреть, действительно ли они могут быть разработаны? 84

6.27. Наша склонность ожидать грандиозных результатов от грандиозных причин. 84

6.28. Детали наномашин буду слипаться в силу квантовых, вандерваальсовых и прочих сил. 84

6.29. Активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов. 84

6.30. Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом. 85

7. ПАЛЕОФУТУРОЛОГИЯ. 85

8. ВЫВОДЫ ПО АНАЛИЗУ КОГНИТИВНЫХ ИСКАЖЕНИЙ В ОЦЕНКЕ ГЛОБАЛЬНЫХ РИСКОВ. 86

9. ВОЗМОЖНЫЕ ПРАВИЛА ДЛЯ ЭФФЕКТИВНОЙ ОЦЕНКИ ГЛОБАЛЬНЫХ РИСКОВ. 87

Литература по оценке рисков. 88

Раздел 1. Введение. 90

1.1. Рассматриваемый промежуток времени: XXI век. 91

1.2. Проблемы численного вычисления вероятностей различных сценариев. 92

1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами. 99

1.4. Глобальные катастрофы и горизонт прогноза. 100

1.5. Историография. 102

1.6. Уровни возможной деградации. 104

РАЗДЕЛ 2. ОДНОФАКТОРНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 107

2.1. АТОМНОЕ ОРУЖИЕ. 108

2.1.1. Ядерная зима. 108

2.1.2. Полное радиоактивное заражение. 111

2.1.3. Сверхбомба. 113

2.1.4. Накопление антиматерии. 114

2.1.5. Дешёвая бомба. 114

2.1.6. Равномерная атака на радиационные объекты. 115

2.1.7. Взрыв мощных бомб в космосе (искусственный гамма-всплеск). 116

2.1.8. Интеграция поражающих факторов ядерного оружия. 116

2.1.9. Стоимость. 116

2.1.10. Вероятность данного события. 116

2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени. 120

2.1.12. Стратегия сдерживания под вопросом. 121

2.1.13. Выводы по ядерной войне. 122

2.2. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ. 122

2.2.2. Выводы по рискам, технологии для которых уже готовы. 127

2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий. 127

2.3. БИОЛОГИЧЕСКОЕ ОРУЖИЕ. 128

2.3.2. Вероятность применения биологического оружия и её распределение во времени. 134

2.4. СУПЕРНАРКОТИК. 136

2.5. РИСКИ, СВЯЗАННЫЕ С САМОКОПИРУЮЩИМИСЯ ИДЕЯМИ – МЕМАМИ. 140

2.6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. 141

2.6.1. Общее описание проблемы. 141

2.6.2. Что нужно для ИИ в смысле технологии. 141

2.6.3. Почему ИИ является универсальным абсолютным оружием. 142

2.6.4. Система целей. 143

2.6.5. Борьба ИИ-проектов между собой. 143

2.6.6. Усовершенствованный человек. 144

2.6.7. ИИ и его аплеты. 144

2.6.8. «Бунт» ИИ. 144

2.6.9. Скорость старта. 145

2.6.10. Сценарии «быстрого страта»: 145

2.6.11. Медленный старт и борьба разных ИИ между собой. 146

2.6.12. Плавный переход. 146

2.6.13. «Восстание» роботов. 148

2.6.14. Контроль и возможность истребления. 148

2.6.15. ИИ и его цели. 149

2.6.16. ИИ и государства. 150

2.6.17. Вероятность появления ИИ. 150

2.6.18. Другие риски, связанные с компьютерами. 152

2.6.19. Время возникновения ИИ. 153

2.7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛГИЯМИ. 154

2.7.1. Робот-распылитель 154

2.7.2. Самовоспроизводящийся робот. 154

2.7.3. Стая микророботов. 155

2.7.4. Армии крупных боевых роботов, выходящие из-под контроля. 155

2.7.5. Неограниченное распространение нанороботов. 155

2.7.7. Вероятность возникновения нанороботов и возможное время для этого события. 159

2.8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ЕСТЕСТВЕННЫХ ПРИРОДНЫХ КАТАСТРОФ. 159

2.8.1. Отклонение астероидов. 160

2.8.2. Создание искусственного сверхвулкана. 160

2.9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ. 162

2.9.1. Неудачный физический эксперимент. 162

2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия. 166

2.10. РИСКИ, СВЯЗАННЫЕ С ОСВОЕНИЕМ КОСМИЧЕСКОГО ПРОСТРАНСТВА. 166

2.10.1. Атака на Землю с помощью космического оружия. 166

2.10.1. Ксенобиологические риски. 167

2.10.2. Столкновение с превосходящими нас разумными силами. 168

2.10.3. Риски, связанные с программой SETI. 169

2.11. РИСКИ, СВЯЗАННЫЕ С РАЗМЫВАНИЕМ ГРАНИЦ МЕЖДУ ЧЕЛОВЕКОМ И НЕЧЕЛОВЕЧЕСКИМ. 173

2.11.1. Риски, связанные с проблемой «философского зомби». 173

2.12. ПРИРОДНЫЕ РИСКИ. 174

2.12.1. Геологические катастрофы. 174

2.12.2. Извержения сверхвулканов. 174

2.12.3. Падение астероидов. 176

2.12.4. Зона поражения в зависимости от силы взрыва. 179

2.12.5. Солнечные вспышки и увеличение светимости. 181

2.12.6. Гамма-всплески. 183

2.12.7. Сверхновые. 184

2.12.8. Глобальное потепление. 184

2.12.9. Сверх-цунами. 186

2.12.10. Сверх-землетрясение. 187

2.12.11. Переполюсовка магнитного поля Земли. 187

2.12.13. Возникновение новой болезни в природе. 188

2.12.14. Маргинальные природные риски. 188

2.12.15. Переход вакуума в состояние с более низкой энергией. 189

2.12.16. Неизвестные процессы в ядре Земли. 189

2.12.17. Взрывы других планет Солнечной системы. 191

2.12.18. Немезида. 192

2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип. 192

2.12.20. Ослабление устойчивости и человеческие вмешательства. 193

2.13. ВИДОВЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ. 194

2.13.1. Исчерпание ресурсов. 194

2.13.2. Перенаселение. 195

2.13.3. Крах биосферы. 195

2.13.4. Социально-экономический кризис. Война. 196

2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению). 196

2.13.6. Старение вида. 196

2.13.7. Вытеснение другим видом. 197

2.14. НЕИЗВЕСТНЫЕ НАМ СЕЙЧАС ПРИЧИНЫ КАТАСТРОФ. 198

2.14.1. Закон Мура в отношении глобальных катастроф. 198

2.15. «Конструктор» однофакторных сценариев глобальной катастрофы. 199

2.15.1. Общие признаки любого опасного агента. 199

2.15.2. Способы возникновения. 200

2.15.3. Выход из точки и начало распространения. 200

2.15.4. Распространение важнее разрушения. 201

2.15.5. Способ распространения. 202

2.15.6. Способ причинения смерти. 203

2.15.7. Типичные виды разрушающего воздействия: 204

2.15.8. Временная структура события. 205

2.15.9. Предаварийные ситуации 206

2.15.10. Намеренная и случайная глобальная катастрофа. 206

2.15.11. Машина судного дня. 207

3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ. 209

3.1. Интеграция различных технологий, создающие ситуации риска. 209

3.2. Парные сценарии. 210

3.3. Исторические аналогии глобальной катастрофе. 214

3.4. Неизбежность достижения устойчивого состояния. 217

3.5. Рекуррентные риски. 218

3.6. Глобальные риски и проблема темпа. 218

3.7. Сравнительная сила разных опасных технологий. 220

3.8. Последовательность возникновения различных технологий во времени. 220

3.9. Сопоставление факторов риска разных технологий. 221

3.10. Цели создания. 224

3.11. Социальные группы, готовые рискнуть судьбой планеты. 227

3.12. Обобщающий коэффициент, связанный с человеческим фактором. 228

3.13. Принятие решения о ядерном ударе. 229

3.14. Цена вопроса. 231

4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА. 233

4.2. События, которые могут открыть окно уязвимости. 234

4.3. Системные кризисы. 235

4.4. Кризис кризисов. 243

4.5. Технологическая Сингулярность. 244

4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов. 247

4.7. Системный кризис и технологические риски. 249

4.8. Степень мотивации и осведомленности как факторы глобального риска. 249

5. КРИПТОВОЙНЫ, ГОНКА ВООРУЖЕНИЙ И ДРУГИЕ СЦЕНАРНЫЕ ФАКТОРЫ, ПОВЫШАЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 252

5.1. Криптовойна. 252

5.2. Уязвимость к сверхмалым воздействиям. 252

5.3. Гонка вооружений. 253

5.4. Моральная деградация. 254

5.5. Враждебность как сценарный фактор. 255

5.6. Месть как сценарный фактор. 255

5.7. Война как сценарный фактор. 256

5.8. Деградация биосферы. 258

5.9. Глобальная дезинфекция. 258

5.10. Экономика как сценарный фактор. 259

5.11. Точка абсолютной уязвимости. 259

5.12. Раскачивающее управление. 260

5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска. 260

5.14. Открытия. 263

5.15. Общие модели поведения систем на грани устойчивости. 264

5.16. Переход катастрофического процесса с одного уровня на другой. 265

5.17. Схемы сценариев. 265

5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий. 266

6. ГЛОБАЛЬНЫЕ РИСКИ ТРЕТЬЕГО РОДА. 266

6.1. Определение. 266

6.2. Закон Мура. 267

7. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ. 271

7.1. Общее понятие о предотвратимости глобальных рисков. 271

7.2. Активные Щиты. 273

7.3. Действующие и будущие щиты: 276

7.4. Последовательность действия щитов разного уровня. 277

7.5. Сохранение мирового баланса. 277

7.6. Система контроля. 278

7.7. Сознательная остановка технологического прогресса. 279

7.8. Средства превентивного удара. 280

7.9. Удаление источников рисков на значительное расстояние от Земли. 281

7.10. Выживание на природе, создание отдалённых поселений. 282

7.11. Создание досье на глобальные риски и рост общественного понимания. 282

7.12. Убежища и бункеры. 282

7.13. Опережающее расселение в космосе. 286

7.14. Всё как-нибудь обойдётся. 286

7.15. Деградация в устойчивое состояние. 287

7.16. Предотвращение одной катастрофы с помощью другой. 287

7.17. Организации, ответственные за предотвращение катастрофы. 288

7.18. Проблема моделирования сценариев глобальной катастрофы. 290

7.19. Глобальные катастрофы и проблема веры. 295

7.20. Глобальные катастрофы и устройство общества. 300

7.21. Глобальные катастрофы и текущая ситуация в мире. 303

7.22. Мир после глобальной катастрофы. 303

7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф. 305

8. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 306

8.1. Закон Парето. 306

8.2. Гипотеза о «Чёрной королеве». 307

8.3. Парадокс Ферми. 308

8.4. «Doomsday argument». Формула Готта. 309

8.5. Рассуждение о конце света Картера-Лесли. 311

8.6. Аналогия с человеком. 314

8.7. Непрямая оценка вероятности природных катастроф. 315

8.8. Рассуждение о Симуляции. 317

8.9. Интеграция различных непрямых оценок. 320

9. ЗАКЛЮЧЕНИЕ. НАИБОЛЕЕ ВЕРОЯТНЫЙ СЦЕНАРИЙ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 322

10. Рекомендуемая литература: 325

Литература: 328

5 Е. Юдковски 333

6 Искусственный интеллект как позитивный и негативный фактор глобального риска. 333

7 Перевод с английского А.В. Турчина 333

8 Угрозы уничтожения человечества 388

9 Неуничтожимость как главная сверхзадача цивилизации 390

10 Качества неуничтожимой цивилизации 393

11 О необходимости разработки теоретических основ решения задач неуничтожимости человечества 394

ПРИМЕЧАНИЯ

1)Подробнее можно посмотреть, например, здесь: http://www.nuclear-weapons.nm.ru/theory/dirty_bombs.htm

2)Данные отсюда: http://www.tls.timesonline.co.uk/article/0,,25350-2648363,00.html

3)Или 1-2 миликюри, как говорил Жуйков, заведующий радиоизотопной лабораторией Института ядерных исследований РАН, на радиостанции «Эхо Москвы».

4)Это сказано здесь: http://pripyat.com/ru/publications/2006/04/08/750.html

5)Её можно найти в Интернете здесь: http://ecc.ru/XXI/RUS_21/ARXIV/2002/anisimov_2002_4.htm

6)http://www.ieer.org/russian/pubs/dlrtbk-r.html

7)В книге «Развитие Земли». Сорохтин Олег Георгиевич, Ушаков Сергей Александрович. Глава «ПРОИСХОЖДЕНИЕ И ЭВОЛЮЦИЯ АТМОСФЕРЫ НА ЗЕМЛЕ». Текст доступен здесь: http://astro-world.narod.ru/archive/books/geo/book2/ch10.pdf

8)«Обнаружен огромный подземный океан». http://geoman.ru/news/item/f00/s02/n0000244/index.shtml

9) «Газовые гидраты и климат Земли». http://geo.web.ru/db/msg.html?uri=page3.htm&mid=1161561

10)Сывороткин Владимир Леонидович. «Экологические аспекты дегазации Земли».

http://geo.web.ru/db/msg.html?mid=1172931&uri=part22.htm

11)А. ПОРТНОВ. «Как погибла жизнь на Марсе» http://www.meteorite.narod.ru/proba/stati/stati107.htm

12)http://www.oko-planet.spb.ru/?open&h=1&p=6_2&type=viewmes&site=235C6

13)http://www.wired.com/science/discoveries/news/2007/11/igem_winner сообщение об этом прокомментировано следующей шуткой: «Осторожно, это продукт содержит маленькие части, которые могут истребить нашу цивилизацию. Использовать под наблюдением взрослых».

14)По этой ссылке можно посмотреть цены на подержанные ДНК-синтезаторы: http://www.labx.com/v2/newad.cfm?catID=14 и дешевели со скоростью примерно два раза в год. ДНК секвенсоры, то есть считыватели, были ещё дешевле, но сейчас ссылка на них на этом сайте не работает.

15)Ю. Чирков «Ожившие химеры». М.,1989, Стр. 106.

16)Там же, стр. 109.

17)http://www.homeoint.org/kotok/vaccines/news12.02.htm

18) «Генетический хакер может создать биологическое оружие у себя дома». Перевод статьи «Биовойна для чайников» - «Biowar for Dummies» by Paul Boutin http://www.membrana.ru/articles/global/2006/02/22/220500.html

19) ‘Our final hour’ – стр. 74.

20)«By demonstrating that their simulation is realistic, the researchers say, these results suggest that an entire mammal brain could be completely modeled within three years, and a human brain within the next decade». http://www.technologyreview.com/Biotech/19767/

21)Русский перевод статьи доступен здесь: http://mikeai.nm.ru/russian/superint.html опубликовано здесь: Int. Jour. of Future Studies, 1998, vol. 2.

22)'Кило процессоров на кончике пальца в разы обгоняет классические камни' http://www.membrana.ru/articles/technic/2006/04/05/190100.html

23)Как утверждает Юдковски в дискуссионном листе SL4.

24)См. Е. Юдковски. Таблица критических ошибок Дружественного ИИ. http://www.proza.ru/texts/2007/07/09-228.html

25)Мною выполнен перевод их на русский язык: Siai рекомендации по созданию дружественного ИИ. http://www.proza.ru/texts/2007/07/13-272.html

26)В отношении шахмат этот принцип сформулировал Стейниц.

27)Перевод опубликован в журнале «Компьютере». http://old.computerra.ru/online/firstpage/14084/for_print.html

28)Краткие сведения о проекте есть в Википедии. http://en.wikipedia.org/wiki/Eurisko

29)http://www.darpa.mil/ipto/programs/bica/ Доступ с российских компьютеров закрыт.