|
Структура глобальной катастрофы.
Введение.
Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)
Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.
Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.
Термины
В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):
ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку
Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».
Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.
Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.
Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.
Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.
Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.
Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».
Часть 1
Методология.
Основной частью методологии представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.
Наши рассуждения о глобальных рисках подвержены тем или иным ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школы связан с термином «ошибки». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков, поэтому мы должны гораздо ответственнее подойти к культуре своего мышления о них. При этом важно помнить тезис Юдковски, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.
Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедится в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, трети ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайнемаловероятно. Исследователь глобальных рисков должен знать об этих подводных камней. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков», которая выходит в Оксфорде в 2007 году в сборнике «Риски глобальной катастрофы» и в соответствии с любезным разрешением автора была переведена мной на русский язык и опубликована в первом томе серии «Диалоги о будущем». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь ошибок. Однако многие описания ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти. (www.theoildrum.com)
Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.
Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждого отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (См. например, мою статью «Природные катастрофы и антропный принцип», где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)
Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.
Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».
Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.
Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.
Возможные виды ошибок и когнитивных искажений разделены на следующие группы:
1. Ошибочные представления о роли ошибок.
2. Ошибки, возможные только относительно глобальных рисков в силу их специфики.
3. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.
4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)
1. Ошибочные представления о роли ошибок.
Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и, в целом, не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.
1.1 Незавершённость этого списка ошибок.
Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.
Под словом когнитивные искажения я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, могущие оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.
2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ.
2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами.
Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. Ник Бостром «Сценарии человеческого вымирания» [Bostrom, 2001].) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым подсчётам, только 1 Гб информации, а влияние их на культуру огромно.)
2.2 Недооценка неочевидных рисков.
Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых ещё много вопросов.
По мере роста наших знаний о природе и могущества техники постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.
Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).
Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.
2.3 Глобальные риски нетождественны национальной безопасности.
Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства - когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а всего мира – перенаселение, равно как и для Московского мегаполиса. Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.
2.4. Ошибка, связанная с психологизацией проблемы.
Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.
2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот.
Вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в неком фантастическом сценарии - инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу 22 века, равно как сейчас вымерли люди, жившие в 19 веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.
2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ.
СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.
В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален никаким образом его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).
2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.
Это имеет несколько последствий.
А) Отвержение некого сценария как фантастического – но глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.
Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, что никто не узнает, что это на самом деле была глобальная катастрофа. Катастрофа станет глобальной только после смерти последнего человека. (Однако в сценариях некого медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Нейджела Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)
В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в том, предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.
Индукция как логический метод имеет границы применимости. Он неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем, на основании того, что нечто было в прошлом всегда, сказать, что так оно будет и в будущем. Особенно опасно применение индукции в рассуждениях в духе, раз этой катастрофы не было в прошлом, то её никогда не будет в будущем. (Однако индукция как логическая процедура применима в вопросах безопасности: с точки обеспечения безопасности трёхразовое периодическое повторение опасного события - очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет.)
2.8 Ошибка, состоящая в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира».
При этом недооценивается опасность конкуренции между разными группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может угрожать жизни на Земле. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
2.9 Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти.
Людей не волнуют глобальные риски, потому что они и так привыкли к неизбежности своей личной смерти в ближайшие десятилетия и выработали устойчивые психологические механизмы защиты от этих мыслей. Наибольший срок реального планирования (а не умозрительных фантазий) можно проследить по долгосрочным реальным инвестициям людей. Отражением которого является покупка дома в ипотеку, пенсионные накопления и воспитание детей – предельный срок этих проектов – 30 лет, за редким исключением, а обычно меньше 20. Однако не факт, что такое планирование на самом деле эффективно; и люди в большинстве своём знают, что жизнь гораздо более непредсказуема. В любом случае, каждый человек имеет некий горизонт событий, происходящее за пределами которого представляет для него чисто умозрительный интерес, а ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия.
2.10 Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания.
Часто обнаруживается, что есть множество мнений о какой-либо проблеме, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». В силу этого исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.
2.11 Ошибка, связанная с тем, что глобальным рискам, как целому, уделяют меньше внимания, чем рискам отдельных объектов.
Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию элементов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.
2.12 Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество.
Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными, потому что так может рассуждать одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, что в сумме может давать очень высокий риск.
2.13 Отсутствие ясного понимания того, к кому, собственно, обращены дискуссии о глобальных рисках.
Обращены ли они к гражданам, которые всё равно ничего сделать не могут, к гражданской ответственности учёных, существование которой ещё надо доказать, к правительствам крупных мировых держав или ООН, занятой своими делами, или к неким комиссиям и фондом, специально нацеленным на предотвращение глобальных рисков – чья способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски - с которым все согласны.
2.14 Особенность связи теоретического и практического в отношении глобальных рисков.
Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё не разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, потому что мы, исследователи, не переживём глобальной катастрофы. Однако мы должны принимать практические меры, чтобы этого не случилось. При этом мы можем наблюдать положительный результат: а именно, что некий риск не случился, но трудно установить причины, благодаря чему. Невозможно сказать, почему не произошла термоядерная война – потому что она была невозможна, или потому что нам невероятно повезло, или это результат борьбы за мир.
2.15 Ошибочные модели поведения, связанные с эволюционными психологическими моделями – и не учёт этих моделей в предсказании поведения людей.
Стратегия личного выживания, воспитанная в нас в ходе эволюции, подразумевает правило: тот, кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет, возможно, большее потомство. Те виды, которые готовы пожертвовать тысячами своих особей, направляя их во все возможные стороны, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, что эта стратегия смертельна для человечества в целом. Даже если человечество будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Однако отдельные страны неоднократно рисковали своей судьбой, вступая в опасные конфликты.
2.16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему.
В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).
2.17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти.
Оно возникает из ошибочного представления о том, что в случае глобальной катастрофы гибель обязательно будет лёгкая и безболезненная, как будто выключили свет. Но в реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.
2.18 Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию.
Но опыт показывает, что даже когда члены правлений компаний, принимающих критически опасные решения, высказывались против – их не слушали. (Перед катастрофой Челленджера был человек, который возражал против запуска, понимая его опасность.) Тем более не стоит ожидать, что эти люди прислушаются или хотя бы будут читать высказывания тех, кто находится за пределами их тусовки. (Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».)
2.19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно.
Наоборот, циркуляция определённых идей в обществе может создать некий фон, который косвенно повлияет на те или иные механизмы принятия решений.
2.20. Гордыня исследователя.
Занятия анализом глобальных рисков может вызвать у человека ощущение, что он делает самое важное дело во вселенной, а потому является сверхценной личностью. Это может привести в определённых обстоятельствах к тому, что он будет более глухим к новой поступающей информации. Окружающие люди легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона о том, что каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Зашита от этого – относится к глобальным рискам нейтрально, также как к препарированию лягушек.
2.21. Интуиция как источник ошибок в мышлении о глобальных рисках.
Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу своей интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознаваемых предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть их там, где их нет.
2.22 Научное исследование глобальных рисков также сталкивается с рядом проблем.
Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – это именно то, чего мы хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Не может быть статистики по глобальным рискам. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках.
2.23 Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска.
Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как теорема о конце света (Doomsday Argument, см. далее), а также эффекты избирательности наблюдения, однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.
2.24 Методы, применимые к управлению экономическими и прочими рисками, не применимы для глобальных рисков.
Их нельзя застраховать, на них невозможно ставить пари: некому и нечего будет выплачивать в случае страхового случая. И даже малейшая их вероятность неприемлема. Поэтому же некому оплачивать их исследований. Если же эти исследования проводятся в рамках одной страны или культуры, в них может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблем национальной безопасности для этой общности.
2.25 Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.
Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.
2.26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока они замкнуты на Земном шаре, и переселение в космос автоматически снимет проблему.
Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов, может передаваться со скоростью света.
2.27. Психологическая особенность человека, называемая «пренебрежение масштабом».
Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе
выражаемое в готовности потратить деньги (Юдковски 2006). В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.
2.28. Преувеличение прогностической ценности экстраполяции.
Иначе говоря, потенциальная ошибочность идеи о том, что «кривая вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, там развито понимание, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». И, тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» - анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне достигнет уровня крыш, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой нас приведёт в золотой век, где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски никуда не денутся.
2.29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света.
А.Назаретян описывает базовую потребность людей в сильных эмоциях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя их каждый раз, что так на самом деле нужно. Иначе говоря, нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий в разы, введя физическое ограничение скорости машин да 50 км/час, но общество в этом не заинтересовано.)
2.30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска.
С детства выученные представления о том, каковы поражающие факторы ядерного оружия, существенно отличаются от факторов принятия решения о его применении – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда – он может только управлять разными оружиями.
Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. То есть если человек погиб на войне, это означает много возможных причин его смерти, а не только то, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: это может быть и бытовая ссора, и самоубийство, и несчастный случай на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.
2.31. «Шок будущего»: Ошибки, связанные с разными горизонтами возможного будущего у разных людей.
Выделяют пять Уровней «Шока будущего». Само понятие введено футурологом Э.Тофлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные у разных людей. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы им противостояния. При этом все эти варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко по шкале шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:
Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)
Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)
Шок 2-его уровня – технологии, описываемые к классической научной фантастике середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)
Шок 3-его уровня – сверхтехнологии, которые появились на горизонте только в конце ХХ века: нанотехнологии (умная пыль), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: серая слизь, сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)
Шок 4 уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса и неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность» далее.
Риски ошибки, связанные с Шоком будущего, состоят в том, что каждый человек, моделирующий будущее, имеет разный горизонт возможного и невозможного, определяемый скорее его психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда риски невероятных катастроф затмят в глазах человека обычные риски. При этом свои риски глобальной катастрофы есть на каждом уровне.
Катастрофа в виде ядерной войны понятнее, чем псевдодружественный ИИ.
2.32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной.
Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, которые создают системный эффект. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут давать быстротекущую – как СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотех упростит создание ядерных бомб, ИИ упростит создание нанотеха, а нанотех позволит узнать тайны мозга, что приблизит создание ИИ. Эта конвергенция рисков идёт параллельно конвергенции ключевых современных технологий, называемых NBIC: nano-bio-info-cogno, то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.
2.33 Недооценка системных факторов глобального риска.
Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе.
Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Оно не находится в каком-то одном месте, и не зависит ни от одного конкретного ресурса или человеческой организации. Существуют самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают в себя всё большое число участников сообщества – но не зависят от поведения ни одного из них и не имеют центра.
Вот неполный и неточный список самовоспроизводящихся структурных кризисов, просто в качестве иллюстрации (примеры в скобках тоже условны, так как возможны и другие интерпретации тех же событий)
2.34 Представления в духе: «Мы все должны бороться за мир».
Но если слишком много людей и организаций будут прикладывать множество разнообразных усилий в борьбе за спасение планеты, то получится «лебедь, рак и щука» в лучшем случае.
2.35 Недооценка предкризисных событий как элементов глобальной катастрофы.
Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само можно рассматривать как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий - окажутся гораздо уязвимее к любым другим факторам риска. Это возвращает значение тем факторам, которые обычно называются «глобальными рисками». Например, падение астероида, размером с Апофис (диаметр 400м) само по себе не может истребить человечество, так как взрыв составит только 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившем остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году, оцениваемому в 200 мегатонн тротилового эквивалента. Однако поскольку связность современной цивилизации значительно возросла, возросла и роль отдалённых – экономических и структурных последствий – разных катастроф. Огромное цунами от падения Апофиса привело бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному - с соответствующим нарастанием необратимых последствий.
2.36. Это слишком плохо, чтобы быть правдой.
Человеку свойственно мысленно защищаться от самых негативных сценариев, приписывая им меньшую вероятность. Например, нетрудно представить себе какой-то автомобиль разбитым, но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает мыслей об этом событии.
2.37. Это слишком невероятно, чтобы быть правдой.
Логика в духе «этого не может быть, потому что не может быть никогда». Мы имеем массу исторических примеров того, как нечто, что было «невероятным», вдруг стало возможным, а потом и обыденным (самолёты, атомные бомбы, интернет). Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного, но даже и последнее в будущем может оказаться возможным.
2.38 Идеи о торможении неких технологий как способе противостояния глобальным рискам.
Они могут казаться привлекательными, так как дают видимый результат в краткосрочной перспективе в определённом месте. Но группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.
2.39 Человеческая приспособляемость высока и продолжает неограниченно расти благодаря новым технологиям.
Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, улучшаются быстрее, чем средства защиты.
2.40 Неспособность для системы смоделировать саму себя.
Хотя мы не можем исследовать глобальные катастрофы экспериментально, мы можем рассчитывать, что благодаря успехам компьютерного моделирования мы сможем обсчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, через неё мы всё равно не узнаем неизвестные нам факторы – например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает в себя тот факт, что мы моделируем мир. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, как элемент, самого себя. Только модель с определённым огрублением может быть рассчитана. Если мы исследуем будущее поведение системы с искусственным интеллектом, то это не работает, так как модель тоже должна содержать ИИ. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Мы не можем выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет только интерпретация, то есть ещё одна модель.
2.41 Неспособность человека представить свою собственную смерть.
Неспособность людей представить свою собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы – или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто», которое будет, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому ему легче представлять глобальную катастрофу с точки зрения выжившего, что соответственно, делает её не глобальной.
2.42 Путаница между очень большой катастрофой и окончательной глобальной катастрофой.
Примером такой разницы будет катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами – в том и в другом случае он погибнет почти наверняка, и всё, что ему ценно, тоже погибнет. Однако с точки зрения человечества как целого это разница как между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой
и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.
2.43 «После нас хоть потоп».
Модель мышления, в которой полезность ограничена некоторой границей в будущем. Самым ярким случаем является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что она даже ниже её! Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков она не распространяется. Таким образом, разница только количественная, но у каждого есть временной промежуток, события после которого его не волнуют – во всяком случае, настолько, чтобы он был готов совершать капиталовложения. Конечно, это оправдывается тем, что «они сами там со всем разберутся».
2.44. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели.
Любая такая позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей, и в результате приводит к меньшей выживаемости. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».
2.45. Религиозные мировоззрения и апокалиптические культы.
Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями на эту тему тянется шлейф ненаучности. Ключевое отличие апокалиптических культов – концентрация на дате события – и «откровение» или пророчество как способ её обнаружения. (В духе распространённой теории о том, что календарь Майя заканчивается в 2012 году.) Такие культы часто носят социально деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. (В 2007 году внимание СМИ привлекла группа сектантов, зарывшихся в пещеру в ожидании конца света в Пензенской области.) Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.
Источник: katastrofa.h12.ru.
Рейтинг публикации:
|
