|
3. ОШИБКИ, МОГУЩИЕ КАСАТЬСЯ ЛЮБЫХ РИСКОВ, ПРИМЕНИТЕЛЬНО К ГЛОБАЛЬНЫМ РИСКАМ.
3.1. Основной причиной человеческих ошибок является сверхуверенность.
Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими механизмами в человеческом мозгу, и вероятно, имела эволюционное значение – поэтому обнаружить её в себе и искоренить её очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройства человеческого мышления противоречит идее рассмотрения множества равновероятных будущ: гораздо привычнее думать о том, что нечто или есть, или его нет. Наконец, однажды сделанный выбор в сторону одной интерпретации становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.
3.2 Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых.
Медленный процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и гибнут часто от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Все новые технологии – нано, био, ИИ, когнитивная наука - относятся к быстрым процессам. Их стремительное развитие затмевают любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.
3.4 Возрастные особенности восприятия глобальных рисков.
Более молодые люди склонны недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.
3.5. Споры не рождают истину о глобальных рисках.
Дискуссии между людьми обычно приводят к поляризации мнений. То есть человек, который имел в начале две гипотезы, которым приписывал равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. в (Юдковский 2007).
3.6. Навык ведения споров вреден.
Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение всего этого списка ошибок для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.
3.7. Желание смерти.
Фрейд высказывал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может бессознательно подталкивать человеку выбрать стратегии, ведущие к глобальным рискам.
3.8. Косность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения.
Ч.Доукинс, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, как репликатор, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, ум людей вынужден вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерками того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце 18 века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и идеи о необходимости мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.
3.9. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности.
Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.
Например: для того, чтобы доказать опасность некого самолёта, достаточно указать на то, что в некоторых экспериментах металл обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.
Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.
С точки зрения науки мы должны доказывать, что что-то существует, а с точки зрения безопасности - доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.
3.10. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе.
Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология» перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или тоже самое в случае с реакторами. Сторонники АЭС будут тратит свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, - это может доходить до попыток заткнуть оппонентов.
3.11. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться.
Наиболее серьёзные проблемы возникают внезапно. Чем серьёзнее проблема, тем больше её энергия и – возможно – быстрее темп её развития. И тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы, поэтому они могут развиваться слишком быстро, чтобы к ним успеть подготовиться в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы заранее. Например, несчастные случаи развиваются внезапно. «Знал бы, где упаду – соломку бы постелил».
3.12. Более конкретизированные риски воспринимаются как более опасные, чем описанные в общих словах.
Например, "мятеж на ядерной подводной лодке" выглядит более устрашающе, чем "крупная морская катастрофа". «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной». (Юдковски 2007) Подробнее см. в статье Юдковского, где описаны конкретные психологические эксперименты, подтверждающие наличие этой систематической ошибки.
3.13. Идея о том, что мышление о глобальных рисках – пессимистично.
Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. По минному полю надо идти осознано – танцевать на нём с закрытыми глазами – это не оптимизм.
3.14 «Теории заговора» как препятствие для научного анализа глобальных рисков.
Циркулирующие в обществе разнообразные «теории заговоров», вроде новой хронологии Фоменко, набили оскомину. Тем более что большинство, если не все из них, ложно, а их предсказания почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор также знает рецепт, как с этим риском бороться. Тогда как правильнее утверждать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.
Чем хуже мы прогнозируем будущее, тем оно опаснее. То есть главная опасность будущего - его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. При этом они предполагают сверхуверенность в собственных прогностических способностях. Хорошее предсказание будущего не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.
Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. И что Бен Ладен это тоже понимает, и на это, возможно, рассчитывает. «Теории заговора» всегда подразумевают, что есть некие ОНИ, которые с нами что-то делают, скрывают и т. д. Это подрывает наше осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, «теории заговора» неспособны стыковаться друг с другом, формулируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве таковой. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.
Вместе с тем, из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий, тем не менее, не могут оказаться правдой. «Даже если вы не можете поймать чёрного кота в чёрной комнате – это ещё не значит, что его там нет».
3.15. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов.
Краткосрочный прогноз учитывает текущее состояние системы, к таковым относится большинство обсуждений на тему политики. Среднесрочный учитывает возможности системы и текущие тенденции. Долгосрочный учитывает только развитие возможностей. Поясню это следующим примером:
Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в неправильном месте. А в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, в счёт идёт только количество наработанного плутония.
При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи – 25 лет – это краткосрочный прогноз. А в области производства микропроцессоров – 1 год.
3.16. Специфика человеческой эмоции страха.
Способность бояться включается в ответ на конкретный стимул в конкретной ситуации. Наш орган страха не предназначен для оценки отдалённых рисков. Это выражено в русской пословице: «Пока гром не грянет, мужик не перекрестится». С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.
3.17. Недооценка удалённых событий (discount rate).
Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и во времени. Например, случившееся в древности наводнение, погубившее миллион человек будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это известно как discount rate – «уровень скидки». (См. статью об ошибках в оценке пика нефти). Этот дискаунт действует в отношении оценка полезности и риска будущих событий. При этом он имеет как рациональный, так и иррациональный характер. Рациональный дискаунт – это дискаунт, который делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, - и этот дискаунт есть линейная функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро убывающий дискаунт, который убывает экспоненциально во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.
3.18. Сознательное нежелание знать неприятные факты.
Это проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем – то есть здесь проявляется discount rate.
3.19. Эффект смещения внимания.
Чем больше некий человек уделяет внимания одной возможной причине глобальной катастрофы, тем меньше он уделяет другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и также вредна.
3.20. Интернет
Интернет, как подчёркивает сэр Мартин Рис (с. 65), позволяет создать газету «я сегодня», путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что в Интернете низкий уровень достоверности информации, поскольку значительная часть хорошей достоверной информации находится в платных изданиях, например, статьи в Nature по 30 долларов за статью, а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, интернет ускоряет доступ к информации и ускоряет её поиск.
3.21. Верования.
Трудно заметить свою верования, так как она воспринимается как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции, в частности, связана с принципом «иншала» - на всё воля Аллаха. Поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь – день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет (стр. 65), что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы – это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или «научный» характер, как вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы выявить верование полезно задаться вопросом: «Какое бы событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?»
3.22. Врождённые страхи.
У многих людей есть сильные врождённые страхи – змей, высоты, воды, болезней. Не трудно предположить, что они будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них не похожи. Может влиять и посттравматический синдром, когда некий сильный испуг запомнился и теперь все похожие вещи влияют. Наоборот, сильные желания могут подавлять страхи. «Если нельзя, но очень хочется, то можно».
3.23. «Убить гонца, принёсшего плохую весть».
Недовольство переносится не на сам источник риска, а на человека, который о ней сообщил.
3.24. Трудность в определении границ собственного знания.
Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежелании принять новые сведения. А.Камю: «Гений – это ум, осознавший свои пределы».
3.25. Юмор.
Шутка даёт право человеку законно говорить неправду. Соответственно, это создаёт ожидание у тех, кто слышит неожиданную новость, что это шутка. Охранник посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом. Тот не поверил и выключил связь. Бомба взорвалась.
3.26. Паника.
Гипертрофированная реакция на стресс приводит к ошибочным и опасным действия. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, один человек, в мирное время придерживавшийся ахимсы (принцип йоги о неубиении живых существ), во время войны разработал план взрыва дамб в германии, чтобы затопить города.
3.27. Сонливость и другие виды естественной неустойчивости человеческого сознания.
По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя это относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияют и на выводы конструктора или составителя некой инструкции, приведя к допустим, к ошибке в чертеже.
3.28. Склонность людей бороться с подобными опасностями, какие уже были в прошлом.
Например, было цунами 2004 года - теперь все стали строить системы предупреждений. А в следующий раз это будет не цунами. При этом с течением временем тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) – возрастает.
3.29. Усталость от ожидания катастрофы.
Типична ошибка, состоящая в том, что после того, как некоторая катастрофа случится, все начинают ожидать повторения в ближайшем будущем второй точно такой же, и после того, как это ожидание не исполняется, переводят эту катастрофу в разряд «это было давно и неправда». Так было после теракта 11 сентября. Сначала все ждали повторных атак на небоскрёбы, и строительство небоскрёбов в мире затормозилось. Теперь же все об этом забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Утрата чувствительности общества к предупреждениям.
3.30. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности.
В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем калибровать и отбирать наших экспертов по глобальным рискам по количеству угаданных ими катастроф.
Обнаружена следующая статистика в экспериментах по предсказанию: «Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90%, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1». (Юдковски 2007,1)
«Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту». (Юдковски 2007,1)
Причиной этой ошибки является «сверхуверенность экспертов» – например, потому что эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих мнениях.
3.31 Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта.
Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность.
3.32 Недооценка или переоценка нашей способности противостоять глобальным рискам.
Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.
3.33. Стокгольмский синдром.
Это эффект лояльности или даже влюблённости заложников в похитителя. В каком-то смысле он может проявляться в «смертничестве» - философской концепции, которая одобряет смертность человека и ограниченность его срока жизни 100 годами. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.
3.34. За ошибками оператора стоит неправильная подготовка.
За конкретными ошибками пилотов, операторов, диспетчеров и политиков стоят концептуальные ошибки в их отборе и подготовке. Например, потакание их авторитету (случай со знаменитым египетским пилотом, который по определению не мог ошибаться – и разбил самолёт) и экономия на обучении.
3.35. Группа людей может быть глупее, чем каждый человек в отдельности.
В зависимости от формы организации группы, она может способствовать или препятствовать выработки разумных решений. Хороший пример – штаб или НИИ, плохой пример – стая, толпа или страна, охваченная гражданской войной.
3.36. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие.
Это заставляет человека концентрироваться на один аспектах проблемы, вроде того, нападёт ли А на Б, уменьшая при этом, - погружая в тень внимания, - другие аспекты. Ни один человек не может охватить все мировые проблемы в своём уме, чтобы ранжировать их по степени их опасности и приоритетности. Вряд ли это может и организация.
3.37. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо.
Есть несколько струй мышления о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах.
- прогнозы о «Сингулярности». Суперкомпьютеры, биотехнологии, и нанороботы.
- прогнозы о системном кризисе в экономике, геополитике и войнах.
- прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении итд.
Отдельной строкой: большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля, + религиозные сценарии и фантастические сценарии.
3.38. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить. («Беда не приходит одна»)
Причины этого могут быть:
А) Потому что наше внимание в этот момент полностью отвлекается и разрушается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, и тут в него врезается другая, мчащаяся машина.
Б) Или, в силу влияния аффекта.
В) Когда человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.
Г) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может вдруг вывернуть из-за угла.
Д) Например, грипп чреват воспалением лёгких, при неправильном лечении. То есть первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам.
Е) Непонимание того, что обе аварии могут быть вызваны некой неочевидной общей причиной. Например, что-то обвалилось, человек пошёл посмотреть - что, и тут оно обвалилось целиком.
Ж) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. (Например, человек может так рваться выйти из больницы пораньше, что у него разойдутся швы.)
3.39. Эффект избирательности внимания, сосредоточенного на катастрофах.
Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушиться и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Когда мы замечаем трещины в фундаменте, мы говорим себе: "Оба! Оно же вот-вот рухнет" и начинаем искать другие трещины. Разумеется, мы их находим, и нам не трудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. Наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.
Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её устойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит тоже к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, станция предупреждения о цунами на Гавайях оказалась перед дилеммой: если предупредить население о риске цунами, то в следующий раз ей не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба предупреждения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов.
3.40. Подсознательное желание катастрофы.
Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа таки случилась. Это подталкивает его или преувеличить предвестники приближающейся катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения»
3.41. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса.
Этот тип поведения можно назвать «Синдром Скарамеллы», в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко реагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски затушёвываются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в сказке о мальчике, который кричал «Волк, Волк!», а волка не было. Когда же волк пришёл на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и все сообщения начинают объясняться в терминах пиара и деления денег.
3.42. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа.
Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев документальный фильм-катасрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, даже как нечто приятное и желанное.
3.43. Ошибка «хорошей истории».
Описана у Бострома (Бостром 2001). Регулярное потребление продуктов масс-медиа подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Юдковский называет это «логической ошибкой генерализации на основании художественного вымысла». (Юдковский 2007,1)
Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, и затем рассматриваются возможные следствия этого. Другая - в том, что противники выбираются равными по силе.
Третья - в том, что нормой считается хэппи-энд. Однако в деле предотвращения глобальных рисков не может быть никакого хорошего конца – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.
3.44. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества.
Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». Потому что у любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. Потому что у любой организации есть конкурент. Потому что внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели.
3.45. Секретность как источник ошибок в управлении рисками.
Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и в итоге могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их назначение для предотвращения последующих катастроф, потому что эти результаты никто не знает.
3.46. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии.
Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, тяжёлые хвосты, то именно странные идеи могут быть полезными.
3.47. Идея о том, что безопасность чего-либо можно доказать теоретически.
Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие огромную безопасность, рушились из-за непредусмотренных сценариев. Например, фонд LTCM и самолёт Конкорд. Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».
3.48. Недооценка человеческого фактора.
От 50 до 80 процентов катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей.
3.48. Идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.
Но сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длинною более 1 000 000.)
3.49. Статистика.
В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций, связанная с тем, что она является не описанием однократных фактов, а обобщением над этими описаниями. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего, способами округления, интерпретацией полученных результатов и способами их зрительного представления для других людей. См. тему номера в журнале «КОМПЬЮТЕРА» «Цифры не лгут» от 06.11.2007, там же подробная литература не тему.
3.50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты.
Например, все знают, когда упала атомная бомба на Хиросиму, но мало кто знает, где и когда впервые зафиксирован грипп 1918 года «испанка», унёсший в 100 раз больше жизней. (по одной из версий, 8 марта, около Канзас-Сити, США). Это приводит к тому, что одни риски переоцениваются, и уже в силу этого другие риски недооцениваются.
3.51. Двойная ошибка.
Все перечисленные факторы источников ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может проявиться дважды.
3.52. Анализ глобальных рисков не есть создание прогнозов.
Прогноз даёт конкретные данные о времени и месте. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Но некоторые люди дают очень много прогнозов, надеясь, что хоть один попадёт в цель и человек прославится. Например, анализ рисков в авиации требует усовершенствования разных механизмов
самолёта, а прогноз об авиакатастрофе предполагает, что люди откажутся от рейса в данный день.
3.53. Эффект знания задним числом приводит к тому, что люди восклицают «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности.
Также в силу этого они ждут, что другие люди могли бы легко догадаться о том, что нам уже известно. В отношении глобальных рисков у нас нет
никакого знания задним числом. А в отношении многих других обычных рисков есть. Это приводит к тому, что нам кажется, что глобальные риски так же легко оценить, как уже известные нам риски. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье Юдковски. (Юдковски 2007,1)
3.54. Эффект настройки на источники информации.
Читая литературу, человек в каком-то смысле становится рупором идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В силу этого он становится глухим к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию в нём проявляться особенно ярко.
3.55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы.
Например, изменение курса доллара на несколько процентов воспринимается как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям прогностического триумфа в духе: «ну вот, я же говорил!» - что затем подрывает веру, в первую очередь, свою собственную, в возможность катастрофы.
3.56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное.
На выяснение же более сложного уходят годы анализа, например, так часто бывает при авиакатастрофах. (Не говоря о том, что участники стремятся немедленно подтасовать факты, если они означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем дольше не найдено точное определение причин аварии, тем дольше невозможно защититься от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.
3.57. Есть класс людей, которые придумывают апокалипсические сценарии, чтобы привлечь внимание к своим безумным проектам и добиться их финансирования.
Даже если 99 процентов этих людей явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука.
3.58. Стремление людей установить некий приемлемый для них уровень риска.
У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что сглаживает в целом эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), он не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30% шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.
3.59. Эффект «сверхуверенности молодого профессионала».
Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии.
3.60. Ощущение неуязвимости.
Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции, который состоит в том, что, например, отвоевавшие определённый срок без ранений солдаты начинают чувствовать свою «неуязвимость», и всё более и более повышать свою норму риска. Это же происходит с цивилизацией – чем дольше не было, например, атомной войны, тем в большей мере кажется, что она вообще невозможна и тем более рискованную политику можно проводить.
3.61. Переоценка собственных профессиональных навыков.
Если человек сравнивает то, что он знает, с тем, что он знает, он всегда получает единицу. Это может создать у него иллюзию, что он знает всё. Тогда как адекватная оценка возможна, только если человек сравнивает то, что он знает, с тем, что он не знает. В этом случае он получает честную границу своих знаний. Поскольку глобальные риски охватывают все сферы знаний – от биологии до астрофизики и от психологии до политики, то чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это будет мешать ему проконсультироваться у специалистов по существенным вопросам. Стереотип «спасителя мира» как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад. В равное мере и представление об ордене «джедаев», тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.
3.62. Есть ряд ситуаций, когда меры по предотвращению небольшой катастрофы готовят ещё большую катастрофу.
Например, в Йеллоустоунском парке так успешно боролись с пожарами, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно.
3.63. Утомление исследователя.
Энтузиазм отдельных людей движется волнами, и в силу этого человек, который вначале, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красивой актрисы. Не будем забывать, что Черчилля прокатили на выборах сразу после войны, хотя он верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время Второй Мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу.
3.64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем.
В нашем обществе есть ряд тем, интерес к которым воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологически ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их исследований. Темы, которые заклеймены, это: НЛО, телепатия и прочая парапсихология, сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО истинно и необъяснимо, то это требует переделки всей имеющейся картины мира, и не может не влиять на вопросы безопасности. Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с этим и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, в какой мере можно доверять людям, говорящим от имени этих исследований. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно если даже высшее руководство страны может не знать о ней. (Характерен пример с канцлером Меркель, которой отказывались объяснять, что за люди ходят по резиденции, пока она это категорически не потребовала – это оказались сотрудники службы безопасности.)
3.65. Количество внимания, которое общество может уделить рискам, конечно.
Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которые можно потратить на более опасные риски. Кроме того, оно создаёт ложную успокоенность у человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.
3.66. Пренебрежение экономикой.
Такие выражения, как «деньги - это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что экономика не так важна, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всех происходящих на Земле процессов. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза большей, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Крестьянская община в России вымерла не от вирусов и войн, а от тракторов и массового переезда в города. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.
Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф могут иметь огромное стоимостное выражение. Теракты 11 сентября нанесли ущерб американской экономике в 100 млдр. долларов, и возможно, гораздо больше, если учесть потенциальный ущерб от политики низкой процентной ставки (пузырь на рынке недвижимости), а также триллионы долларов, потраченный на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой нанесли ущерб в 1 миллиард долларов.
Итак, даже небольшие аварии могу приводить к огромному ущербу и утрате стабильности экономики, а крах экономики сделает систему менее устойчивой и более уязвимой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.
По мере глобализации экономики, всё больше возрастает возможность всепланетного системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, но это может именно тем, что запустит эффект домино общей неустойчивости.
3.67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит.
Одна из версий крушения Древнеримской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска - со способностью молекул некого вещества превращаться в единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).
С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.
Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые внутри своей стратегии действуют долгосрочно и эффективно – или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных форм этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.
3.68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей.
Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. См. подробнее (Юдковски 2007,1)
3.69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав.
А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». См. подробнее (Юдковски 2007,1)
3.70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли.
«И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения». (Юдковски 2007,1)
3.71. Ошибка, связанная с неправильной корреляции силы и безопасности.
Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, - чем более оно способно влиять на мир, - тем оно опаснее, то есть тем больше способов направить его на цели разрушения. «Анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск». (Юдковски 2007,1) Понятно так же, что новые технологии сильнее старых технологий – иначе бы не было коммерческого смысла их создавать.
3.72. Преждевременные инвестиции.
Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.
3.73. Склонность людей путать свои ожидания того, как оно будет в наиболее вероятном случае, и того, как оно будет в наилучшем случае.
«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай» (Юдковски 2007,1). Юдковски описывает в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай.
3.74.Апатия прохожего.
Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. См. подробнее (Юдковски 2007,1).
3.75. Потребность в завершении.
Концепция когнитивной психологии, обозначающая стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – (Kruglanski 1989)). Это приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – мы ограничены во времени! – нам стоит хорошо подумать перед тем, как придти к каким-то выводам.
3.76. Влияние авторитета и социальное давление группы.
Этот вопрос подробно рассмотрен в книге «Человек и ситуация». В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других испытуемых, чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» (на самом деле подсадные утки) умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66% испытуемых. В качестве причин такого поведение было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор. Всё это проявляется в динамике научного процесса.
3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом».
Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.
3.78. Ошибка, связанная с интеллектуальной проекцией.
Юдковски: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst 2003). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым» , потому что он нас не убивает.
3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины.
Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.
3.80. Забвение основного принципа медицины – «Не навреди!»
Другая формулировка этого принципа: «Когда не знаешь что делать, не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут.
3.81. Путаница между объективными и субъективными врагами.
Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей.
3.82. Предчувствие катастрофы, на самом деле обусловленное завистью.
Один из примеров того, когда неосознаваемые желания могут влиять на описание действительности. Яркий пример этому – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.)
3.83. Страх утраты идентичности.
Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности.
3.84. Понятная катастрофа может быть привлекательнее непонятного будущего.
В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации – см. у Юдковски.) Непонятное может вызывать страх.
3.85. Неправильное применение бритвы Оккама.
Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!
3.86. Склонность переоценивать ущерб от малых и частых аварий и недооценивать большие и редкие.
Подробнее см. Юдковского (Юдковски 2007,1): «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».
3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую.
А) неучёт рост усложнения структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что по мере процессов глобализации, связность и структурность земной цивилизации растёт.
Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) проявляется в сравнении надёжности самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.
3.88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки.
С точки зрения авторов регламента по Чернобыльскому реактору персонал нарушил их требования, а сточки зрения персонала, пользовавшегося этим регламентом, он сделал всё, как он должен был быть. Регламент требовал «заглушить реактор» - но разработчики считали, что это надо произвести немедленно, а операторы – что постепенно. Другой вариант – когда автоматическая система спасения и пилот могут совершать набор действий, каждый из которых в отдельности спас бы самолёт, но вместе они накладываются друг на друга и приводят к катастрофе (гибель А310 в 1994 году в Сибири).
3.89. Отказ рассматривать некий сценарий по причине его «невероятности».
Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, можно сказать, комбинацией 24 (!) обстоятельств.
3.90. Переход от обмана к самообману.
Сознательный обман других людей с целью получения определённой выгоды, в нашем контексте – сокрытия рисков – может незаметно принять форму самогипноза. Самообман может быть гораздо более устойчив, чем иллюзия или непреднамеренное заблуждение. Ещё один вариант такого опасного самогипноза – команда себе «Я подумаю об этом завтра» (но завтра никогда не наступает).
3.91. Переоценка собственных возможностей вообще и выживаемости в частности.
Просто проиллюстрирую это цитатой из статьи Бострома об угрозах существованию: «Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы. Три четверти всех автолюбителей думают, что они более безопасные водители, чем среднестатистический водитель. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти учёным в своей области, и 94% социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии имеют более точные предсказания, чем нормальные люди, за исключением тех, что касаются безнадёжности их ситуации. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди. Широко распространено убеждение, что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование, однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации)».
3.92. Стремление к прекрасному будущему, заслоняющее восприятие рисков.
Это явление можно заметить у революционеров. Опыт Французской революции вполне мог научить, что революция ведёт к гражданской войне, диктатуре и внешним войнам, однако русские революционеры начала ХХ века питали те же иллюзии, что и их французские коллеги за 120 лет до них, хотя, в конечном счёте, получили аналогичный результат. И у современных сторонников радикального развития технологий есть необъективность такого же рода. Психологически это связано с тем, что человек отвергает размышления о рисках, как препятствия на пути к светлому будущему.
3.93. Фильтры, мешающие поступлению информации к руководству.
Г. Малинецкий в книге «Риск. Устойчивое развитие. Синергетика» пишет:
«Еще одна особенность информации в условиях возникновения ЧС состоит в том, что поступающие в систему управления данные проходят через ряд фильтров. Первыми из них являются используемые в системе управления методы изучения и анализа внешней среды, посредством реализации которых входная информация, прежде чем поступить к руководству, отсеивается. Этот фильтр, как правило, настроен на прошлое и настоящее, а не на возможные экстремальные изменения ситуации в будущем.
Вторым фильтром является психологический, суть которого заключается в неприятии руководством информации вследствие ее стратегической новизны.
Третий фильтр на пути поступающей информации образует руководящая иерархия. Новая информация не сможет влиять на формирование реакции на изменения, если руководители не будут обладать достаточной властью, чтобы официально признать актуальность этой информации.
Четвертый фильтр связан с тем, что в последние годы информация рассматривается как ценный стратегический товар, к которому следует относиться бережно и не передавать его по первому требованию. Подчеркнем, что в условиях ЧС любые задержки в передаче исходной информации не только безнравственны, но и преступны».
3.94. Любопытство может оказаться сильнее страха смерти.
Были жертвы в толпе любопытных, наблюдавших штурм Белого дома в 93 году. И, я уверен, многим людям любопытно, каков будет «конец света».
3.95. Система и регламент.
Для гладкого функционирования системы приходится позволять нарушать регламент по мелочам. Дальше происходит следующее, пишет человек по поводу разных катастроф в интернет-форуме про Чернобыль: «Мне приходилось принимать участие в расследованиях (или изучать материалы) несчастных случаев и аварий в промышленности (неатомной). По их результатам я для себя сделал следующий вывод: практически никогда не бывает какой-то "единственной главной" причины и соответственно "главного виновного" (я имею в виду не официальные выводы комиссий, а фактическую сторону дела). Как правило, происходит то, что я для себя условно называю: десять маленьких разгильдяйств. Все эти маленькие разгильдяйства совершаются у всех на виду в течение многих лет подряд, а т.к. по отдельности каждое из них не способно привести к тяжелым последствиям, то в силу этого внимание на них не обращается. Но когда все они происходят в одно время, в одном месте и с одними людьми - это приводит к трагическому результату. Ну а когда происшествие имеет общественный резонанс - тогда обычно и назначают главного стрелочника по принципу: "кто не спрятался, я не виноват".
3.96. Эффект «стрелочника».
Вместо поиска подлинных причин аварии ищут стрелочника, в результате чего подлинные причины не устраняются, и она становится возможной ещё раз.
3.97. Минимальный воспринимаемый риск.
Существует минимальный воспринимаемый риск. Было выдвинуто предположение, что это обусловлено тем, что человек принимает решения, исходя не из реальных вероятностей, возможных вариантов событий pi, а из своих представлений о них f(pi). Например, ряд экспериментов показывает, что человек не воспринимает вероятности меньше 10 5, несмотря на очень большой возможный ущерб. Это мы выше объясняли из того, что такой уровень риска незаметен на фоне ежедневного риска, которому подвергается человек.
3.98. Отвержение новых идей.
Люди и учёные часто отвергают новые идеи, так как это означало бы признать собственную неправоту. Динамика такого процесса обрисована Куном в его теории научных революций, и, к сожалению, дискуссии о новых идеях часто окрашены теми же моделями поведения, что и борьба за власть в стае обезьян. Часто предупреждения о новых рисках носят не вполне доказанный характер. Пример такого отвержения, стоивший миллионы жизней – длительное отвержение идей венгерского врача Игнаца Филиппа Земмельвейса (1818-1865), который утверждал, что родильная горячка связана с тем, что врачи не моют руки после вскрытия трупов.
3.99. Воздействие эмоциональной реакции шока.
Известно, что катастрофы провоцируют определённую последовательность психологических переживаний, каждое из которых влияет на объективность принимаемых решений. В книге «Психогении в экстремальных условиях» сказано: «… психологические реакции при катастрофах подразделяются на четыре фазы: героизма, «медового месяца», разочарования и восстановления» (стр.17) при этом фазе героизма может предшествовать период отрицания, паники или паралича.
Каждая из этих стадий создаёт свой вид необъективности. Если начнётся глобальная катастрофа, то она будет настолько ужасна, что вызовет реакцию отрицания в духе «не может быть», «это какая-то ошибка» и т.д. Например, видеокадры о теракте 11 сентября многие восприняли как кадры из нового голливудского кинофильма. Затем идёт стадия сверхреакции, которая может создать новые опасности из-за опрометчивого поведения. Например, лётчики, вылетевшие патрулировать 11 сентября небо над Нью-Йорком, думали, что началась война с русскими. В том же духе было и заявление президента Буша о том, что «мы объявляем войну» в тот же день. Затем на стадии эйфории чувство опасности притупляется, хотя на самом деле опасная ситуация ещё не закончилась. Уныние, наоборот, связано не с уменьшением оценки риска, а с уменьшением мотивации с ним бороться, возможно, связанное с масштабами потерь и осознанием неизбежности. Принятие приводит к тому, что катастрофы забывается, а риск принимается как должное. То есть на этой стадии происходит и уменьшение оценки риски, и уменьшение мотивации по его преодолению. Такое описание относится к переживанию катастроф, которые начались и закончились, вроде землетрясений, и клинике острого горя при смерти близких. Однако глобальная катастрофа не относится к таким событиям – скорее, если её наступление удастся заметить, она будет выглядеть как всё более нарастающий грозный процесс.
При этом важно то, что эмоции воздействует на поведение людей независимо от того, хотят они этого, или нет, даже если они знают об этом воздействии, и хотят его избежать. На этом основано действие рекламы. Кроме того, если начнётся глобальная катастрофа, например, всеобщая эпидемия, то у почти каждого будут близкие люди, умершие в результате неё или находящиеся в зоне повышенного риска. В голливудских фильмах это изображается обычно в том духе, что главный герой успевает и страну спасти, и высвободить любимую девушку из завалов. Но на то она и сказка, что понятно, что так не будет. Все люди, и принимающие решения, и исполнители, в случае глобальной катастрофы будут думать не только о судьбах планеты, но и о спасении своих близких (а также своих стран, родных городов и других общностей, с которыми они связаны), и в силу этого их выбор будет неоптимален. Даже если они примут решение пожертвовать своими близкими и целиком сосредоточится на предотвращении катастрофы, эмоциональный стресс от такого решения нанесёт вред их объективности и работоспособности. Фактически, они будут находиться в состоянии острого горя.
Малинецкий пишет («Риск. …»): «Ряд специалистов по психологии риска считают, что доля руководителей, способных адекватно действовать в условиях ЧС, не превышает 0,5%.»
3.100. Проблемы отбора экспертов.
Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей – или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии – индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения – верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. – очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. Очевидно, что все способы отбора экспертов содержат свои подводные камни.
3.101. Вина и ответственность как факторы предотвращения рисков.
Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что такой поиск стрелочника бесполезен, когда речь идёт об уникальных событиях. Но важно при этом повышать ответственность людей за сохранение мира, в котором они живут.
3.102. Недооценка сил инерции как фактора устойчивости систем.
Помимо общих соображений о тяжести, сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать и формулу Готта для оценки будущего времени существования системы, исходя из прошлого времени её существования. Она позволяет математически выразить тот факт, что если, например, автобуса не было около часа, то маловероятно, что он придёт в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, «временную инерцию». Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.
3.103. Мировоззрение.
Очевидно, что все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому.
3.104. Психологические трудности, связанные с изменением точки зрения.
Однажды выбрав некую позицию, человек склонен защищать её до последнего, и требуется значительное научное мужество, чтобы найти в себе силы публично признать смену своей концепции.
Источник: katastrofa.h12.ru.
Рейтинг публикации:
|
