|
9. ЗАКЛЮЧЕНИЕ. НАИБОЛЕЕ ВЕРОЯТНЫЙ СЦЕНАРИЙ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
Теперь мы можем попытаться обобщить все собранные данные, обрисовав наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть best guess – наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не буду выдавать её за объективную точно вычисленную вероятность. В зависимости от того, какая будет появляться новая информация, я буду корректировать свою оценку.
В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно также создание ядерного оружия судного дня тоже требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия. Эти предположения сделаны относительно данных угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько это могут.
Итак, я вижу два наиболее вероятных сценария глобальной окончательной катастрофы в XXI веке, ведущей к полному человеческому вымиранию:
1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные к человеку цели.
2) Системный сценарий, в котором ведущую роль играет биологической оружие и прочие продукты биотехнологий, но также будет применяться ядерное оружие и микророботы. Также будут играть свою роль распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что не будет какого-то одного уничтожающего людей фактора, а будет вал множества факторов, превосходящий все возможности по выживанию.
Наиболее вероятное время действия обоих сценариев – 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 процентов они произойдут в указанный промежуток времени. Эта оценка происходит из того, что, исходя из текущих тенденций, вряд ли обе технологии созреют до 2020 года или после 2040 года.
Теперь просуммируем все возможные сценарии с учётом их взаимного влияния так, чтобы сумма была равна 100% (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка).
Оценим общую вероятность человеческого вымирания, в соответствии со словами сэра Мартина Риса, в 50%. Тогда выглядят убедительными следующие оценки:
15% - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ обладает способностью отыскать и воздействовать на всех людей без исключения – в большей мере, чем другие факторы.
15% - системный кризис с многократным применением биологического и ядерного оружия.
14% - нечто неизвестное.
1% - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.
0,1% – естественные природные катастрофы,
0,9% – неудачные физические эксперименты
1% - серая слизь – нанотехнологическая катастрофа
1% - атака через SETI
1% - ядерное оружие судного дня
1% - прочие
Вторые 50% приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:
15% – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.
10% – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, зоопарк, безработные у телевизора. Власть переходит к ИИ и машинам.
5% – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается в качестве наилучшего варианта традиционными футурологами.
20% – Откат на стадию постапоклиптического мира. Разные уровни деградации.
Теперь рассмотрим возможное влияние на эти цифры разных форм теоремы о конце света. Формула Готта, взятая в отношении всего числа людей на Земле, даёт незначительные шансы вымирания в XXI веке – на уровне нескольких процентов, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Однако если применить формулу Готта к моему рангу в множестве всех людей, которые знают о формуле Готта, то шансы выживания в XXI веке оказываются призрачными (если отождествлять завершение этого множества и человеческое вымирание). Вопрос о том, в какой мере мы имеем право использовать формулу Готта таким образом, остаётся открытым. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Лесли без применения теоремы о конце света оценивает шансы человеческого вымирания в 5%, а после применения – в 30%. При этом в вычислении конкретного значения в тексте своей книги он берёт другие значения, а именно, априорную вероятность вымирания в ближайшее время в 1%, и разрыв между численностью человечества при «плохом» и при хорошем сценарии в тысячу раз. Тогда эти априорные 1% превращаются у него через формулу Байеса в апостериорные 50%. Однако если мы применим те же предположения к нашей априорной вероятности в 50%, то получим шансы вымирания в 99,9%. Наконец третий вариант теоремы о конце света в формулировке Бострома-Тегмарка, адаптированной мной к меньшим процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1%. Наихудшим проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны, которая бы снизила максимальную частоту этого события от одного события раз в несколько десятков лет, до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что здесь всё не так плохо.
Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её избегания. Это наводит на мысль, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Сэр Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и растёт. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое зависит от нас сейчас.
Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. (РФ объявила программу по развитию нанотехнологий. Значит, уже видно их оборонное значение и понятна возможность создания «серой слизи».) Понимание серьёзности рисков должно сплоить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы.
10. Рекомендуемая литература:
Здесь я привожу список книг, который, на мой взгляд, полезно прочитать человеку, интересующемуся глобальными рисками.
Азимов Айзек,«Выбор катастроф».
http://bookz.ru/authors/azimov-aizek/azimov_katastrof.html
В. Александров, Никита Николаевич Моисеев
"Ядерный конфликт — глазами климатологов и математиков".
http://www.pseudology.org/ZnanieSila/Yaderny_Konflict.htm
«Биовойна для чайников» Biowar for Dummies
by Paul Boutin
http://www.membrana.ru/articles/global/2006/02/22/220500.html
Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)
Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006
Бостром Н. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. http://www.proza.ru/texts/2007/04/04-210.html
Бостром Н. «А не живем ли мы в «Матрице»?
Доказательство методом моделирования».
http://alt-future.narod.ru/Future/bostrom3.htm
Тегмарк М. и Бостром Н. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
Ник Бостром. Сколько осталось до суперинтеллекта?
http://mikeai.nm.ru/russian/superint.html
Ваганов А. Сценарии парниковой катастрофы.
http://science.ng.ru/policy/2001-04-18/1_accident.html
Вернор Виндж. Технологическая Сингулярность.
http://www.computerra.ru/Authors/2922/
Джой Б. Почему мы не нужны будущему.
http://old.computerra.ru/online/firstpage/14084/for_print.html
Дрекслер Э. «Машины созидания». http://mikeai.nm.ru/russian/eoc/eoc.html
Диринг М. «Рассвет Сингулярности».
http://transhumanism.org/languages/russian/dawnofsingularity/Deering.htm
«За горизонтом предсказуемости»
Небольшая интересная статья о предсказуемости, хаосе, траекториях и тяжёлых хвостах
http://www.iwf.ru/forum/content.php?article.17
Лем С., «Непобедимый». http://lib.web-malina.com/getbook.php?bid=2778&page=1
Лем, С. «Системы оружия двадцать первого века или Эволюция вверх ногами».
http://bio.fizteh.ru/student/diff_articles/weapon_xxi.html
Лем С. «Фантастика и футурология». Главы о футурологии из первого тома.
http://www.avturchin.narod.ru/lem.txt
Малинецкий Г.Г. и др. «Управление риском. Риск. Устойчивое развитие. Синергетика». http://www.keldysh.ru/papers/2003/source/book/gmalin/titul.htm
Медведев Д. «NBIC конвергенция». http://www.transhumanism-russia.ru/content/view/317/116/
Мухамедиев Р. Эмпирическая оценка закона гиперболического роста сложности высокоорганизованной материи.
http://ravil.astersoft.net/Articles/IncreasingComplexity.htm
Назаретян А.П. Цивилизационные кризисы
в контексте Универсальной истории
(Синергетика – психология – прогнозирование)
Пособие для вузов
http://macroevolution.narod.ru/nazaretyan03.htm
Панов А. Д. «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии»
http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html
Переслегин С.Б., Столяров А.
«Научно-обоснованный конец света»
http://okh.nm.ru/materials/Pereslegin/Per_EndOfTime.htm
«Причины катастроф: Глупость, Небрежность и Корысть» статья в Вашингтон пост, http://www.washprofile.org/?q=ru/node/1093
Рис Мартин. «Наш последний час. Предостережение ученого: как терроризм, ошибки и разрушения окружающей среды угрожают будущему человечества, Земле и окружающему ее космосу». -Нью-Йорк, 2003. - 228 с.
http://www.sciam.ru/2004/10/profile.shtml
Скоузен Марк «Кто предсказал крах 1929 года?»
http://www.sotsium.ru/books/65/61/skousen93.html
«Снижение боеготовности ядерных сил России и США -
путь к уменьшению ядерной угрозы.»
http://www.ieer.org/russian/pubs/dlrtbk-r.html
Шют, Н. «На берегу».
Юдковски Э. «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков»
http://www.proza.ru/texts/2007/03/08-62.html
Юдковски Э. «Искусственный интеллект как позитивный и негативный фактор глобального риска».
http://www.proza.ru/texts/2007/03/22-285.html
Литература:
1. Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998
2. Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)
3. Воробьёв, Ю.Л, Малинецкий. Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
4. Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006
5. Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985
6. Еськов К.Ю. История Земли и жизни на ней. – М., НЦ ЭНАС, 2004.
7. Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // 1999. Журнал технической физики, том 69, вып. 9.
8. Сорохтин О.Г., Ушаков С.А. Развитие Земли. - М: Изд-во МГУ, 2002.
9. Сывороткин Владимир Леонидович. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, - М. 2001. – 302 С.
10. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002
11. Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира // 2004. Природа N 6.
12. Шкловский И.С. Звёзды. Их рождение, жизнь и смерть. - М., Наука, 1984.
13. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
14. Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002.
15. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.
16. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.
17. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.
18. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.
19. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )
20. Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.
21. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.
22. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.
23. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.
24. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.
25. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.
26. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.
27. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.
28. Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.
29. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
30. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL: http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html.
31. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.
32. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.
33. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.
34. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.
35. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
36. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.
37. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.
38. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.
39. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.
40. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.
41. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).
42. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.
43. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
44. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.
45. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL: http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html.
46. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp
47. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.
48. Shute, N. (1989). On the Beach: Ballentine Books.
49. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.
50. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005
51. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.
52. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.
53. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.
54. Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. – NY, 2000.
55. Warwick, K. (1997). March of the Machines. London: Century.
56. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.
57. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html )
58. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
59. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
60. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.
Источник: katastrofa.h12.ru.
Рейтинг публикации:
|
