Правда состоит в том, что мы не знаем, когда закончится нефть, а цена такого знания очень велика. Отдельные крупицы этого знания рассеяны между разными людьми, группами и странами, которые в своих интересах могут увеличивать или уменьшать заявленные значения. Например, каждая из стран ОПЕК заинтересована преувеличивать свои запасы нефти, поскольку квоты на добычу пропорциональны запасам, однако при этом все эти страны вместе имеют интерес преуменьшать запасы нефти в мире, поскольку это способствует росту ее общей цены.
Разные экспертные организации продают разные версии будущего состояния нефтяного рынка, привлекая людей, которым нравится верить в ту или иную концепцию. Например, CERA дает наиболее оптимистичный прогноз, в соответствии с которым нефть зарождается в земных недрах и ее хватит на исторически длительный промежуток времени. С другой стороны, theoildrum. com бьет в набат, утверждая, что пик добычи нефти уже пройден в 2006 году и впереди нас ждет резкий спад.
В результате мы имеем итог: суммарная ценность всех предсказаний о нефти имеет не большую ценность, чем результат бросания монеты. Это ставит любых отдельных производителей и потребителей, и всю цивилизацию в целом, перед серьезной проблемой: один из важнейших параметров, который цивилизация должна знать для успешного планирования, оказывается принципиально непостижимым. В результате каждый должен ориентироваться на свою наилучшую оценку и в случае ошибки нести ущерб от слишком низких или высоких цен на нефть.
Пик добычи ресурсов будет пройден неожиданно
Если бы наша цивилизация точно знала, что добыча нефти вот-вот начнет неудержимо падать, то мы могли бы начать всерьез готовиться к такому развитию событий. Я уверен, что технически вполне реально обеспечить все энергетические потребности цивилизации за счет ветроэнергетики и солнечных батарей, например, если бросить все ресурсы индустриальных стран на производство ветрогенераторов.
Приведу следующие факты: количества ветроэнергии, доступной для извлечения на континентальном морском шельфе в США, достаточно для обеспечения всех потребностей страны в электроэнергии; большие ветряные фермы, разбросанные на больших площадях (тысячи километров), дают стабильный поток мощности независимо от погоды, при этом существуют способы накапливать излишки, поднимая уровень воды в водохранилищах или заряжая аккумуляторы электромобилей. И эти технологии уже применяются. Количество ветроустановок, построенных в США, растет экспоненциально. Технология эта отработана, и не содержит подводных камней в отличие от установок, использующих термоядерные процессы.
Не менее многообещающие перспективы и у солнечной энергетики. Каждый год объявляется о новых открытиях, которые позволяют удешевить солнечные батареи, и цена их падает по экспоненциальному закону. Есть также масса других способов извлечения энергии, которые я не буду здесь обсуждать подробно: геотремальные источники, океанические метангидраты, горючие сланцы, турбины на подводных течениях и в реках.
Суть проблемы, однако, в том, чтобы успеть реализовать эти проекты до того, как разразится энергетический кризис, а для этого нужно точно знать, когда он будет, и будет ли вообще, и подать соответствующие ценовые сигналы, которые побудят рискнуть огромными капиталовложениями в отрасль. Не менее интересно было бы также заменить все двигатели внутреннего сгорания электрическими установками, использующими аккумуляторные батареи, что вот-вот станет технологически возможным и экономически выгодным.
Пока же основной риск состоит не в исчерпании энергоресурсов, а во внезапности их исчерпания. Но даже если внезапное исчерпание может остановить мотор современной цивилизации, то оно само по себе не приведет к полному вымиранию человечества. Однако самый главный риск заключается в том, что за оставшиеся ресурсы может начаться война. (Напомню, что, например, борьба за нефть была основной причиной вступления Японии во Вторую мировую войну, а кончилось все атомной бомбой.)
Главный риск новой войны состоит в том, что она резко подхлестнет конструкторские разработки опасных вооружений, а также подтолкнет слабые страны к созданию «оружия судного дня» – то есть оружия настолько страшного, что оно может уничтожить весь мир, если хоть кто-нибудь нападет на его обладателя. (Например, это могут быть запасы биологического оружия, рассредоточенные в разных частях мира.)
Теперь, вооруженные пониманием, как любой значительный спад в производстве ресурсов может привести к уничтожению человечества, мы можем более внимательно взглянуть на доводы тех, кто говорит об их исчерпании. Разумеется, эти доводы не являются истиной в последней инстанции, однако вероятность их истинности значительна – десятки процентов – и именно с таким раскладом связан наихудший исход.
Добыча любого ресурса подчиняется колоколообразной кривой, похожей на гауссово распределение, которое в отношении производства нефти называется пиком Хуберта.
Многие страны уже прошли свой пик Хуберта, например Соединенные Штаты, и в точности тогда, когда это предсказывала теория. Возможно, весь мир прошел пик Хуберта в районе 2006 года. И свидетельство в пользу этого то, что последние два года цифры поквартальной добычи нефти практически неизменны, в то время как цена выросла более чем в два раза. То есть добыча нефти перестала реагировать на ценовые сигналы.
Пренеприятной особенностью пика Хуберта является то, что уменьшение добычи нефти в стране на одну единицу приводит к сокращению экспорта на три единицы (поскольку внутреннее потребление не изменяется, а изменяется только доля излишков), то есть спад после пика Хуберта на международном рынке нефти приведет к значительному дефициту продукта.
Следующей неприятной особенностью пика Хуберта является то, что свой пик Хуберта есть у каждого ресурса, и у большинства ресурсов, необходимых человечеству, этот пик приходится на первую половину XXI века. Это касается и каменного угля, и доступной пресной воды, и площади обрабатываемых земель, и добычи рыбы в океане.
Особенно неприятным обстоятельством является то, что человек научился заменять одни ресурсы с помощью других. Поначалу это работает хорошо, так как позволяет перераспределять ресурсы. Например, нехватку пресной воды можно компенсировать с помощью электричества, опресняя воду или добывая ее из глубоких скважин. Истощение почв покрывают производством все большего количества удобрений, нехватку нефти – производством спирта из кукурузы, нехватку продовольствия – производством маргарина из нефти и даже каменного угля, как это было в послевоенной Германии. Однако последствия такой замены состоят в том, что хотя пик Хуберта одних ресурсов оттягивается, пик Хуберта других ресурсов приближается, в результате чего пик Хуберта ВСЕХ ресурсов произойдет примерно одновременно!
Очевидно, что ситуация отягощается постоянным ростом населения, которое растет не только количественно, но и качественно – по уровню своего потребления. Рост населения приведет к тому, что перелом в уровне поступления всех ресурсов в мировом пике Хуберта будет гораздо более острым.
Отмечу, что прохождение пика добычи ресурса не ведет обязательно к гибели цивилизации, однако он приводит к необходимости совершить качественный скачок, как, например, 10 тысяч лет назад, когда произошла неолитическая революция: охотники-собиратели съели всех мамонтов и прочую доступную живность и численность населения Земли резко упала, а оставшимся людям пришлось изобрести сельское хозяйство.
Таким качественным скачком могло бы стать создание молекулярного производства, то есть появление развитых нанотехнологий. Однако здесь возникает серьезный вопрос: что случится раньше – будет пройден пик добычи ресурсов или будут созданы эффективные нанотехнологии? Не забудем также, что эффективные нанотехнологии несут в себе такой риск глобальной катастрофы, по сравнению с которым мировая война окажется легкой прогулкой. (Тем более, если они будут созданы как оружие в ходе мирового конфликта, который разгорится из-за острого дефицита ресурсов.)
Закончиться могут и деньги
Добавим еще одну существенную деталь к проблеме исчерпания ресурсов. Современная капиталистическая экономика действует за счет кредита. Согласно теории кредитного цикла Мински существует три класса должников:
а) добросовестные;
б) те, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынужден растягивать его навечно;
в) и те, кто вынужден занимать новые кредиты, чтобы выплачивать долг по старым, что похоже на финансовую пирамиду (схема Ponzi или МММ).
Первый тип заемщиков свободен и может целиком выплатить долг. Второй тип заемщиков вынужден выплачивать долг вечно и не может выйти из этого состояния, но способен обслуживать свой долг. Третий тип вынужден непрерывно расширять свои операции и все равно обанкротится в течение конечного промежутка времени.
Мински показывает, что возникновение всех трех типов заемщиков и постепенное увеличение доли заемщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США, находится где-то между вторым и третьим типами. Объем разного вида долгов, созданных только внутри США, оценивается в 100 триллионов долларов (сюда входит 7 триллионов государственного долга, 14 триллионов по ипотеке, долги населения по кредитным картам, долговые обязательства корпораций, а также обязательства правительства США по медобслуживанию пенсионеров Medicare). При этом ВВП США – 13 триллионов долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они «размазаны» по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.
Сам по себе долг не есть абсолютное зло – он скорее описывает, кто, что и когда будет делать и получать. То есть долг – это финансовая машина планирования будущего. Однако когда она переходит на третий режим (схема Ponzi), вступает в действие механизм саморазрушения, которое тем сильнее, чем позже оно происходит.
Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения.
Опасная тенденция состоит также в том, что можно подумать, что системная проблема с долгами относится только к США, а на самом деле она относится ко всей мировой экономике. Последствия Великой депрессии 1929 года в США вдвое превышали ущерб от Второй мировой войны и затронули все континенты, ударив по Европе сильнее, чем по Штатам.
Кризис 1929 года был исторически крупнейшим системным кризисом (вплоть до распада СССР). Основная его сложность заключалась в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи, – еда дешевеет, а никто не может ее купить и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеями или идиотами, а потому, что они просто не понимали, как заставить систему работать.
Надо отметить, что и сейчас есть разные точки зрения по поводу причин Великой депрессии, и особенно по поводу того, какие меры были бы правильными и почему она наконец закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса.
Мински предлагает увеличить роль государства как заемщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975-го, 1982-го и начала 90-х. Но в этом кроется новая опасность, называемая «моральным вредом» и состоящая в том, что банки, которые каждый раз выкупают долги, становятся все более безрассудными в их делании, так как уверены, что их выкупят и в следующий раз. Кроме того, их подводят статистические модели: по статистическим моделям, чем дольше не было экономической депрессии, тем дольше ее и не будет, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет.
Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во многом опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесет сильнейший удар по закону Мура.
Пока мировая экономика растет, схему Ponzi можно поддерживать неограниченно долго и даже надеяться выплатить долги целиком, если начальные инвестиции хорошо окупятся. Однако прохождение общего пика добычи объективно затормозит экономику (пока она не перейдет на новые технологии), и поэтому кризис неплатежей по плохим долгам может совпасть с ресурсным кризисом. И наоборот, кризис финансовой системы осложнит инвестиции в новые технологии и замещение одних ресурсов другими. Чтобы было понятнее, почему это произойдет, скажу что именно деньги являются тем инструментом, который позволяет покупать одни ресурсы за счет других.
С другой стороны, экономические предсказания крайне размыты по экономическим же соображениям. Если бы сейчас доподлинно было известно, что глобальный экономический крах произойдет в следующем году, то он бы случился прямо сегодня.
В экономической теории есть так называемая no- trade theorem, которая утверждает, что при условии совершенно честной игры для рационального экономического субъекта нет смысла совершать сделки на рынке, поскольку если другой рациональный субъект полагает, что нужно продавать данный актив за данную цену, исходя из общедоступных экономических сведений, то, располагая теми же общедоступными сведениями, нет смысла его покупать. Однако поскольку большинство игроков на рынке считают себя умнее большинства, то они надеются переиграть всех остальных.
Глава 10. Doomsday men: человек выбирает смерть
Doomsday men» – «Люди конца света» – таково название книги американского писателя П.Д. Смита, которую мы уже цитировали выше, о группе венгерских физиков, и в первую очередь о Лео Сциларде, стоявших за самыми значительными разработками атомного оружия – идеей о цепной реакции, водородной и кобальтовой бомбах. В этой главе мы постараемся ответить на естественно возникающий у читателя вопрос: «Хорошо, есть масса технических возможностей, чтобы уничтожить мир, но неужели найдется такой дурак, который захочет ими воспользоваться?!»
Мы не знаем, кто именно захочет уничтожить мир. Если бы мы знали таких людей поименно, и особенно если бы мы знали, где они находятся (а в современном мире даже самым опасным преступникам удается скрываться многие годы и десятилетия, подобно Пол Поту, бен Ладену и Басаеву), нам было бы гораздо проще предотвратить глобальную катастрофу. Очевидно, что опасны не те люди, которые открыто говорят, что не заинтересованы в дальнейшем существовании человечества, а те, кто делает что-то тайно. Другой момент неопределенности связан с тем, что люди не вполне осознают возможные последствия своих деструктивных действий. (Вот пример: недавно в Японии 14-летняя школьница покончила собой, смешав бытовые растворители, и выделившийся в результате сероводород проник в систему вентиляции дома, повредив здоровью 94 человек.)
Часто в дискуссиях о глобальных рисках высказывается мнение, что ни один человек не захочет реализовывать некий дьявольский план, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света».
В целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. Но они могут быть готовыми рискнуть по принципу «все или ничего», например, создав «бомбу судного дня» и грозя ее применить, если все страны мира одновременно не примут ислам. При этом, если другая секта одновременно создаст машину судного дня с требованием всем принять, скажем, особенную форму буддизма, то ситуация действительно станет патовой.
Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую сверхидею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые потенциально могут стремиться к уничтожению человечества.
Организованные группы
Эсхатологические секты. Яркий тому пример – печально известная «Аум Синрикё». Эта организация не только верила в близость наступления конца света, но и работала над его приближением – в частности, собирала информацию о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные предположения о том, что именно делала и хотела «Аум Синрикё», и выяснить правду не представляется возможным.)
Теоретически опасны любые религиозные фанатики, выбирающие смерть. (Например, старообрядцы часто предпочитали смерть новой вере.) Такие фанатики полагают благом потусторонний мир или воспринимают конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание, чтобы это случилось.
Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (примерно за 10 лет в случае «Аум Синрикё»), такова: сначала осознается наличие иного мира; затем осознается, что потусторонний мир важнее нашего и главные цели лежат в нем; из этого следует, что наш мир вторичен, создан высшим миром, а следовательно, мал, конечен и неважен, более того, наш мир полон препятствий, мешающих чистому течению медитации; поскольку высший мир первичен, то он рано или поздно прекратит существование нашего мира; поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира, и, удивительное совпадение, есть знаки, что это произойдет очень скоро; уничтожив мир, наша секта выполнит волю Бога; конец нашего мира будет означать соединение всех хороших людей с высшим миром. (Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и ее руководство активно поддерживает своих последователей в этом убеждении.)
Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к мысли, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. Кроме того, попутно можно расправиться со своими врагами, чувствуя себя победителями старого мира.
Не хочу сказать, что точно знаю, что адепты «Аум Синрикё» рассуждали подобным образом. Однако похожие убеждения можно обнаружить у самых разных групп с эсхатологическим мировоззрением – от христианских до революционных. При этом далеко не все люди и группы, которые говорят о конце света, собираются его организовывать. (Среди известных сект, ожидающих конца света, – свидетели Иеговы и мормоны.)
Радикальные экологи. Пример: Движение за добровольное вымирание человечества ( The Voluntary Human Extinction Movement [25 - http:// www. vhemt. org/] – они считают полезным вымирание человечества, однако предлагают осуществить это путем отказа от размножения). Такие группы считают благом мир природы и животных и полагают человечество – не без оснований – раковой опухолью на теле Земли, ведущей к вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев – «веганов», для которых жизнь животных не менее (а иногда и более) важна, чем человеческая.
Люди, мотивом для которых являются их личные убеждения, проблемы, склонности
Неолуддиты. Например, террорист Унабомбер (Теодор Качинский), который считал единственным выходом для цивилизации остановку технологического прогресса и возвращение к природе и рассылал по почте бомбы ведущим ученым-кибернетикам. В результате его действий три человека погибли и многие были ранены. Сейчас он отбывает срок в американской тюрьме.
Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число. Люди, движимые местью. Те, кто сейчас, например, расстреливает из автомата одноклассников. Но такие «проекты» все же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошел с ума, сконцентрировавшись на идее отомстить миру или Богу.
«Геростраты». Понятно, что если разрушить весь мир, то прославиться будет не перед кем, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически это будет извращенное проявление стремления к власти.
Шантажисты, создавшие «машину судного дня». Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.
Азартные личности, испытывающие потребность в сильных переживаниях. Люди проигрывали поместья в карты не для того, чтобы изменить свое имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.
Люди со своеобразной перверсией сексуальной модели поведения, стремящиеся вследствие этого экзотическими способами распространять «себя» глобально. В главе «Опасности молекулярного производства» отчета Центра ответственных нанотехнологий мы можем прочесть: «Другим возможным источником “серой слизи” могут быть безответственные любители, для которых это будет хобби. Люди определенного психологического типа, по-видимому, не могут избежать искушения возможностью создавать и выпускать на волю самореплицирующиеся образования, что нам доказывает большое количество существующих компьютерных вирусов». [26 - Dangers of molecular manufacturing. http://www.crnano.org/dangers.htm]
Поклонники «поэзии апокалипсиса». Любители компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.
Люди, неосознанно действующие деструктивно. Это может быть или неожиданный эмоциональный всплеск (разбить пробирку с ядом), или более тонкая ошибка в оценке и формулировании собственных целей.
Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного самоубийства (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и возникает в ответ на отторжение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).
Самоубийцы. Если человек нашел достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир.
Пример: итальянский пилот, который врезался в башню Пирелли в Милане на частном самолете 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать, чтобы он скорее наступил. Отсюда один шаг до активного ускорения этого процесса.
В мире около миллиона человек в год кончает жизнь самоубийством. Большинство из них предполагает убить только себя, но некоторые хотят унести с собой и других людей, чаще всего свою семью. Некоторые больные СПИДом нарочно заражают других людей, потому что им обидно погибать в одиночестве, когда для других продолжается праздник жизни. Поэтому нетрудно представить себе человека, которому гибель всего мира будет казаться более предпочтительной, чем только собственная гибель.
Шизофреники, охваченные навязчивыми идеями. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Шизофреники часто слышат голоса, которые подчиняют их себе. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий.
Мы не можем предсказать, какого рода бред приведет шизофреника к выводу о том, что Землю надо уничтожить. И хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза она не осознается самим человеком. Утрата способности сомневаться – одно из наиболее серьезных проявлений шизофрении.
(Шизофрения может быть «заразной» – в виде религиозных сект, тиражирующих бредовые идеи. Например, в Америке один сумасшедший «понял», основываясь на неких совпадениях дат, что для того, чтобы избежать повторения разрушительного землетрясения в Сан-Франциско, он должен убивать невинных людей.)
Дети – если могут получать доступ к серьезным ресурсам. Уже сейчас хакеры подросткового возраста стали одним из основных источников разрушительной активности в Интернете. При этом их интеллекта достаточно, чтобы освоить какую-то одну отрасль знания и написать вирус или сделать «бомбочку», но еще недостаточно, чтобы осознать все последствия своих действий и свою ответственность за них.
Существуют различные группы людей, которые могут использовать технологические достижения для попытки уничтожить мир. Это те, кто либо не вполне осознает возможные долгосрочные последствия своих деструктивных действий, либо группы людей и отдельные личности, которые хотят «конца света». Кроме того, есть разного рода группы (политики, ученые, экстремисты и т. д.), для которых всеобщее уничтожение не является целью, но они не принимают во внимание, что глобальная катастрофа может стать результатом их деятельности.
Глобальная катастрофа может произойти в результате интенсивного применения нанотехнологического оружия, причем такого, которое способно атаковать людей. При этом такое оружие может быть применено даже не в ходе войны, а как отдельная диверсия. Через некоторое время вероятно появление «нанотехнологических хакеров», которые будут перепрограммировать нанороботов для своих личных целей (наноробот, лишенный защиты, может быть использован для нелегального производства множества разнообразных вещей). Другой вариант нанотехнологической катастрофы связан с разрастанием «серой слизи», то есть с неконтролируемым распространением нанороботов, которые превращают всю материю в себя. (Наиболее привлекательной средой для саморепликации будет биомасса, поскольку она содержит и углерод, и энергию, которую можно извлечь за счет окисления. К сожалению, люди – это тоже биомасса.)
Инопланетные цивилизации могут выступить в роли «хакеров», рассылая сигналы, содержащие программы (или соответствующие инструкции), выполнение которых приведет к созданию варианта ИИ. Цели пересылки и «вживления» такого «вируса» в земные информационные сети не могут быть известны. Тем не менее в рамках программы SETI происходит регулярное прослушивание и попытки компьютерного анализа космических радиосигналов. Поскольку современные технологии открывают широкий доступ самым разным людям к получению и тиражированию таких программ, Земля оказывается практически беззащитной – всегда найдется кто-либо, кто захочет использовать полученный ИИ, не задумываясь о последствиях. Последствия же «вживления» ИИ могут быть самыми плачевными.
Человек всегда движим несколькими побуждениями, но только часть из них осознается и вполне рациональна. По моим наблюдениям, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, «волну-убийцу».
Из соображений высшего порядка
Отдельно необходимо упомянуть разного рода группы, для которых, в отличие от вышеперечисленных, всеобщее уничтожение не является целью (во всяком случае осознанной), но при этом глобальная катастрофа с большой вероятностью может стать результатом их деятельности.
Прежде всего это люди, сообщества, политические группы и организации, которые стремятся к крушению (или смене) мирового порядка. И ради этого они или готовы пойти на риск всеобщего уничтожения, или могут его создать, не особенно об этом задумываясь.
К таким группам, вполне очевидно, относятся: Мировые державы, борющиеся за господство в мире. Это могут быть или державы, теряющие глобальное влияние и вынужденные «атаковать под угрозой утраты преимущества», или державы – претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей.
Психология этих процессов остается на уровне борьбы за место альфа-самца в обезьяньем стаде, которая, однако, довольно жестко детерминирована природой естественного отбора. (Например, Рональд Рейган объявил в свое время «крестовый поход» против СССР, хотя и понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.)
Государственные деятели со специфическим представлением о международном диалоге. В силу своего представления они склонны использовать в качестве аргумента универсальное оборонительное оружие последнего выбора. В результате, вместо того чтобы создавать ракетный ядерный щит, страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать взорвать ее в случае вооруженной агрессии.
Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы стратегические ядерные силы, и похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем. При этом такое оружие создается не для того, чтобы его применять, а чтобы им угрожать. Концептуально это близко идее «глобального шантажа».
Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.
Утопические социальные движения, стремящиеся к великим целям.
Например, радикальные коммунисты или религиозные организации.
«Борцы за мир». В истории сверхоружие неоднократно создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит и придумана кобальтовая бомба.
Деятели науки, склонные к неоправданному риску, которыми принимается в расчет прежде всего предполагаемый большой «выигрыш», а негативные (в том числе катастрофические) последствия опасной деятельности практически игнорируются. (Родом такой деятельности, например, могут быть некоторые физические или биологические эксперименты.) Склонность к риску в таком случае может быть отягчена не только нежеланием, но и неспособностью людей оценить масштабы и вероятность «проигрыша» в наихудшем случае.
Люди, действующие по принципу «после нас хоть потоп». То есть не то, чтобы они прямо желают глобальной катастрофы, но предпочитают действия, которые приносят благо в краткосрочной перспективе, но при этом несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека и сильнее всего проявляющимся в периоды риска и старости.
Казалось бы, опасные модели поведения можно отделить от разумных с помощью такого «архаичного» понятия, как мораль. Можно ведь действовать в личных и краткосрочных интересах, а можно – в общих и долгосрочных. И разница, вроде бы, вполне очевидна. Однако не все так просто. С точки зрения глобальных катастроф первый тип поведения может проявиться в том, что некая группа или человек, чтобы достичь своего успеха, будет пренебрегать стандартами безопасности. Тогда как второй тип поведения может привести к тому, что человек будет ошибочно понимать «благо для всех» и стремиться «причинить добро людям в особо крупных размерах», например, выпустив в природу вирус, который сделает всех людей «счастливыми».
Глава 11. Риски, связанные с программой SETI
В 2008 году выходит очередной номер авторитетного журнала по прогнозированию Futures, посвященный рискам человеческого вымирания. Составитель этого выпуска Брюс Тонн объявил, что принимает на рассмотрение статьи любой тематики, связанные с рисками человеческого вымирания, за исключением темы «инопланетного вторжения». Но, собственно говоря, почему?
В сущности, понятно. Поскольку Futures – авторитетный журнал, а интерес к инопланетянам ассоциируется с псевдонаукой и маргиналами, публикация материалов на эту тему могла бы подорвать доверие к самому журналу, к научной честности Тонна, к тематике рисков человеческого вымирания. С другой стороны, очевидно, что эти проблемы связаны с особенностями человеческого общества и научной конкуренции, а не с реальной вероятностью угрозы со стороны внеземного разума. Ведь чтобы доказать, что эта угроза равна нулю, требуется хорошо обоснованное научное исследование. (Отказ от доказывания в таком случае – не доказательство.)
Впрочем, мы можем реконструировать логические причины отказа Тонна от рассмотрения рисков инопланетного вторжения. Среди них есть чисто статистические соображения: крайне маловероятно, чтобы инопланетяне прилетели к нам именно сейчас, а не на миллиард лет раньше или позже. С другой стороны, Тонн заявил, что имеет смысл рассматривать любой риск человеческому существованию, вероятность которого больше, чем 1 к 10 миллиардам.
Вторая причина отказа от рассмотрения рисков, связанных с прилетом инопланетян, – это отсутствие каких-либо проявлений их деятельности в наблюдаемом космосе, а также тот факт, что мы до сих пор существуем и Солнечная система не колонизирована. Из этого можно с высокой вероятностью заключить, что разумные цивилизации крайне редки во Вселенной. Эта идея также известна как парадокс Ферми: если жизнь и разум являются естественным порождением материи в нашей Вселенной, то, собственно говоря, где они?
Есть много разных решений парадокса Ферми – одно из них это гипотеза «редкой Земли», которая предполагает, что условия для зарождения жизни и разума очень маловероятны и обитаемые планеты встречаются исключительно редко. Крайней формой этого мировоззрения является идея о том, что Земля уникальна в пределах наблюдаемой Вселенной (этой идеи под конец жизни стал придерживаться, например, знаменитый советский астрофизик И.С. Шкловский).
Другим решением является то, что разумные цивилизации всегда уничтожают себя на раннем этапе развития. Есть также несколько других вариантов, например, что цивилизации замыкаются в себе или что они уже незримо присутствуют вокруг Земли и мы живем в своеобразном космическом зоопарке.
Ни одна из этих гипотез не имеет под собой больше оснований, чем другая, и мы, пользуясь принципами так называемой байесовой логики – способом вычисления субъективных оценок вероятности неких событий на основании теоремы Байеса – можем приписать всем этим гипотезам равные вероятности.
При этом остается одна лазейка, в результате которой атака внеземного разума становится возможной именно сейчас. Она возникает в случае, если разумные цивилизации настолько разбросаны, что не могут совершать межзвездных перелетов друг к другу, но все же достаточно близки, чтобы иметь возможность посылать друг другу радиосообщения. Такая вероятность невелика – не более нескольких процентов по той же байесовой логике. Однако это значительно больше, чем невозможность. Речь идет об использовании радиосигналов для передачи компьютерных самообучающихся программ, то есть ИИ.
SETI, поиски разума и дыра в глобальной безопасности
В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной. [27 - Cocconi G., Morrison P. Searching for Interstellar communications. Nature. Vol. 184. № 4690. Р Р. 844–846. 19 September 1959.] C тех пор развиваются два направления поиска: это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (но также есть поиски сигналов в оптическом диапазоне и более экзотические варианты), и в виде METI ( Messaging to Extraterrestrial Intelligence) – то есть отправки наших сигналов к звездам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, которая может быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно.
Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. (В этой статье мы не будем касаться проблематики, связанной с рисками программ METI.) Вместе с тем пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность. Однако есть точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и, как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.
Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, ничего пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако следует отметить, что в действительности интенсивность поисков значительно выросла, и в первую очередь здесь нужно упомянуть проект ATA – Allen Telescope Array, который создается на частные средства одного из основателей Microsoft Пола Аллена. [28 - См. по-русски обзор: Торгашов А. Избранные места из переписки с инопланетянами. Русский репортер. 20 марта 2008 г. http:// www. expert. ru/ printissues/ russian_ reporter/2008/10/ obschenie_ s_ vse- lennoy/] Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звезд, в 1970-е – сотен звезд, а к 1990-м это число выросло до тысячи, то проект АТА предполагает прослушивание миллиона звезд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Вести наблюдение будут одновременно 350 шестиметровых антенн, и мощные компьютеры будут обрабатывать поступающие данные.
Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растет. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумным (с точки зрения принципа предосторожности в оценке рисков) оценить ее не менее чем в 10 процентов. (Хотя ряд исследователей [29 - Такого мнения придерживался под конец жизни И.С. Шкловский, автор знаменитой книги «Вселенная, жизнь, разум». Отметим также исследование Ward P. Rare Earth, 2002.] и считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)
В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приему и отправке сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции», [30 - Панов А.Д. Универсальная эволюция и проблема поиска внеземного разума ( SETI). М., УРСС, 2007.] которая вышла в 2007 году. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдет через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.
Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в романе «Андромеда» [31 - Хойл Ф., Эллиот Дж. Андромеда. М., 1966.] (1961). (Сначала вышел сериал ВВС « A for Andromeda», который, за исключением одной серии, к сожалению, не сохранился, а затем на его основе был написан роман, где основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 году.)
Согласно сюжету астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на его военное применение и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо этого компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на все большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.
Ганс Моравек в книге «Дети ума » [32 - Moravec Н . Mind children: the Future of robot and Human intelligence, 1988.] (1988) предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.
С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью «Следует ли обеззараживать сигналы SETI», [33 - Carrigan R.A. Jr. Do potential SETI signals need to be decontaminated? Acta Astronautica. Volume 58, Issue 2, January 2006. Pp. 112–117. http:// home. fnal. gov/~ carrigan/ SETI/ SETI_ Hacker_ AC-03- IAA-8-3-06. pdf. Русский перевод: Кэрриген P. Следует ли обеззараживать сигналы SETI? http:// www. proza. ru/ texts/2007/11/20/582. html] которую я перевел на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищенных машин программы SETI-Home. (Суть программы состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жесткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможны.
В своей статье Кэрриген сосредотачивается на легкости передачи гигабайт данных на межзвездные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указывает, что межзвездный сигнал может содержать наживку, которая побудит людей собрать по чертежам опасное устройство. При этом Кэрриген не отказался от гипотезы о том, что в некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)
На Земле была создана CosmicOS [34 - http:// cosmicos. sourceforge. net/] – способ записи самодостаточных сообщений с использованием только четырех символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе все необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далеким потомкам. А раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом. В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска», [35 - Yudkowsky Е. Artificial intelligence as a positive and negative factor in global risk. Forthcoming in global catastrophic risks // Eds. by Nick Bostrom and Milan Cirkovic. UK, Oxford University Press, to appear 2008. (Русский перевод: Юдковски E. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www. proza. ru/ texts/2007/03/22-285. html)] где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасным в случае, если бы он был неверно запрограммирован, и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается.
Кроме того, Юдковски ввел понятие Seed AI– зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed Сможет быть всего лишь порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3 процента от всего генокода человека, имеющего объем в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и еще меньше.)
Атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи хорошо показана в фантастическом романе В. Винджа «Пламя над бездной». [36 - Виндж В. Пламя над бездной, 1991.]
Уязвимость SETI и сценарий возможной атаки
В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально, чтобы другая цивилизация захотела и стала посылать такое сообщение, и каковы шансы на него наткнуться.
В начале отметим, что для доказательства уязвимости достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач значительно различается, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны. Постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI.
Прежде всего хочу предостеречь читателя от мысли, что если он найдет ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI – поскольку возможны альтернативные пути атаки. В соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения (например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат), хочу обратить внимание читателя также на то, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более года размышлений. Наконец, предлагаемый мною алгоритм не единственный, и далее мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом. Алгоритм атаки:
1. Цивилизация – отправитель сигнала создает маяк в космосе, который привлекает своим явно искусственным сообщением.
Например, это может быть звезда, окруженная сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идет разное расстояние. Тем не менее такой маяк может быть виден на расстоянии миллионов световых лет.
Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния.) Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику.
2. Источник передает бинарную информацию (то есть последовательность 0 и 1).
На возражения о том, что эта информация будет содержать шумы, замечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала.
Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача изображений.
Во-первых, потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трехмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприемник – и принять этот сигнал.
Во-вторых, двухмерные изображения нетрудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развертки.
В конце каждой строки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):
0000000100000011111111111111111
0000001110000011111111111111111
0000011111000011111111111111111
Здесь концевым сигналом строчной развертки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.
Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
С помощью картинок и фильмов можно передать много информации, можно даже обучить языку, показать свой мир.
Очевидно, что можно много спорить о том, насколько такие фильмы будут понятными. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно: они знают радиотехнику – то есть имеют представление о транзисторах, конденсаторах, резисторах. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы.)
Посылая фотографии с изображением справа радиодеталей, а слева – их условных обозначений, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)
3. Цивилизация-отправитель передает чертеж простейшего компьютера с помощью указанных обозначений.
Простейший с аппаратной точки зрения компьютер – это машина Поста. У нее только шесть команд и одна лента данных. Ее полная электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертеж машины Поста нетрудно. Впрочем, это может быть и чертеж более сложной вычислительной машины – например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Важен баланс – чем сложнее машина, тем проще для нее программы, но тем труднее безошибочно переслать ее чертеж. Кроме того, очень простые компьютеры работают очень медленно.)
Возможен двухступенчатый вариант – сначала передается описание очень простой машины и программа для нее, а эта программа чертит чертеж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует: вычислительная машина создает биокомпьютер в виде человека – девушки Андромеды, – который работает еще эффективнее.)
Важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале XIX века, была Тьюринг-совместимой.
4. Цивилизация-отправитель начинает передавать программы для этого компьютера.
Несмотря на то что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя в сравнении с записью программы для более сложного компьютера ее запись будет очень длинной. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нем достаточно быстро. (Впрочем, на начальном этапе время не критично и может составлять месяцы непрерывной работы.)
Что может побудить людей создать пересланный компьютер и выполнять на нем программы? Вероятно, помимо схемы компьютера и программ в сообщении должна быть некая «наживка», которая побудила бы людей создать такой компьютер, запустить на нем инопланетные программы и предоставить этому компьютеру данные о внешнем земном мире.
Наживки бывают двух родов – соблазны и угрозы.
Возможно следующее «честное предложение» – назовем его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно ее целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить все наши медицинские и энергетические проблемы.
«Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
«Неведомая угроза» – в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например от другой враждебной цивилизации, и чтобы от нее защититься, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определенного класса физических экспериментов на ускорителях и разослать это сообщение дальше по галактике. А чтобы его разослать, придется построить по внеземным технологиям передатчик.
«Неутомимый исследователь» – отправители утверждают, что отправка сообщений – самый дешевый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.
«Галактический Интернет» – человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звездами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны, и наверняка найдется много людей, которые пожелают это сделать.
Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым кодом состоит не в том, какая именно в нем будет содержаться наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей.
Во-первых, среди них всегда найдется тот, кому наживка понравится.
Во-вторых, допустим, в мире станет известно, что из определенной точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать.
Разумеется, все другие страны сразу же начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество.
Они найдут сообщение и увидят, что, например, в нем находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код, и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества и пытаются лишить этих преимуществ все «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся те, кто будет готов рискнуть. Тем более что в данном случае игра будет вестись по принципу «начавший первым получает все», равно как и в случае открытия ИИ, как подробно показывает Юдковски.
Итак, опасна не наживка, а множественность ее получателей. Если же инопланетное послание в сыром виде утечет в Интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то мы получим классический пример «знаний массового поражения», как сказал Билл Джой, [37 - Joy В. Why the future doesn’ t need us. Wired. 2000. http:// www. wired. com/ wired/ archive/8.04/ joy_ pr. html] имея в виду правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его и без всякой наживки.
Итак, наличие Интернета и возможности многократно загружать послание делают его запуск людьми практически неизбежным.
5. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности контроля над ним.
Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в черный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребенка. Если ИИ вырвется в Интернет, то он может быстро подчинить его себе целиком, а также обучиться всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем, закупив биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают), ИИ может создать продвинутые нанотехнологии.
Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется несколько недель.
Сильному ИИ для реализации каких-либо его целей люди не нужны. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.
6. Данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это следует из того, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.) Чтобы достичь этой цели, ИИ начнет, вероятно, превращать материю Солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.
Итак, мы рассмотрели возможный сценарий атаки, который состоит из шести этапов. Каждый из этих этапов выглядит логически убедительным и может быть подвергнут критике и защищен по отдельности.
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку, и пытаться ее вскрыть. А на самом деле это будет нечто вроде троянского коня.
Однако опасной может быть не только рассылка исполняемого кода. Например, нам могут сообщать о полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе: «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Анализ возможных целей атаки
Теперь обратимся к анализу целей сверхцивилизации, которая могла бы осуществлять такую атаку.
Прежде всего, мы не должны путать понятия о «сверхразвитой» и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит – об этом хорошо написано у Стругацких в романе «Волны гасят ветер».
Какие бы цели нам ни навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятными. А если SETI-атака удалась, то ее можно применить для «облагодетельствования» людей.
Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизводства людей.
Однако вирус ВИЧ пользуется этим каналом для своего распространения.
А.Д. Панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической, а именно: мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не создали препятствий для наших будущих исследований внеземной жизни.
В целях проведения анализа мы можем поделить все цивилизации на «наивные» и «серьезные». Серьезные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации вроде Земли уже обладают средствами дальней прослушки космоса и компьютерами, но еще не обладают ИИ, не осознают его рисков и рисков SETI, связанных с ИИ.
Вероятно, каждая цивилизация проходит этап «наивности», и именно в этот момент она наиболее уязвима для SETI-атаки. И вероятно, этот этап очень короток, поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может занять, по земным меркам, только несколько десятков лет. Следовательно, SETI-атака должна быть настроена именно на такую цивилизацию.
Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI-атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолетов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI-атаку.
Самое важное заключается в том, что достаточно один раз начать SETI-атаку, как она волной пойдет по Вселенной, поражая все новые и новые наивные цивилизации. Например, если у нас есть миллион не способных к размножению обычных биологических вирусов и один опасный и способный, то после того как они попадут в организм, мы получим триллионы копий опасного вируса и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс, чтобы он пошел по всей Вселенной. А поскольку он распространяется со скоростью, близкой к скорости света, остановить его будет почти невозможно.
Далее, рассылка SETI-сообщений будет приоритетом для пораженной SETI-вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI не более нескольких десятков миллионов долларов в год, а на METI, то есть на отправку, и еще меньше – за все время было осуществлено только 30 часов направленных передач, то есть менее одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций (есть ряд соображений, по которым нормальным рациональным цивилизациям выгоднее слушать космос, чем посылать сообщения).
Иначе говоря, одна зараженная цивилизация будет производить в миллион раз больше радиосигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций и одна зараженная, то у нас будут равные шансы наткнуться на здоровую или зараженную. Точно такую же ситуацию мы видим в современном Интернете, где почти половина сообщений являются спамом, и эти сообщения генерируются очень небольшим количеством людей. Кроме того, значительная часть спама содержит в себе компьютерные вирусы, которые стремятся подчинить себе компьютер и использовать его для дальнейшей рассылки своих копий.
Очевидно, чтобы рассылать свой код в далекий космос, нет других разумных причин, кроме саморазмножения. При этом такой процесс может начаться случайно – например, на заре это мог бы быть просто исследовательский проект, цель которого состояла бы в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а затем этот процесс из-за сбоев или мутаций стал бы «раковым».
В такой модели поведения нет ничего необычного. В любой информационной среде существуют вирусы: в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы. Мы ведь не спрашиваем, зачем природа захотела создать биологический вирус.
Путешествие с помощью SETI-атаки гораздо дешевле любых других способов. А именно, находясь в галактике Андромеда, можно одновременно посылать сигнал на 100 миллиардов звезд нашей Галактики. Но потребовались бы миллиарды звездолетов, к тому же более медленных, чтобы облететь все звезды нашей Галактики.
Перечислю еще несколько возможных целей SETI-атаки, просто чтобы показать, что их может быть много:
для исследования Вселенной: после исполнения кода возникают исследовательские зонды, которые отсылают назад информацию;
чтобы не возникло конкурирующих цивилизаций: все их зародыши уничтожаются;
чтобы конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом;
чтобы подготовить базу к прилету реальных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко и, соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью ее кораблей (допустим, 0,5 с) составляет тысячелетия;
для достижения бессмертия. Кэрриген показал, что объем личной сознательной памяти человека – около 2,5 гигабайта, поэтому, переслав несколько экзобайт информации, можно переслать всю цивилизацию;
с нелогичными и непонятными для нас целями. Например, инопланетянам было бы непонятно, зачем американцы установили флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?
Поскольку Вселенная существует давно, область, на которую могла бы распространиться SETI-атака, занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе размером в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI-атаки. Разумеется, это верно, если средняя плотность цивилизаций – хотя бы одна на галактику. По мере увеличения глубины сканирования неба на порядок объем пространства и число звезд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнуться на внеземной сигнал увеличиваются не линейно, а по быстро растущей кривой. При этом возможна ситуация, когда мы наткнемся на несколько разных посланий из разных точек неба, которые опровергают одно другое. Так, в земном информационном поле это обычная ситуация, когда, например, в средствах массовой информации разные издания критикуют друг друга. То есть какие бы позитивные и ценные послания мы ни получали, мы никогда не сможем быть уверены, что за всем этим не стоит очень тонкий обман. Это означает, что в межзвездном общении всегда будет присутствовать элемент недоверия.
Безопасной оборонительной позицией в предполагаемом межзвездном общении считается слушать, ничего не посылая, чтобы не выдать своего местоположения. Те цивилизации, которые посылают – не боятся выдать свое местоположение. Возможно потому, что отправка сообщений для них важнее безопасности. (Например, потому что они «атакуют».)
Про атомную бомбу сказали: главная тайна атомной бомбы в том, что ее можно сделать. Если до открытия цепной реакции Резерфорд считал, что высвобождение атомной энергии вопрос отдаленного будущего, то после открытия любой физик понимал, что для этого достаточно создать критическую массу из урана. Иначе говоря, если однажды выяснится, что из космоса поступают сигналы, это будет необратимое открытие. Даже если точные координаты источника сигнала будут скрыты, то его смогут переоткрывать снова и снова. Невозможно закрыть космос (хотя и можно представить космические аппараты – глушители опасного сигнала, расположенные между Землей и источником сигнала).
Возражения не верящих в инопланетных «хакеров»
В ходе дискуссий о рисках, связанных с SETI, был высказан ряд типичных возражений, которые стоит обсудить. Подчеркну, что речь идет не о заражении обычным компьютерным вирусом, а только о запуске на Земле программы ИИ, которая является вирусоподобной по планетарным масштабам своей деятельности, а именно: стремится использовать планету для рассылки своих копий дальше. При этом она может использовать, а может и не использовать атаку по компьютерным сетям, подобную атакам компьютерных вирусов.
Комментарий: А.Д. Панов, полагая плотность внеземных цивилизаций в Галактике высокой, при этом считает ИИ невозможным, поскольку догадка и озарение недоступны конечному автомату, каковым является компьютерная программа. Однако это мнение внутренне противоречиво. Если согласиться с множественностью внеземных цивилизаций, из этого следует, что и интеллект неоднократно зарождался на разных планетах, причем, если цивилизации находились достаточно близко друг к другу это происходило достаточно часто.
Таким образом, из допущения множественности цивилизаций следует, что есть некий эффективный способ создавать интеллект (а именно с помощью эволюции и естественного отбора) и что в человеческом интеллекте нет ничего особенного. Более того, сам естественный отбор и эволюция моделируются современными компьютерами в направлении исследований, называемом «генетическое программирование».
Наоборот, признание невозможности ИИ (например, основываясь на рассуждениях в духе Пенроуза) равносильно признанию существования трансцендентальной физическому миру души. (Но тогда мы должны признать ее наличие и у всех внеземных цивилизаций.) Отметим, что даже если ИИ невозможен на конечных автоматах, но реализуется квантовыми процессами в нейронах мозга, то тогда он возможен и на квантовых компьютерах, и, соответственно, SETI-атака все равно остается возможной (если добавить к ней этап пересылки описания и программы для квантового компьютера). Более того, даже если окажется, что для существования интеллекта необходим мозг живого существа, то и в этом случае SETI-атака остается возможной, так как возможно переслать код ДНК существа и некоторые сопутствующие инструменты (как это и происходит в романе «Андромеда» Хойла, где электронный компьютер нужен только для того, чтобы адаптировать присланное ДНК к местной форме жизни и создать живое разумное существо – девушку Андромеду).
Враждебный и опасный ИИ вовсе не обязательно должен обладать всеми человеческими качествами, например интуицией. Скажем, Deep Blue обыграл Каспарова, используя против его интуиции простой перебор. В любом случае, современный мир использует интуицию в незначительной степени, и у нас нет средств обороны, целиком построенных на интуиции. Интернет, управление вооружениями, конструирование новых механизмов – почти полностью рациональные процессы и уязвимы к воздействию сверхрационального субъекта.
Возражение 1. Описываемое здесь поведение цивилизаций слишком антропоморфно. На самом деле цивилизации слишком отличаются друг от друга, чтобы можно было предсказать их поведение.
Комментарий: В данном случае имеет место мощный эффект наблюдательной селекции. Хотя возможны самые разные цивилизации, мыслящие океаны и т. п., мы можем получать радиосигналы только от тех цивилизаций, которые их посылают, а значит, обладают соответствующей радиоаппаратурой и знаниями материалов, электроники и вычислений. То есть нам угрожают цивилизации нашего же типа. Те цивилизации, которые не могут ни принимать, ни отправлять радиопослания, не участвуют в этой игре. Кроме того, принцип предосторожности заставляет нас предполагать, что существуют цивилизации, достаточно похожие на нашу – пока не доказано обратное.
Также наблюдательная селекция касается и целей. Цели у цивилизаций могут быть самыми разными, но интенсивнее всего посылать сигналы будут только те цивилизации, которые хотят донести до нас важную для них информацию. (Примером такой тонкой информационной атаки может быть культурная экспансия, каковой, скажем, является продвижение американского образа жизни в современном глобализирующемся мире – и известно, что это в определенной мере приводит к утрате культурной идентичности.)
Наконец, наблюдательная селекция касается эффективности и универсальности SETI-вируса. Чем он эффективнее, тем больше разных цивилизаций поразит и тем большее число его радиосигналов будет доступно. Таким образом, вероятнее всего наткнуться на наиболее эффективный SETI-вирус.
Возражение 2. Сверхцивилизациям нет нужды прибегать к уловкам.
Они могут завоевать нас физически. Сверхцивилизации уже знают о нас благодаря сверхмощным телескопам.
Комментарий: Это верно, только если они находятся в непосредственной близости от нас. Если же перемещение со скоростью больше световой невозможно, то воздействие посланиями будет быстрее и дешевле. Вероятно, эта разница приобретает значение на галактических расстояниях. Следовательно, не стоит опасаться SETI-атаки от ближайших звезд, находящихся в радиусе десятков и сотен световых лет.
Неверно и то, что сверхцивилизации уже знают о нас. Если какая-то из них расположена на расстоянии 1000 световых лет, то антропогенное радиоизлучение Земли еще не достигло ее. Все, что она может наблюдать – это сам факт существования жизни на Земле, проявляющийся в спектре атмосферы. Если бы такая цивилизация реагировала на обнаружение разумной жизни, то ее реакция запоздала бы по крайней мере на 2000 лет – а за это время мог бы сформироваться грозный противник.
Таким образом, SETI-атака обладает временным преимуществом перед любым другим видом атаки, так как ее можно осуществлять упреждающе.
Возражение 2.1. SETI-атака невозможна. Если существует сверхцивилизация, то она давно нас обнаружила и обладает огромным техническим арсеналом средств, чтобы достичь нас ранее – и раз мы существуем, то она не стала нам мешать и не заинтересована в нашем уничтожении и в будущем. Если же партнером по SETI выступает цивилизация нашего уровня, то она не обладает необходимыми ресурсами для SETI-атаки. Таким образом, в обоих случаях – и цивилизации нашего уровня, и сверхцивилизации – ожидать неприятностей не следует.
Комментарий: Подобные эвристические умозаключения, к сожалению, не обладают доказательной ценностью, то есть они могут только понизить нашу оценку вероятности атаки, но не доказать ее невозможность во всех мыслимых случаях.
Например, если мы отпускаем гулять пятилетнего ребенка в парк, мы тоже можем рассуждать подобным образом: либо он встретит ребенка своего возраста, который для него безопасен, либо он встретит взрослого человека, который достаточно мудр и гуманистичен (раз дожил до взрослого возраста, не саморазрушившись, – примерно так доказывает А.Д. Панов «экзогуманистичность» космических цивилизаций). Тем не менее ни один родитель не руководствуется рассуждениями такого рода, когда отпускает ребенка в парк. Во-первых, потому что помимо детей и взрослых еще существуют подростки, которые сильнее детей, но не обладают мудростью. Во-вторых, потому что сама «мудрость» взрослых есть категория весьма относительная: один маньяк на миллион мудрых взрослых – достаточный повод для беспокойства.
В случае контакта с внеземной цивилизацией возможна ситуация, когда мы вступили в контакт с цивилизацией, которая только на несколько десятков лет опережает нас. В этом случае она гораздо больше нас знает о создании ИИ, учитывая огромную скорость прогресса в этой области, но еще не является древней и устойчивой сверхцивилизацией. Более того, она может быть разрываема изнутри конфликтом разных глобальных систем ИИ или стран и обречена на гибель в ближайшем будущем. Тем не менее она может предпринять попытку отправить к нам враждебную нам SETI-программу.
Важно также понимать, что то, что мы можем воспринимать как агрессивное, бесчеловечное и враждебное поведение, может быть совершенно нейтральным поглощением ресурса с точки зрения субъекта этого поведения. Например, как мы воспринимаем уборку урожая на поле – а ведь при этом гибнут миллионы насекомых и грызунов; или как большинство людей воспринимают скотобойни.
Возражение 3. Есть масса причин, по которым SETI-атака может не удаться. Какой смысл затевать столь неэффективную атаку?
Комментарий: SETI-атака вовсе не должна действовать всегда. Она должна действовать в достаточном числе случаев, в соответствии с целями той цивилизации, которая отправляет сообщение.
Например, нищий или мошенник не ожидает, что ему удастся «развести» каждого встречного. Ему достаточно хотя бы одного человека из ста.
Из этого следует, что SETI-атака бесполезна, если стоит цель атаковать все цивилизации в галактике. Однако если цель состоит в том, чтобы получить хотя бы некоторые форпосты в другой галактике, то SETI-атака годится. Из этих форпостов затем можно на досветовых звездолетах распространить свое влияние по окрестным звездам.
Кроме того, SETI-атака нацелена на обычные цивилизации, то есть на тот тип цивилизаций, который многократно встречается во Вселенной, а принцип Коперника заставляет нас полагать, что мы являемся цивилизацией обычного типа, а не уникальной цивилизацией. Отсюда можно заключить, что SETI-атака нацелена именно на цивилизации нашего типа.
Возражение 4. Пересылка компьютера и работающей на нем программы предложенным в данной статье способом невозможна по тем или иным причинам.
Комментарий: Согласие с этим возражением означало бы признание того, что способа переслать описание компьютера с работающей на нем программой от какой-либо одной цивилизации к другой не существует, как бы сильно отправляющая цивилизация ни желала оправить это описание, а получающая – получить его и выполнить.
Такое утверждение слишком сильное, чтобы быть истинным. А значит, существуют способы переслать описание компьютера и его программы. При этом нет сомнений, что отправитель вирусного сообщения очень хочет сделать его максимально понятным, а земная цивилизация очень хочет «подключиться к галактическому Интернету», то есть понять сообщение и выполнить.
Возражение 5. Весь объем знаний сверхцивилизации нельзя засунуть в 1 гигабайт, следовательно, загруженный код будет неполноценным и атака им невозможна.
Комментарий: Во-первых, мы не знаем, что можно, а что нельзя закодировать в 1 гигабайт. Например, объем генокода человека меньше, а ведь он не плотно упакован. Во-вторых, по мере надобности ИИ может подключаться к зашифрованным каналам передачи и подгружать недостающие сведения (например, попросив доступ к антеннам радиотелескопов). В-третьих, будучи мощной самообучающейся программой, он может изобрести заново многие вещи, зная только базовые принципы.
Возражение 6. Послав нам программу с ИИ, внеземная цивилизация раскроет нам сам факт своего существования и свои координаты, технологию ИИ и сам факт ее возможности, ряд других технологий, которые этот ИИ создаст, а также, что особенно важно, откроет нам факт агрессивности своих намерений. И все это, в случае неудачной атаки, обернется против нее.
Комментарий: Подобные рассуждения носят только вероятностный характер и не могут гарантировать невозможность события. Отметим, что в случае войны на Земле те же соображения не препятствуют определенным агрессивным действиям.
Например, пушки раскрывают свое местоположение первым же выстрелом, но это не приводит к отказу от их использования. Кроме того, вряд ли сверхцивилизация отправит нам вместе с ИИ такие технологии, которые мы сами не открыли бы в ближайшие 100–200 лет (во всяком случае, не отправит – точнее, не позволит их расшифровать – до того, как будет уверена в победе). Возможно, что соблазн переиграть инопланетный ИИ (например, запустив его в полностью симулированном мире) будет одной из частей многоуровневой ловушки, которую она нам подстроит.
Наиболее серьезное возражение. «Продвинутая» цивилизация могла бы за несколько миллионов лет засеять всю нашу галактику способными к саморазмножению микророботами, которые могли бы реализовать любые цели у каждой звезды, в том числе без труда предотвратить развитие других цивилизаций.
Однако мы этого не видим – никто не помешал пока нашей цивилизации развиться. Разослать микророботов с заданиями было бы гораздо проще и надежнее, чем бомбардировать всю галактику SETI-посланиями, а раз этого нет, то нет и SETI-атаки внутри галактики.
Вероятно, за многие миллионы или даже миллиарды лет микророботы могли бы долететь даже из отдаленных галактик на расстоянии в десятки миллионов световых лет. В этом случае SETI-атака имела бы смысл только на больших расстояниях. Однако на таком расстоянии, вероятно, требуются принципиально новые способы модуляции сигналов, например, управление свечением активных ядер галактик; или передача узконаправленным лучом в сторону нашей галактики (но они не знают, где она будет через миллионы лет). Но цивилизация, способная управлять ядром галактики, может, вероятно, создать и звездолет, летящий с околосветовой скоростью, даже если его масса будет массой с планету.
Подобные рассуждения, безусловно, сильно снижают вероятность SETI-атаки, хотя и не опускают ее до нуля, так как мы не знаем всех возможных целей и обстоятельств. Масштабы космической стратегии могут быть непостижимыми для человеческого ума.
Насколько мы готовы противостоять угрозе сегодня
Существует протокол о действиях в случае обнаружения внеземного разумного сигнала. [38 - Declaration of principles concerning activities following the detection of extraterrestrial intelligence. http:// www. davidbrin. com/ firstsetiprotocol. html] Однако он предполагает скорее тщательную проверку информации, а затем широкое информирование о событии. В нем ничего не говорится об опасностях, которые может создавать само загруженное сообщение. В нем нет правила о том, что никогда и ни при каких обстоятельствах нельзя создавать механизмы, чертежи которых получены из космоса, и не запускать на компьютерах программы, загруженные по каналам SETI.
Это связано с тем, что ни широкая публика, ни сами исследователи SETI не осознают рисков, связанных с загрузкой программ. Вероятно, это обусловлено тем, что осознание этого риска требует принятия двух допущений, каждое из которых по отдельности выглядит фантастическим: во-первых, что внеземные цивилизации существуют, а во-вторых, что возможна компьютерная программа, обладающая искусственным интеллектом. Вместе они кажутся просто находящимися за гранью фантастики. Кроме того, исследователи SETI – это энтузиасты своего дела, и им трудно признать, что их деятельность может быть опасной.
Можно сказать, что осознание данного риска катастрофически мало – за прошедшие почти 50 лет он упоминается только в трех публикациях. Это значительно отличает его от других рисков, например глобального потепления, которое исследуется тысячами ученых. Это наше неосознавание риска ведет к неготовности, а значит – к повышенной уязвимости.
Наилучшей защитой в данном контексте было бы то, что цивилизации в космосе встречаются крайне редко. Однако если бы это было так, наша безопасность оказалась бы сомнительной, потому что в этом случае парадокс Ферми срабатывает по принципу «оба хуже»:
Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать.
Если внеземных цивилизаций нет, то это тоже плохо, так как придает вес гипотезе о неизбежности вымирания технологических цивилизаций.
Конечно, теоретически возможен вариант, когда по SETI придет полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не проводите экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это с целью лишить нас некоторых технологий. (Подтверждением стали бы аналогичные сообщения от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн проведения экспериментов с Х-частицами.
Поэтому я не призываю отказаться от SETI-поисков окончательно, тем более что такие призывы бесполезны. Однако важно повысить осознание рисков в SETI-сообществе, а без этого любые дальнейшие меры бесполезны.
Возможно, было бы полезно:
Во-первых, отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. Возможно, до него осталось 10–30 лет, а значит, можно потерпеть.
Во-вторых, важно было бы скрывать сам факт получения SETI-сигнала, его суть и месторасположение источника, с тем чтобы избежать его повторного скачивания.
В-третьих, можно обдумать способы глушения SETI-сигнала, если он будет признан опасным, и международного запрета на его прием, хранение и анализ, аналогично тому, как действует запрет в отношении ядерных секретов и оборудования.
Проще всего заметить те цивилизации, которым выгодно о себе сообщать. Важно понять, какова причина этой выгоды и не может ли эта выгода быть для нас опасной.
С этим риском связан интересный методологический аспект. Несмотря на то, что я уже давно размышляю на темы глобальных рисков и читаю о них, я обнаружил эту опасную уязвимость в SETI только через год после начала исследований. Задним числом я смог найти еще примерно четырех человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть еще не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.
C точки зрения нашего основного вопроса о неопределенности, здесь сталкиваются два фактора – это вопрос о возможности внеземного разума и вопрос о реальности и опасности ИИ. Следствием является крайне малое число людей, которые принимают данный риск всерьез – гораздо меньшее, чем число людей, исследующих либо возможность ИИ и его риски, либо возможность существования внеземного разума и проблемы связи с ним.
Наложение двух неопределенностей делает результирующий эффект менее вероятным, но не в той мере, в какой люди считают его невероятным. Наоборот, новые открытия могут взаимно усиливать друг друга, как ракета и ядерная бомба взаимно усиливают поражающую силу друг друга. Если вопрос о враждебности человеку ИИ, созданного на Земле, является спорным, то ИИ, загруженный по каналам радиосвязи из космоса, почти наверняка будет враждебным. Единственное исключение – это ситуация, когда цивилизация-благотворитель рассылает по Вселенной такой ИИ, который помогает начинающим цивилизациям справиться с трудностями роста (но все-таки затем она рассылает себя дальше).
Рекомендуемая литература
Кэрриган Р. Следует ли обеззараживать сигналы seti. – 2006.
http:// www. proza. ru/ texts/2007/11/20/582. html
Комментарий от VP: интересно сколько еще будут пугать друг друга тем, с чем живут рядом с пеленок? нет ничего страшнее глупости. именно она хуже атомной войны и всего остального
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Чтобы писать комментарии Вам необходимо зарегистрироваться либо войти на сайт под своим именем.
» Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации. Зарегистрируйтесь на портале чтобы оставлять комментарии
Материалы предназначены только для ознакомления и обсуждения. Все права на публикации принадлежат их авторам и первоисточникам. Администрация сайта может не разделять мнения авторов и не несет ответственность за авторские материалы и перепечатку с других сайтов. Ресурс может содержать материалы 16+
