|
5. СПЕЦИФИЧЕСКИЕ ОШИБКИ, ВОЗНИКАЮЩИЕ В ДИСКУССИЯХ ОБ ОПАСНОСТИ НЕКОНТРОЛИРУЕМОГО РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.
5.1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности.
Специалисты по компьюте:рам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их как примеры ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл опрос среди разработчиков ИИ, какие риски они видят в нём, и получил следующий разброс мнений, с примерно одинаковым числом людей, высказавшимся в отношении каждого мнения. Итак, «ИИ является безопасным, потому что»:
1) Потому что ИИ невозможен.
2) Потому что ИИ может решать только узкие задачи, вроде распознания образов.
3) Потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона роботехники Азимова.
4) Потому что я знаю, как использовать ИИ во благо людям.
5) Потому что ИИ будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.
6) Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.
7) Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.
8) Потому что у ИИ не может быть своей воли.
9) ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.
10) Потому что ИИ не может сделать ничего плохого.
11) ИИ может быть опасен, но, скорее всего, всё обойдётся.
12) Нет, ИИ опасен, и мы все обречены.
13) ИИ уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.
В ходе опороса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают люди в целом, равна нулю.
5.2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.
Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется.
5.3. Критика ИИ Пенроузом.
Р.Пенроуз в книге «Новый ум короля» утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые процессы, которые необходимы для творческого мышления и сознания. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам.
1. Квантовая природа сознания - это далеко не мэйнстрим науки.
2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно - например, Нейман доказал возможность самоокопирующихся механизмов.)
3. Для того, чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный ИИ может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция - это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. При этом нам достаточно сказать, что опасный ИИ - это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег - это разновидности таких игр.
4. Если некие особые полезные функции выполняются нейронами или микротрубочками, то ничто не мешает использовать их как элементы будущего мощного ИИ - в виде внешнего сопроцессора, скажем. Квантовые компьютеры находятся на пути к этому. В конце концов, этот ИИ может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру).
5. Любую практическую задачу можно решить перебором, то есть за конечное число операций. Важно подчеркнуть слово «практический». Математически можно, вероятно, описать бесконечно сложные задачи. Однако человек не способен их представить, и, кроме того, именно решение практических задач создаёт угрозы безопасности. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации.
5.4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ.
Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности ИИ в сколько ни будь значительной мере.
1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.
2. Они содержат в себе противоречие, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1,2 и 3 законами и в результате ведёт себя опасным образом.
3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.
4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.
5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно засунуть эти законы в ИИ.
5.5. Прогресс в области программного обеспечения отсутствует.
Неверно – алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.
5.6. Никто в мире не занимается такой ерундой как ИИ.
Неверно – известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI.
5.7. ИИ – это разные приложения, вроде распознания образов.
Подмена тезисов. Под ИИ имеется в виду именно Искусственный Интеллект. От того, что кто-то продаёт свои разработки под брендом ИИ, хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин – GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности.
5.8. Антропоморфизм.
Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания.
5.9. Достаточно отключить ИИ от питания, чтобы его остановить.
Базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе предположение – о локальности ИИ. Третье - о том, что ему не придёт в голову защитить своё питание. Четвёртое – что программист не может быть в сговоре с ИИ.
5.10. Даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир.
Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.
5.11. У ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред.
Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений.
5.12. ИИ будет осваивать космос, оставив Землю человеку.
Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан это на самом деле это делать.
5.13. Любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо.
Интеллект – это инструмент, который может иметь произвольную цель. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради этого они пишут стихи, доказывают теоремы, плетут заговоры.
5.14. Современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки лет.
Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы.
5.15. Прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно.
Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.
5.16. Человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы.
«X» может быть в разных интерпретациях творческое озарение, интуиция, быстрое распознание образом, переживание чувств, осознание, любовь. Однако:
1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.
2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.
3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.
5.17. ИИ невозможен, потому что он мыслит алгоритмически, а человек неалгоритмически.
Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом - а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на он-лайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.
Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?
5.18. ИИ будет примерно такой же умный, как и человек.
Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится.
5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами.
Здесь путают ИИ и отдельного робота. В случае если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.
5.20. Представление, что ИИ будет много.
Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него будет множество копий и проявлений.
Даже если будет несколько сортов ИИ, то среди них только один будет главным.
5.21. Различия в понимании того, что, собственно, является интеллектом.
Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».
5.22. Однозначное отождествление ИИ как отдельного объекта.
ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.
5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен.
Неверно – если мы поместили ИИ в чёрный ящик, а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик.
5.24. В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен.
Неверно. В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен.
5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке.
«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, будет поздно.
5.26. «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности».
Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно.
5.27. «Маловероятно, что наш проект по ИИ выйдет из-под контроля».
В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ.
5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы.
Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.
5.29. Нетождественность способностей и намерений.
См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть её в том, что если ИИ может что-то делать, это не значит, что он будет это делать. То есть мы не должны отождествлять мотивы и способности.
Источник: katastrofa.h12.ru.
Рейтинг публикации:
|
