Резюме: Просвещение началось с философских размышлений, которые распространялись с помощью новой технологии. Мы движемся по противоположному пути. Разработана потенциально доминирующая технология Искусственного Интеллекта, которая нуждается в направляющей философии. Но разработкой таковой никто даже не занимается.

Статья опубликована в журнале The Atlantic (июнь 2018 г.) и публикуется по-русски с официального разрешения редакции.

Три года назад на конференции по трансатлантическим вопросам в повестке дня появилась тема искусственного интеллекта (ИИ). Я собирался уйти с заседания, поскольку этот предмет не входит в сферу моих интересов, но начало презентации заставило меня остаться. Выступавший рассказывал о компьютерной программе, которая вскоре сможет бросить вызов чемпионам мира по игре го. Я удивился: компьютер способен справиться с го – более сложной игрой, чем шахматы? Каждый из игроков имеет в своем распоряжении 180 или 181 фишку-камень (в зависимости от выбранного цвета) и по очереди расставляет их на пустой доске. Выигрывает тот, кто, принимая эффективные стратегические решения, парализует действия противника и будет контролировать большую территорию.

Выступавший утверждал, что эта способность не может быть запрограммирована. Его машина освоила игру посредством тренировок. Зная правила, компьютер сыграл бессчетное количество партий сам с собой и учился на собственных ошибках, совершенствуя алгоритмы. В процессе тренировок ему удалось превзойти своих наставников-людей. Спустя несколько месяцев действительно появилась ИИ-программа AlphaGo, способная обыгрывать сильнейших мастеров го.

Пока я слушал заявления о победе технического прогресса, мой опыт историка и периодически практикующего государственного деятеля заставил меня задуматься. Как повлияют на историю самообучающиеся машины – те, что приобрели знания с помощью специфических внутренних процессов и могут применить их для целей, недоступных человеческому пониманию? Научатся ли машины коммуницировать друг с другом? Как будет происходить выбор из имеющихся опций? Может ли в истории человечества повториться судьба инков, столкнувшихся с испанской культурой, которая была недоступна их пониманию и вызывала ужас? Стоим ли мы перед новой фазой истории? Осознавая собственную некомпетентность в этой сфере, я организовал ряд неформальных встреч со специалистами по технологиям и гуманитарным наукам. Состоявшиеся дискуссии обеспокоили меня еще сильнее.

До сих пор технологическим прорывом, изменившим ход современной истории, можно было назвать изобретение печатного станка в XV веке. В результате появился доступ к эмпирическим знаниям, вытеснившим религиозные доктрины, на смену эпохе религии постепенно пришла эпоха разума. Человеческая прозорливость и научные знания заменили веру как основной критерий сознания. Информация хранилась и систематизировалась в разрастающихся библиотеках. Эпоха разума стимулировала мысли и действия, сформировавшие современный мировой порядок.

Но сегодня этот порядок переживает трансформацию на фоне новой, еще более стремительной технологической революции, последствий которой мы пока не осознаем. В результате может возникнуть мир, опирающийся на машины, управляемые данными и алгоритмами, а не этическими и философскими нормами.

Мы живем в эпоху интернета и уже сталкиваемся с некоторыми вопросами, которые с распространением искусственного интеллекта станут еще острее. Просвещение предоставляет традиционные истины свободному, склонному к анализу человеческому разуму. Назначение интернета – ратифицировать знания посредством аккумулирования и манипулирования увеличивающимися массивами данных. Когнитивные способности человека утрачивают личностный характер. Индивидуум превращается в набор данных, и данные начинают доминировать.

Для пользователей интернета важно получение и манипулирование информацией, а не контекст и концептуализация ее значения. Они редко интересуются историей или философией, как правило, им требуются сведения, касающиеся практических нужд. Алгоритмы поисковиков обретают способность прогнозировать предпочтения конкретных пользователей, результаты можно персонализировать и предоставлять заинтересованным лицам для политических или коммерческих целей. Правда становится относительной. Информация угрожает пересилить разум.

Через соцсети на пользователей льются потоки мнений большинства, и человек утрачивает способность к рефлексии. В действительности многие технофилы используют интернет, чтобы избежать одиночества, которое их пугает. Все это ослабляет силу духа, необходимую, чтобы выработать собственные убеждения и пройти определенный путь в одиночку – без этого невозможно создать нечто новое.

Воздействие интернет-технологий на политику особенно заметно. Возможность влиять на конкретные микрогруппы разрушила существовавший консенсус по поводу приоритетов – теперь акцент делается на определенных целях или претензиях. Политические лидеры заняты нишевым давлением, у них нет времени, чтобы задуматься о контексте, и, следовательно, нет потребности расширять мировоззрение. В цифровом мире приоритетна скорость, что препятствует рефлексии, радикалы получают преимущество перед вдумчивыми людьми, ценности формируются консенсусом субгруппы, а не в процессе размышлений. Несмотря на все достижения, цифровой мир рискует сам себя уничтожить, потому что недостатков больше, чем удобств.

Интернет и повышение мощностей компьютеров облегчили аккумулирование и анализ данных, открылись беспрецедентные ресурсы, которые человеку сложно осознать. Один из самых значительных – искусственный интеллект, т.е. технология, позволяющая решить сложные, казавшиеся абстрактными проблемы с помощью процессов, напоминающих работу человеческого мозга.

Речь идет не только об автоматизации, как мы ее сейчас понимаем. Автоматизация затрагивает средства достижения поставленных целей путем рационализации или механизации инструментов. Искусственный интеллект, напротив, имеет отношение именно к целям, он ставит собственные задачи. Поскольку его достижения отчасти определяются им самим, искусственный интеллект по своей природе нестабилен. ИИ-системы в процессе функционирования постоянно меняются: они получают и мгновенно анализируют новые данные, а затем самосовершенствуются на основе этого анализа. В результате искусственный интеллект приобретает способность, раньше считавшуюся прерогативой человека. Он выносит стратегические суждения о будущем, основываясь на установочных данных (например, правила игры) или данных, полученных им самим (например, сыграв 1 млн игр).

Беспилотный автомобиль демонстрирует различия между традиционными компьютерами, контролируемыми человеком и определяемым программным обеспечением, и вселенной, где будет царствовать искусственный интеллект. При управлении автомобилем необходимо оценивать множество ситуаций, которые невозможно предвидеть и, следовательно, запрограммировать. Возьмем известный гипотетический пример: что произойдет, если беспилотному автомобилю придется выбирать между гибелью бабушки и гибелью ребенка? Кого он выберет? Почему? Какие факторы попытается оптимизировать? Будет ли в состоянии объяснить свои действия? Если бы он умел коммуницировать, то, скорее всего, ответил бы так: «Я не знаю (потому что следую математическим, а не человеческим принципам)» или «Вы не поймете (потому что я обучен действовать определенным образом, а не объяснять свои действия)». Между тем через 10 лет беспилотные автомобили будут преобладать на дорогах.

До сих пор ИИ-исследования ограничивались определенными сферами деятельности, но сейчас речь идет о разработке «широко развитого интеллекта», способного выполнять задачи в различных сферах. В обозримом будущем во многих областях человеческой деятельности будут работать ИИ-алгоритмы. Но они являются математической интерпретацией наблюдаемых данных и не объясняют реалии, которые их обусловили. Парадоксально: мир становится более прозрачным и одновременно более таинственным. Чем новый мир будет отличаться от привычного нам сегодня? Как мы будем в нем жить? Как будем управлять искусственным интеллектом, совершенствовать его, а в крайнем случае помешаем ему нанести нам вред? Главная проблема заключается в том, что искусственный интеллект осваивает навыки быстрее и увереннее человека, поэтому со временем он может сократить человеческую деятельность, а людей превратить в данные. Искусственный интеллект способен принести невероятную пользу в медицине, обеспечении чистой энергией, в экологии и многих других сферах. Но именно потому, что ИИ принимает решения по поводу пока еще неопределенного будущего, результатам его деятельности присущи неопределенность и неоднозначность. Особое беспокойство вызывают три аспекта.

Во-первых, искусственный интеллект может достичь непредусмотренных результатов. В научной фантастике описывается, как искусственный интеллект атакует своих создателей. Более вероятно, что ИИ неверно интерпретирует инструкции человека из-за отсутствия понимания контекста. В качестве примера можно вспомнить ИИ-виртуального собеседника Tay, который предназначен для ведения дружеских бесед языком 19-летней девушки. Но машина не смогла распознать императивы «дружеский» и «разумный», установленные разработчиками, поэтому виртуальный собеседник подавал расистские, сексистские и просто оскорбительные реплики. Некоторые представители мира технологий утверждают, что эксперимент плохо продуман и неудачно реализован, тем не менее он продемонстрировал базовую неоднозначность. Насколько ИИ способен понять контекст, определяющий полученные им инструкции? Кто помог бы Tay понять значение слова «агрессивный», если сами люди не могут прийти к единому мнению? Можем ли мы на начальной стадии выявить ошибки и скорректировать ИИ-программу, действующую не так, как мы ожидали? Или у искусственного интеллекта неизбежно возникнут небольшие отклонения, которые со временем могут привести к катастрофическим последствиям? 

Во-вторых, в процессе достижения поставленных целей ИИ может изменить человеческое мышление и человеческие ценности. AlphaGo удалось обыграть сильнейших мастеров го, предпринимая беспрецедентные стратегические шаги, о которых человек даже не мог подумать и которым пока не научился противодействовать. Эти ходы находятся за пределами возможностей человеческого мозга? Или люди смогут освоить их, после того как их показал новый мастер го?

До того как искусственный интеллект начал играть в го, игра имела различные многоуровневые задачи. Игрок стремился не только победить, но и освоить новые стратегии, применимые в других жизненных ситуациях. У искусственного интеллекта цель одна – выиграть. Он «учится» не концептуально, а математически, совершенствуя свои алгоритмы. ИИ научился побеждать, играя не так, как человек, и ему удалось изменить природу игры и ее воздействие. Можно ли сказать, что такой однобокий подход характерен для искусственного интеллекта в целом?

Другие ИИ-проекты занимаются модификацией человеческого мышления посредством разработки устройств, способных генерировать ответы на запросы человека. Помимо вопросов относительно фактов (какая температура на улице?), вопросы о природе реальности и смысле жизни поднимают более глубокие проблемы. Хотим ли мы, чтобы дети узнавали о ценностях посредством бесстрастных алгоритмов? Должны ли мы защищать частную жизнь, ограничивая информацию ИИ о тех, кто задает вопросы? Если да, то как мы будем это делать?

Если искусственный интеллект обучается в разы быстрее человека, можно ожидать, что процесс проб и ошибок (как обычно люди принимают решения) тоже пройдет у него ускоренно. Только ошибки ИИ будут совершаться быстрее и с более серьезными последствиями. Вряд ли, с этими ошибками удастся справиться путем добавления в программу «этического» или «рационального» просчитывания ситуации, как предлагают ИИ-разработчики. Все научные дисциплины возникли из-за неспособности человечества договориться об определении этих терминов. Так может ли искусственный интеллект стать арбитром?

В-третьих, ИИ может достичь предусмотренных целей, но ему не удастся объяснить свои выводы. В некоторых сферах – распознавание образов, анализ больших данных, игры – ИИ по своим способностям уже превосходит человека. Если его вычислительные ресурсы продолжат так же быстро расти, ИИ вскоре сможет оптимизировать ситуации, но совсем не так, как это сделал бы человек. Но на данном этапе может ли ИИ объяснить, почему его действия оптимальны, чтобы человеку было понятно? Или решения ИИ не поддаются объяснению человеческим языком и поэтому недоступны человеческому пониманию? На протяжении всей истории человечества цивилизации создавали способы объяснения мира: в Средневековье это была религия, в эпоху Просвещения – разум, в XIX веке – история, в XX – идеология. Но самый сложный и важный вопрос по поводу мира, к которому мы движемся, звучит так: что станет с человеческим сознанием, если его объяснительные способности будут уступать искусственному интеллекту и общество уже не сможет интерпретировать существующий мир в терминах, имеющих для него смысл?

Как определить сознание в мире машин, которые ограничивают человеческий опыт математическими данными, интерпретируемыми их собственной памятью? Кто несет ответственность за действия ИИ? Как будет устанавливаться ответственность за его ошибки? Сможет ли правовая система, созданная людьми, контролировать деятельность ИИ, который умнее и потенциально хитрее человека?

В конечном итоге термин «искусственный интеллект» рискует оказаться неверным. Эти машины действительно могут решать сложные, кажущиеся абстрактными проблемы, которые раньше поддавались только человеческому познанию. Но то, что является их уникальной особенностью, это мышление не на основе того познания и опыта, который приобретен ранее. Скорее речь идет о беспрецедентных возможностях памяти и вычислительных ресурсах. Учитывая естественное превосходство ИИ в данных аспектах, он всегда будет побеждать в играх. Но для человечества игры – это не только победа, нам важны размышления. Если мы будем относиться к математическому процессу как к мыслительному, попытаемся его имитировать и безоговорочно примем его результаты, то окажемся в опасности – мы можем потерять способность, являющуюся основой человеческого познания.

Проблемы подобной эволюции демонстрирует недавно разработанная программа AlphaZero, которая играет в шахматы на уровне выше гроссмейстерского и в стиле, прежде не встречавшемся в истории шахмат. За несколько часов игры с собой программа вышла на уровень, для достижения которого человечеству потребовалось 1500 лет. В программу были загружены только базовые правила игры. Люди и собранные ими данные не использовались в процессе самообучения AlphaZero. Если программа смогла достичь подобного уровня мастерства так быстро, где будет искусственный интеллект через пять лет? Как это повлияет на когнитивные способности человека? Какова роль этики в этом процессе, который по сути заключается в ускоренном выборе?

Обычно такие вопросы оставляют специалистам по технологиям и интеллектуалам из смежных научных областей. Философы и другие гуманитарии, которые помогли сформулировать концепции мирового порядка, в дискуссию не вступают, потому что им не хватает знаний о механизмах ИИ или его возможности приводят их в ужас. Научный мир, напротив, готов исследовать технические возможности своих достижений, а технологический мир занят масштабным коммерческим воплощением своих идей. Оба мира стремятся раздвинуть границы открытий, не понимая их. А власти больше интересует использование ИИ в сфере безопасности и разведки, чем уже начавшаяся трансформация человеческой жизни.

Просвещение началось с философских размышлений, которые распространялись с помощью новой технологии. Наша эпоха движется противоположным путем. Разработана потенциально доминирующая технология, которая нуждается в направляющей философии. Во многих странах ИИ превратился в национальный проект. Соединенные Штаты пока системно не исследуют весь диапазон возможностей ИИ, его воздействие и не начали процесс совершенствования. Это должно стать национальным приоритетом с точки зрения взаимосвязи ИИ и гуманистических традиций.

Создатели ИИ, некомпетентные в политике и философии, как я – в сфере технологий, должны задаться вопросами, которые я поднял в этой статье, чтобы встроить ответы в свои инженерные разработки. Правительству США стоит подумать о создании президентской комиссии из признанных экспертов-мыслителей, которые помогут разработать национальный подход. Очевидно одно: если мы не начнем эту работу в ближайшее время, очень скоро мы поймем, что уже опоздали.