В понедельник исследователи из OpenAI, некоммерческой исследовательской компании AI, основанной Элоном Маском, представили систему искусственного интеллекта Dactyl, предназначенную для управления роботизированной рукой. По мнению исследователей, система может манипулировать физическими объектами с ловкостью, которая никогда ранее не была доступна ИИ.

Задача, которую решала Dactyl, может звучать следующим образом: вы учите малыша крутить шестигранный куб до тех пор, пока не появится опредёленная грань. В отличие от малыша, который быстро сообразит, как решить задачу, Dactyl требовался для её решения почти столетний опыт работы. Но благодаря мощным компьютерам исследователи смогли наработать весь этот опыт всего за 50 «реальных» часов.

Исследователи обучали Dactyl в моделируемой среде, то есть в среде с цифровой настройкой параметров с помощью компьютера, задаваемых вручную, с использованием метода, называемого «рандомизацией домена». Они вводили определённые параметры в данной моделируемой среде, такие как размер блока или направление силы тяжести, а затем рандомизировали их (выбирали случайным образом значения этих переменных). Для ускорения процесса обучения учёные создали несколько рук, симулирующих реальную роботизированную руку, которые проделывали работу одновременно. Исследователям удалось увеличить способность ИИ адаптироваться к различным сценариям в реальном мире.

После 50 часов обучения в моделируемой среде ИИ мог настолько успешно манипулировать реальной роботизированной рукой, что выполнял поставленную задачу более 50 раз подряд (успешное завершение считалось таковым, если система не бросала куб или не занималась им больше 80 секунд). Чтобы понять, как перемещать руку для выполнения задачи, достаточно было рассматривать блок через три камеры.

Как отмечают исследователи в своём блоге, они обучали Dactyl по тому же алгоритму, который они в своё время использовали для проекта OpenAI Five, команды из пяти нейронных сетей, обученных играть в компьютерную стратегическую игру DOTA 2. Успех Dactyl доказывает, что можно построить универсальный алгоритм, который может научить ИИ выполнять две очень разные задачи.

Это может значительно облегчить исследователям подготовку ИИ для множества различных задач в будущем, поскольку им не нужно будет начинать процесс обучения с нуля.