Ученые создают небольшие нейронные сети, которые гораздо проще, быстрее и дешевле обучать

Несмотря на все достижения в области искусственного интеллекта, большинство продуктов на основе ИИ по-прежнему полагаются на «глубокие нейронные сети», которые часто бывают очень большими и непомерно дорогими в обучении. Исследователи из Массачусетского технологического института надеются решить эту проблему. В представленном недавно документе специалисты МТИ раскрывают, что нейронные сети состоят из «подсетей», которые в 10 раз меньше и обучение которых проходит гораздо быстрее и с меньшими затратами.

Чтобы обучить большинство нейронных сетей, инженеры предоставляют им огромные массивы данных, и обучение, требующее дорогостоящих графических процессоров, может занимать несколько дней. Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института обнаружили, что в этих обученных сетях есть небольшие подсети, которые могут делать такие же точные прогнозы. Так называемая «гипотеза лотерейных билетов», разработанная в лаборатории, основана на идее, что обучение большинства нейронных сетей похоже на покупку всех билетов в лотерее, чтобы гарантировать выигрыш. Для сравнения, обучение подсетей было бы похоже на покупку только выигрышных билетов.

Загвоздка в том, что исследователи не могут понять, как найти эти подсети без построения полной нейронной сети с последующей обрезкой ненужных битов. Если им удастся найти способ пропустить этот шаг и перейти прямо к подсетям, этот процесс позволит сэкономить долгие часы работы и сделать обучение нейронных сетей доступным для любого программиста, а не только для крупных компаний. Но путь к тому, чтобы определить, как эффективно находить подсети, и понять, почему некоторые из них лучше, чем другие в обучении, вероятно, займет у исследователей годы.