Нейросети научили помогать слепым и слабовидящим

Сначала о неожиданных откровениях: "Яндекс" раскрыл данные о продажах "умной" колонки "Яндекс.Станция", своего первого аппаратного продукта. Ну как раскрыл — очень скупо, но и это стало событием.

Microsoft и Google в один день выпустили приложения, которые должны помочь людям с нарушениями зрения. Программа Microsoft называется просто Seeing AI, то есть "видящий искусственный интеллект". Этот самый искусственный интеллект умеет распознавать объекты на фотографиях, а также читать текст, который попадает в поле зрения камеры.

Разработчики описывают четыре сценария: зачитывание текста в общем случае, зачитывание текста с документа, распознавание товара по штрих-коду и распознавание человека на фотографии. Продукт полностью бесплатен, но доступен пока только на английском языке.

Как показал короткий эксперимент, текст с экрана или документа читается неплохо, а вот с распознаванием объектов бывают проблемы. Например, система на фотографии спутала лису и собаку, но зато распознала пальму. Не всегда удаётся и определение признаков объектов: майку цвета хаки программа считает белой. Российские продукты по штрих-коду нейросеть не распознаёт, но справляется с импортными и способна выдать подробную информацию о них, включая калорийность и возможные рецепты. В любом случае разработчики обещают совершенствовать программу и оставить её бесплатной.

Второе приложение, от Google, называется Lookout — "Осмотрись" — и доступно пока только на Pixel (телефонах, которые выпускает сам IT-гигант). Тут тоже есть несколько режимов. Первый скорее помощник, навигатор, который помогает человеку с нарушением зрения ориентироваться при выполнении повседневных задач. Даже при заблокированном экране аппарат реагирует на постукивания по корпусу, распознаёт объект, который "увидела" камера, и называет его.

Второй режим — работа со штрих-кодами, как в случае с предыдущим приложением, и третий тоже похожий: распознавание текста в книгах и документах. Пока приложение работает только на английском, но Google обещает, что скоро оно станет доступно и для других Android-телефонов, и на новых языках.