В списке представленных анонсов Microsoft – дальнейшая интеграция искусственного интеллекта с инструментами Azure и Microsoft 365, вывод интеллектуальных чат-ботов и персональных помощников на новый уровень.
Майские тезисы Microsoft
Компания Microsoft в рамках ежегодной конференции Build для разработчиков представила новые технологии для создания решений с применением искусственного интеллекта на базе платформ Microsoft Azure, Microsoft 365 и других платформ.
Издание ArsTechnica выразило основной смысл новых идей компании в кратком резюме: «Microsoft продолжает поиски решений по внедрению искусственного интеллекта в каждое приложение».
«Приближается эра умного облака и умных устройств, – отметил Сатья Наделла (Satya Nadella), CEO Microsoft, в ключевом выступлении мероприятия. – Эти инновационные решения предоставляют невероятные возможности разработчикам для того, чтобы технологии были надежными и приносили пользу всем».
Сатья Наделла в своем выступлении сделал акцент на совместимость продуктов компании с уже вступившим в силу с мая 2018 г. общим регламентом ЕС по защите данных (General Data Protection Regulation, GDPR, постановление ЕС 2016/679). По словам Сатья Наделла, сейчас над совместимостью продуктов компании с GDPR, включая облачные продукты, работают сотни инженеров Microsoft.
В его выступлении также прозвучал тезис о том, что легитимное государство должно защищать приватность личности. В частности, сейчас, по словам главы Microsoft, сформирован консорциум из 34 компаний, который разрабатывает общие правила для защиты приватных данных. Сатья Наделла назвал это движение «Цифровой Венской конвенцией нашего времени».
«Умное облако»: хроники становления и развития
По данным Microsoft, к 2020 гю в мире будет более 20 млрд «умных устройств», которые будут «видеть», «слышать», анализировать и прогнозировать без постоянного подключения к облаку. «Умные» устройства открывают новые возможности для пользователей, предприятий и отраслей.
Сейчас в Microsoft расширяют список поддерживаемых языков для распознавания и общения, каждый из которых обладает собственными сложностями.
Ведущие партнеры Microsoft по разработке для Azure
Платформы Azure и Office 365 формируются умными и универсальными вычислениями. По Azure расширяется число стран с сертификацией. В рамках Azure появилось более 130 новых возможностей за последний год, более 70 новых будет запущено прямо на конференции – таких как Azure Stack.
Бренды продолжают расширять использование Azure, в ближайшее время также ожидается погружение в Azure Stack.
Этапы развития технологий ИИ от Microsoft
У компании большие планы на Azure IoT. Microsoft делает Azure IoT Edge Runtime средой с открытым кодом, позволяя пользователям модифицировать, настраивать приложения для «умных» устройств.
Поддержка Open Source на Azure IoT
На конференции анонсирована поддержка Open Source на Azure IoT, а также объявлено о партнерстве с Qualcomm Technologies и DJI. Компании запускают собственные SDK для ПК с Windows 10 для своих продуктов, ориентированные на различные отрасли с расширенным применением Custom Vision на Azure IoT Edge.
Умная камера Qualcomm обрабатывает и анализирует часть данных непосредственно в устройстве с помощью ИИ из Azure IoT Edge, и позволяет принимать решения и оповешать специалистов о поломке не отправляя данные в облако.
Умная камера Qualcomm с поддержкой Azure IoT
В рамках партнерства будет создано оборудование и ПО для разработки решений интернета вещей с применением камер. Разработчики смогут создавать решения на базе сервисов Azure Machine Learning и пользоваться преимуществом аппаратного ускорения, доступного на платформе Qualcomm Vision Intelligence и в компонентах Qualcomm AI Engine. Также будет обеспечена поддержка сервисов Azure, таких как машинное обучение, потоковая аналитика и когнитивные сервисы, которые можно загрузить из облака для локального запуска на устройствах.
Умный дрон DJI с поддержкой Azure IoT Edge
В дронах DJI также будет использоваться Azure IoT Edge для анализа данных без отправки в облако. Компания выбрала Azure в качестве приоритетного облачного провайдера для дальнейшей разработки решений для коммерческих дронов и SaaS-решений.
Новый комплект средств разработки поможет обеспечить полный контроль управления полетами и передачу данных в режиме реального времени на почти 700 млн активных устройств с Windows 10 во всем мире. В рамках коммерческого сотрудничества DJI и Microsoft будут разрабатывать решения на основе Azure IoT Edge и сервисов Microsoft на базе ИИ, расширяя возможности в таких сферах, как сельское хозяйство, строительство, общественная безопасность и др.
Теперь дроны DJI могут стримить видео на ноутбук и одновременно самостоятельно анализировать аномалии, отмечая проблемы. Здесь работает модель ИИ, натренированная в облаке Azure IoT.
Это первый из сервисов Azure Cognitive Services, поддерживающий работу на «умных» устройствах. Также в ближайшие месяцы в Azure IoT Edge появятся дополнительные сервисы.
Сатья Наделла отметил, что платформа Azure AI призвана быть доступной каждой компании. В рамках разработки когнитивных сервисов Azure AI за полтора года создано более 35 сервисов Azure AI, включая машинный перевод, зрение и др., которые можно кастомизировать под пользовательские данные, адаптировать модели для развертывания в своих приложениях и моделях.
В устройствах Huawei и Xiaomi уже используются ИИ технологии Azure, которые обеспечивают работу с данными в том числе в оффлайновом режиме.
Комплект Project Kinect for Azure
На конференции Microsoft объявила о выпуске Project Kinect for Azure, представляющего из себя набор сенсоров с камерами, датчиками глубины нового поколения со встроенным компьютерным управлением для реализации технологии ИИ в периферийных устройствах. Созданный на базе технологий Kinect, нашедших свое продолжение в HoloLens, Project Kinect for Azure предлагает новые сценарии для разработчиков ИИ-решений, призванных «осознавать» окружающее пространство.
Благодаря сочетанию сенсора Time of Flight с дополнительными сенсорами в энергоэффективном форм-факторе, Project Kinect for Azure будет использовать все богатство возможностей Azure AI для улучшения аналитики. Он может обеспечить отслеживание движений рук и сверхточное пространственное картирование.
Комплект Speech Devices SDK & Reference Kit
Комплекты для разработчиков Speech Devices SDK & Reference Kit обеспечивает обработку аудиоданных из источников многоканального сигнала для точного распознавания речи с шумоподавлением, воспроизведением удаленного звука и другими функциями. С его помощью разработчики смогут создать активизируемые голосом сценарии, такие как сквозные системы управления заказами, бортовые и домашние помощники, а также другие виды цифровых ассистентов.
Обновления Azure Cosmos DB включают новые возможности, разработанные для поддержки как облачных, так и периферийных вычислений, а также доступ к базе данных через VNET для повышения безопасности.
Умное облако: платформа Project Brainwave
На конференции также был представлен Project Brainwave, который в связке с Azure Machine Learning, Intel FPGA для работы ИИ, и нейронными сетями на базе ResNet50 обеспечивает в пять раз меньшие задержки работы периферийных устройстви, чем необходимо для работы в реальном времени.
Предварительная версия архитектуры для глубоких нейронных сетей Project Brainwave теперь доступна на Azure и периферийных устройствах. Project Brainwave делает Azure быстрым облаком для запуска решений на базе ИИ в режиме реального времени.
Обновление Azure Cognitive Services включает в себя унифицированный сервис речи с улучшенным распознаванием и функцией преобразования текста в речь, поддерживающей настраиваемые голосовые модели и перевод. Благодаря этому, а также обновлению Custom Vision, каждый разработчик сможет без труда внедрять интеллектуальные функции в свои приложения.
Компании смогут выпускать чат-ботов для общения под собственными брендами, с помощью различных цифровых устройств, наделяя их уникальными свойствами и глубокой «персонификацией».
Azure Conversational AI обогатился более чем сотней новых Framework для кастомизации разговорных интерфейсов и встраивания чат-ботов их в разные каналы – Facebook и так далее.
Microsoft делает Azure платформой для разработки диалоговых решений на базе искусственного интеллекта с возможностью их интеграции в любого агента. Обновления Bot Framework и Cognitive Services будут использоваться для создания нового поколения диалоговых ботов, способных поддерживать более содержательные беседы и имеющих опцию кастомизации голоса и личности для соответствия образу бренда.
Также была представлена предварительная версия Azure Search с интеграцией Cognitive Services. Эта новая функция сочетает ИИ с технологиями индексации для быстрого поиска информации и аналитических данных в визуальном или текстовом виде.
В Microsoft уже «подружили» Cortana с Amazon Alexa
В настоящее время в Microsoft занимаются обучением персонального ассистента Cortana общению с другими ИИ. В частности, сейчас они уже «подружили» Cortana с ассистентом Alexa компании Amazon.
Смешанная реальность нового поколения
Microsoft продолжает развивать и совершенствовать технологии интеллектуальной работы в смешанной реальности с возможностью распознавания и «понимания» окружающей людей обстановки, действий и взаимоотношений.
Новые возможности HoloKens в работе со смешанной реальностью
На конференции были представлены два новых приложения для использования HoloKens в работе со смешанной реальностью. Microsoft Remote Assist обеспечивает пользователям возможность совместной работы в удаленном режиме благодаря видеозвонкам в смешанной реальности, обмену изображениями и аннотациям смешанной реальности.
Новые приложения Microsoft для работы со смешанной реальностью
Microsoft Remote Assist позволяет решать вопросы дистанционно. Так, например, сотрудники фронт-офиса могут делиться тем, что они видят, с экспертами в Microsoft Teams, ускоряя решение проблем и совместное выполнение задач.
Microsoft Remote Layout позволяет производить моделирование в виртуальной среде, позволяя быстрее принимать решения по выпуску новой продукции.
Microsoft Layout позволяет с помощью технологии смешанной реальности разрабатывать дизайн, учитывающий окружение, импортировать 3D-модели для создания дизайна комнаты в реальном масштабе, тестировать дизайн с помощью высококачественных голограмм в физическом пространстве или в виртуальной реальности, делиться и редактировать вместе с другими участниками в режиме реального времени.
Инструменты и возможности для любой платформы на любом языке
Microsoft представила новые инструменты для разработчиков, которые помогут создавать решения для «умных» устройств на Azure, Microsoft 365 и других платформах, используя различные языки и среды.
С помощью Azure Kubernetes Service (AKS) разработчики могут упростить создание и запуск контейнерных решений, даже не имея обширного опыта работы с Kubernetes. AKS появится в широком доступе в ближайшие недели, служба будет интегрироваться с инструментами разработчиков, средствами DevOps, инструментами управления сетью и мониторинга на портале Azure, позволяя разработчикам сосредоточиться на написании кода, а не на объединении сервисов. Кроме того, Microsoft предоставляет поддержку устройств Azure IoT Edge в Kubernetes.
Представленный на конференции Visual Studio IntelliCode предлагает интеллектуальные подсказки для улучшения качества и производительности кода, его предварительная версия также доступна в Visual Studio.
Глава Microsoft Сатья Наделла о новых возможностях Microsoft 365
Предварительная версия функционала Visual Studio Live Share позволяет разработчикам сотрудничать в режиме реального времени с другими членами команды, которые могут редактировать и отлаживать сервисы с помощью имеющихся инструментов, таких как Visual Studio 2017 и VS Code. Разработчики могут использовать Live Share на любом языке для любого сценария, включая бессерверные, предназначенные для выполнения в облаке, или IoT-решения.
Microsoft объявила о начале сотрудничества с GitHub. Теперь пользователям GitHub доступны мощности Azure DevOps. Интеграция Visual Studio App Center и GitHub обеспечит разработчикам GitHub, создающим мобильные приложения для устройств на iOS и Android, возможность бесшовной оптимизации процессов DevOps прямо из интерфейса GitHub.
Новый инструмент Microsoft Azure Blockchain Workbench упрощает разработку блокчейн-приложений путем соединения блокчейн-сети с поддержкой Azure с облачными сервисами, такими как Azure Active Directory, Key Vault и SQL Database, существенно сокращая время, необходимое для прототипирования.
Новые возможности для разработчиков в Microsoft 365
Microsoft представила усовершенствования интеллектуальной платформы Microsoft 365, включающей в себя Office 365, Windows 10 и Enterprise Mobility + Security (EMS). Новые возможности призваны помочь разработчикам создавать более удобные инструменты для работы.
Microsoft Graph как основа нового Microsoft 365
В основе Microsoft 365 лежит Microsoft Graph для работы с любым устройством в организации. Многие крупные разработчики уже работают с Microsoft Graph.
Экосистема разработки для Microsoft 365
Новые программные интерфейсы Microsoft Teams API в Microsoft Graph и поддержка собственных приложений организаций в Teams позволяют разработчикам создавать специализированные «умные» решения, отвечающие уникальным потребностям бизнеса или отрасли. Компании могут также публиковать свои приложения в магазине Teams.
Интеграция SharePoint с Microsoft Teams позволяет закреплять страницу SharePoint непосредственно в каналах для обеспечения более продуктивной работы. Разработчики могут использовать современные программные платформы, такие как React, в своих проектах, добавляя больше компонентов для систематизации на страницах SharePoint.
Новый уровень поддержки для Power BI Visualizations в Excel дает разработчикам возможность переносить специализированные визуальные элементы Power BI в Excel, чтобы охватить большее количество пользователей.
Обновления в системе Fluent Design, которые позволят разработчикам создавать более удобные интерфейсы. С UWP XAML Islands доступны более функциональные и гибкие элементы управления XAML, вне зависимости от того, какие платформы UI-разработки вы используете – Windows Forms, WPF или нативный Win32.
.NET Core 3.0, позволяющий использовать последнюю версию .NET и запускать свои приложения в автономной среде. А также создавать приложения, не задействуя основную ИТ-инфраструктуру.
MSIX – комплексное решение для контейнеризации, предлагающее простой способ конвертировать крупные каталоги приложений. В него вошли все лучшие функции UWP, включая надежную установку и обновление, а также управляемую модель системы безопасности и поддержки для корпоративного управления и Магазина Microsoft.
Новые пользовательские функции Azure Machine Learning и javascript, позволяющие разработчикам и организациям создавать собственные функциональные дополнения к каталогу формул Excel.
Windows Machine Learning – новая платформа, помогающая разработчикам создавать модели машинного обучения в интеллектуальном облаке, а затем разворачивать их оффлайн с высокой производительностью на ПК.
Новые возможности Microsoft 365 для пользователей
Microsoft представила комплекс технологических возможностей для повышения мобильности сотрудников, которые позволяют использовать мобильные инструменты Windows на множестве устройств и платформ.
Новый инструмент для соединения телефона с ПК на Windows 10 предоставляет мгновенный доступ к сообщениям, фотографиям и уведомлениям. С его помощью можно одним движением перетаскивать фотографии с телефона в документ на ПК. Решение вскоре будет доступно для участников программы Windows Insider Program.
В приложении Microsoft Launcher app на Android появится функционал для корпоративных пользователей, включающий обнаружение бизнес-приложений и ИТ-консультации по конфигурации. Приложение Microsoft Launcher также поддерживает Timeline для запуска приложений одновременно на нескольких устройствах.
Браузерные сессии Microsoft Edge на iPhone или iPad отображаются в Timeline на ПК с Windows 10. Теперь пользователи смогут получить доступ к Timeline на iPhone с помощью Microsoft Edge.
Возможность охватывать и вовлекать новых пользователей с помощью Sets – более простого способа организовать ваши рабочие процессы и вернуться к ранним действиям. Универсальная платформа Windows (UWP) будет сразу совместима с Sets.
Adaptive Cards теперь поддерживается в Microsoft 365, позволяя разработчикам создавать интерактивный контент в сообщениях от приложений, ботов или сервисов в Teams и Outlook. Это позволит утверждать финансовые отчеты или комментировать неполадки в GitHub непосредственно в чате Teams или даже оплачивать счета из электронной почты.
Искусственный интеллект для людей с ограниченными возможностями
В завершение своего выступления Сатья Наделла также анонсировал новую пятилетнюю программу AI for Accessibility – искусственный интеллект для людей с ограниченными возможностями, в которую компания инвестирует $25 млн.
Целью программы является использование ИИ людьми с ограниченными возможностями, которых в мире более одного миллиарда. Программа включает в себя гранты, инвестиции в технологии и экспертную поддержку, а также внедрение инноваций AI for Accessibility в облачные сервисы Microsoft. Основой проекта стала предыдущая инициатива AI for Earth (искусственный интеллект для Земли).
