Microsoft обновила Copilot: ИИ теперь общается голосом и «видит» экран

Компания Microsoft представила масштабное обновление для своего искусственного интеллекта Copilot, которое значительно расширяет его возможности. Теперь Copilot поддерживает голосовое общение, распознавание изображений и интеграцию с новыми ИИ-функциями, улучшая работу на платформах Windows, iOS, Android и в веб-версии.

Голосовое общение и персонализация

Одно из ключевых нововведений — голосовые функции Copilot. Теперь пользователи могут взаимодействовать с ИИ так, как будто они разговаривают с реальным человеком. В обновленном интерфейсе можно выбирать из четырех голосов, специально разработанных Microsoft для этого ассистента. Эти голоса отличаются от тех, что используются в ChatGPT, и разработаны с учетом авторских прав, чтобы исключить возможность использования сторонних голосов.

Кроме того, Copilot теперь адаптируется под каждого пользователя. На странице Discover Copilot предоставляет персонализированные советы и полезные запросы на основе предыдущих разговоров и взаимодействий с ИИ. Этот подход, вдохновленный работой компании Inflection AI, делает интерфейс Copilot более доступным и понятным.

Copilot Vision и улучшенные возможности поиска

Важной частью обновления стал Copilot Vision — функция, позволяющая ИИ «видеть» то, что просматривает пользователь на экране. Copilot может анализировать текст, изображения и другой контент, который открыт на веб-странице, и давать подробные ответы на вопросы по этому контенту. Например, если пользователь просматривает фотографии или карты, Copilot может предоставить дополнительную информацию или подсказки по ним.

Однако Copilot Vision работает только с ограниченным числом веб-сайтов и пока не поддерживает работу с платными и чувствительными данными. Эта функция будет тестироваться в рамках Copilot Labs, где пользователи смогут помочь Microsoft в улучшении ее работы.

Новые возможности в приложениях Microsoft

Обновления затронули и стандартные приложения Windows, такие как Microsoft Paint и Photos. В Paint появились функции Generative Fill и Generative Erase, позволяющие добавлять или удалять объекты на изображениях с помощью текстовых запросов или кисти. В приложении Photos появилась функция улучшения качества изображений с помощью ИИ — теперь можно увеличивать разрешение фотографий до 4K с помощью Super-Resolution.

Copilot Daily и Think Deeper

В числе новых функций также Copilot Daily — аудиообзор новостей и погоды, который зачитывается голосом, похожим на диктора. Эта функция доступна пока только в США и Великобритании, но Microsoft планирует ее расширение на другие регионы.

Компания улучшила способность Copilot отвечать на сложные вопросы благодаря новым моделям OpenAI. 

Еще одно важное нововведение — функция Think Deeper, которая позволяет Copilot отвечать на сложные вопросы, предлагая пошаговое объяснение и анализ возможных вариантов. Эта функция будет особенно полезна для сравнительного анализа и принятия решений.

Обновленный Copilot доступен в мобильных приложениях для iOS и Android, на вебсайте copilot.microsoft.com и в Windows-приложении. Голосовые функции пока работают только на английском языке в ограниченном количестве стран — Новой Зеландии, Канаде, Австралии, Великобритании и США. В будущем Microsoft планирует расширить эти функции на большее количество стран и языков, а также продолжит развивать возможности персонализированного ИИ-ассистента.