Microsoft рассказала, как работает Recall — ИИ-функция для записи всех действий пользователя в Windows 11

На конференции Build 2024 Microsoft предоставила подробную информацию о том, как новая функция Windows Recall будет работать на ПК Copilot+, используя Windows Semantic Index и Windows Copilot Runtime. Также были описаны способы, как разработчики приложений могут улучшить свои приложения для лучшей работы с Windows Recall, поддерживая создание более бесшовного взаимодействия между снимками, захваченными Recall, и сторонними приложениями.

Новая библиотека Windows Copilot включает набор API, которые поддерживаются более чем 40 ИИ-моделями и алгоритмами на устройстве, встроенными прямо в Windows. Эта библиотека обеспечивает работу многих новых ИИ-функций в Windows, включая Studio Effects, автоматические субтитры, OCR в «Ножницах» и новую функцию Windows Recall.

Microsoft заявляет, что Recall будет автоматически работать во многих приложениях, но разработчики могут улучшить этот опыт, добавляя контекстную информацию в основную векторную базу данных через User Activity API. Это позволит Recall возвращаться к ранее захваченной части приложения, создавая более бесшовный опыт.

Microsoft PowerPoint и Teams стали первыми приложениями Microsoft, поддерживающими новый поток. Среди сторонних приложений в качестве примера был приведен графический редактор для создания эскизов Concepts.

Microsoft описала, как на самом деле работает функция Windows Recall:

База данных Recall поддерживается Windows Semantic Index, новой возможностью ОС, которая переопределяет поиск в Windows. Recall основан на нескольких современных ИИ-моделях, включая мультимодальные SLM, работающие одновременно и интегрированные в саму ОС.

Эти модели понимают различные виды контента и работают на нескольких языках, чтобы организовать огромное количество информации от текста до изображений и видео. Эти данные преобразуются и хранятся в векторном хранилище, называемом Windows Semantic Index. Семантический индекс хранится полностью на локальном устройстве пользователя и доступен через поиск на естественном языке. Эта глубокая интеграция обеспечивает уникально надежный подход к конфиденциальности, так как данные не покидают локальное устройство.

Microsoft подчеркивает, что этот опыт полностью обрабатывается на устройстве. Данные, обработанные Recall, не отправляются на облачные сервера, и Microsoft не обучает ИИ-модели на данных, сгенерированных Recall.