Google добавляет мультимодальные возможности в свой ориентированный на поиск чат-бот AI Mode, которые позволяют ему «видеть» и отвечать на вопросы по изображениям. При этом компания расширяет доступ к AI Mode для «миллионов» новых пользователей.
Обновление объединяет кастомную версию Gemini AI с фирменной технологией распознавания изображений Google Lens, что позволяет пользователям AI Mode делать фото или загружать изображения и получать «развернутые, содержательные ответы со ссылками» о том, что на них изображено. Обновленный ИИ-режим поиска уже доступен в приложении Google на Android и iOS.
Робби Стайн (Robby Stein), вице-президент Google по продукту поиска, заявил:
AI Mode опирается на наш многолетний опыт в области визуального поиска и поднимает его на новый уровень. Благодаря мультимодальным возможностям Gemini, AI Mode может понимать всю сцену на изображении, включая контекст взаимосвязей между объектами, а также их уникальные материалы, цвета, формы и расположение.
По словам Google, обновление использует технику «расширенного запроса» (fan-out technique), при которой система отправляет несколько запросов по изображению и отдельным объектам, чтобы предоставить «максимально точные и релевантные ответы». Это позволяет, например, распознавать книги на фото, рекомендовать похожие издания с высокими оценками и отвечать на уточняющие вопросы для подбора рекомендаций.
На GIF-анимации показана демонстрация новых возможностей мультимодального поиска изображений в нейросети AI Mode. Теперь AI Mode от Google может «видеть» то, что видите вы, и лучше помогать в поиске.
AI Mode в поиске — это ответ Google на Perplexity и ChatGPT Search: чатоподобный интерфейс, который отвечает на запросы, используя ИИ-обобщения, основанные на данных из индекса поиска Google.
Изначально AI Mode был доступен только подписчикам Google One AI Premium в рамках эксперимента Google Labs. Теперь Google предоставляет доступ к AI Mode «миллионам» новых пользователей Labs в США, а не только платным подписчикам.
Обновления программ, что нового
• OpenAI представила «рассуждающие» модели o3 и o4-mini, способные использовать все инструменты ChatGPT
• Apple выпустила iOS 18.4.1 с исправлениями ошибок
• Обновление NVIDIA GeForce Game Ready 576.02 WHQL. Поддержка GeForce RTX 5060 Ti и исправление многочисленных проблем
• Поиск Яндекса научился решать задачи по алгебре для старших классов с пошаговым объяснением. Работает на базе YandexGPT 5 Lite
• AMD Radeon Software Adrenalin 24.30.31.05 Preview: Поддержка Amuse 3.0, новой версии ПО для локальной ИИ-генерации изображений и видео
• В ChatGPT появилась «Библиотека» для хранения сгенерированных изображений