Opera One — первый браузер с локальными ИИ-моделями. Поддержка LLM без отправки данных на сторонний сервер

Использование больших языковых моделей (large language model, LLM) – это процесс, который обычно требует отправки данных на сервер. Локальные LLM отличаются тем, что позволяют обрабатывать запросы непосредственно на вашем устройстве, не передавая данные с вашего ПК.

В рамках программы AI Feature Drops, компания Opera Software добавляет экспериментальную поддержку для 150 локальных вариантов LLM примерно из 50 семейств моделей в Opera One Developer. Это первый случай, когда локальные LLM могут быть легко доступны и управляемы из крупного браузера через встроенную функцию. Вы обнаружите доступность следующих LLM:

• Llama от Meta*
• Vicuna
• Gemma от Google
• Mixtral от Mistral AI
• И многие другие семейства

*Компания Meta – организация признана экстремистской, ее деятельность запрещена на территории России.

Модели доступны с 3 апреля 2024 года на канале Opera One для разработчиков:

Скачать Opera Developer

Пользователи Opera One Developer получает возможность выбрать желаемую модель для обработки запроса. На данном этапе при использовании функционала возможны сбои, но надо понимать, что это пока экспериментальная реализация.

Тестирование локальных LLM в Opera Developer

Чтобы протестировать модели, вам необходимо обновиться до последней версии и выполнить следующие действия:

• Откройте боковую панель чата Aria.
• В верхней части чата будет выпадающий список с надписью Выберите локальную модель AI.
  • Нажмите Перейти к настройкам.

• Здесь вы можете искать и просматривать модели, которые можно загрузить. Загрузите, например, GEMMA:2B-INSTRUCT-Q4_K_M, одну из самых компактных и более быстрых моделей, нажав на кнопку загрузки справа.

• Загрузите, например, GEMMA:2B-INSTRUCT-Q4_K_M, одну из самых компактных и более быстрых моделей, нажав на кнопку загрузки справа.

• После завершения загрузки нажмите кнопку меню в левом верхнем углу и начните новый чат.
• В верхней части чата будет выпадающий список с надписью Выберите локальную модель AI.
  • Выберите только что загруженную модель.
• Введите запрос в чат, и локальная модель ответит.

Выбор локальной LLM затем загрузит ее на ваше устройство. Учтите, что для каждой модели требуется от 2 до 10 ГБ свободного места на локальном диске и что локальная LLM, скорее всего, будет значительно медленнее в выдаче результатов, чем серверная, поскольку все зависит от вычислительных способностей вашего оборудования. Локальная LLM будет использоваться вместо Aria, нативного браузерного ИИ Opera, пока вы не начнете новый чат с Aria или просто не включите Aria обратно.

Данная функция позволяет исследовать некоторые потенциальные будущие варианты использования.

Интересные локальные LLM

Интересные локальные LLM для изучения включают Code Llama, расширение Llama, направленное на генерацию и обсуждение кода, с акцентом на улучшение продуктивности  для разработчиков. Code Llama доступен в трех версиях: 7, 13 и 34 миллиарда параметров. Он поддерживает множество широко используемых языков программирования, таких как Python, C++, Java, PHP, TypeScript (JavaScript), C#, Bash и другие.

Вариации:

• instruct – дополнительно настроен для генерации полезных и безопасных ответов на естественном языке
• python – специализированная версия Code Llama, дополнительно настроенная на 100B токенов кода Python
• code – базовая модель для автодополнения кода

Phi-2, выпущенная Microsoft Research, является языковой моделью с 2.7 миллиарда параметров, демонстрирующей выдающиеся способности к рассуждению и пониманию языка. Модель Phi-2 наилучшим образом подходит для запросов, использующих форматы вопросов-ответов, чата и кода.

Mixtral разработан для превосходства в широком диапазоне задач обработки естественного языка, включая генерацию текста, ответы на вопросы и понимание языка. Основные преимущества: производительность, универсальность и доступность.