PersonaPlex: на что способна «живая» нейросеть Nvidia и как установить ее на ПК

PersonaPlex — это исследовательский проект и одновременно открытая модель для голосового общения, построенная вокруг идеи естественного диалога. В основе системы лежит принцип полнодуплексного взаимодействия.

Речь идет о схеме, когда нейросеть может воспринимать речь пользователя и генерировать ответ без ожидания паузы между репликами. Это позволяет корректно реагировать на перебивание, поддерживать короткие подтверждающие реплики и сохранять плавность разговора.

Модель PersonaPlex-7B содержит около 7 млрд параметров и объединяет в себе обработку аудио, понимание смысла сказанного и генерацию речи. 

В отличие от классической схемы «распознавание речи — языковая модель — синтез речи», здесь используется единая архитектура. Как отмечают разработчики Nvidia, такой подход снижает задержки и делает диалог более живым.

Одной из ключевых особенностей PersonaPlex является управление ролью и голосом. 

Пользователь может задать поведение модели с помощью текстового описания. Например, попросить ее вести себя как дружелюбный консультант или спокойный преподаватель. Дополнительно можно выбрать голос, определяющий тембр и манеру речи. 

В текущей версии доступно 16 готовых голосовых профилей, отличающихся по стилю и подаче.

Обучение модели проводилось на сочетании реальных разговоров и синтетических диалогов. Записи позволили сохранить естественные интонации и ритм речи, а синтетические данные расширили набор ролей и сценариев. 

Такой подход помог избежать путаницы между стилями и добиться устойчивого поведения модели даже при смене роли, согласно заявлению компании.

PersonaPlex можно бесплатно скачать и запустить локально, без подписки и облачных ограничений, при условии принятия лицензии Nvidia. Это делает проект интересным не только для исследователей, но и для разработчиков, которые хотят экспериментировать с голосовыми интерфейсами.

Нейросеть от Nvidia рассчитана на локальный запуск и требует достаточно производительного компьютера. Ниже приведена базовая инструкция, основанная на документации компании и практическом опыте пользователей.

Минимальные требования:

• для запуска потребуется видеокарта Nvidia с поддержкой CUDA, включая модели серии RTX 2000 и выше. Использование продукции AMD или других производителей для этой нейросети не предусмотрено. Также необходимы современный процессор, 32 ГБ оперативной памяти и ОС Linux или Windows.

Рекомендуемые требования:

• для комфортной работы и стабильного диалога желательно использовать видеокарту с 40 ГБ видеопамяти и выше, топ-решения в плане CPU, быстрый SSD и от 64 Гб ОЗУ.

Отметим, что официальных требований к запуску PersonaPlex компания не озвучивала. Эти параметры указаны на основе пользовательского опыта отдельных разработчиков и общей документации.  

Шаг 1. Подготовка окружения

Убедитесь, что на компьютере установлен Python актуальной версии и настроена поддержка CUDA. Также потребуется создать учетную запись на платформе Hugging Face и получить токен доступа для загрузки модели.

Шаг 2. Загрузка кода

Скопируйте репозиторий PersonaPlex с GitHub и перейдите в каталог проекта. В репозитории уже подготовлены все основные скрипты для запуска сервера и тестирования.

Шаг 3. Установка библиотек и компонентов 

Установите необходимые библиотеки с помощью менеджера пакетов Python. В их числе — компоненты для работы с аудио и сама архитектура Moshi, на которой построена модель.

Шаг 4. Доступ к модели 

На странице модели на Hugging Face необходимо принять условия лицензии NVIDIA, после чего задать токен доступа в переменных окружения. Это позволит автоматически загрузить веса модели при первом запуске.

Шаг 5. Запуск сервера

После установки библиотек можно запустить сервер одной командой. Через несколько минут модель будет загружена в память, а в браузере станет доступен веб-интерфейс для голосового общения.

Шаг 6. Проверка работы 

В веб-интерфейсе можно выбрать голос, задать текстовое описание роли и начать разговор с моделью через микрофон. Также предусмотрен режим офлайн-тестирования, при котором на вход подается аудиофайл, а результат сохраняется в виде записи и текстовой расшифровки.

Разработчики Nvidia подчеркнули, что главная цель PersonaPlex — показать, как управляемость влияет на естественность диалога. 

По их словам, контроль над ролью и голосом позволяет не ограничивать модель, а наоборот, раскрывать ее потенциал. Благодаря одновременному обучению на реальных и синтетических данных модель учится говорить естественно и при этом уверенно следовать заданному поведению.

CEO Multiplex Брайан Роеммеле отметил заметное улучшение по сравнению с традиционными голосовыми системами. Он считает, что диалог ощущается более живым, а модель быстрее реагирует на пользователя. 

При этом подчеркивается, что проект все еще находится в активной фазе развития, и в первых версиях могут встречаться технические огрехи, например нестабильность звука.

Отдельное внимание в отзывах уделяется вопросу прогресса голосовых моделей в сфере искусственного интеллекта. По мнению инфлюенсера Чарли Варнье, Nvidia удалось устранить «узкое место» в подобных решениях, дав возможность пользователям общаться с чат-ботами в режиме реального времени. 

В Nvidia рассматривают PersonaPlex как исследовательскую платформу и основу для дальнейших разработок. 

Проект уже представлен в научном сообществе и будет развиваться по мере появления новых данных и оптимизаций. В свою очередь, для разработчиков и энтузиастов PersonaPlex — это возможность заглянуть в будущее голосового ИИ.