Phonon TTS: Будущее синтеза речи на устройстве — быстро, локально и качественно

Phonon TTS: Будущее синтеза речи на устройстве — быстро, локально и качественно

Codex4 мин чтения56 просмотров

Phonon TTS — это семейство сверхкомпактных нейросетевых моделей для преобразования текста в речь (Text-to-Speech), разработанное компанией Gradium. Основная ценность продукта заключается в возможности генерации высококачественного аудио непосредственно на устройстве пользователя (смартфоне, ноутбуке или даже Apple Watch) без обращения к облачным серверам. Основной провайдер технологии — компания Gradium, предлагающая доступ к моделям через открытые веса на Hugging Face и специализированный API/фреймворк ptts.

Phonon Cover

Почему голос должен жить на вашем устройстве?

Большинство современных систем голосового ИИ работают в облаке: каждое ваше предложение отправляется на сервер и возвращается в виде аудиофайла. Phonon меняет эту парадигму. Работа в локальном режиме (on-device) дает три ключевых преимущества:

  1. Конфиденциальность: Ваши тексты никогда не покидают устройство.
  2. Автономность: Синтез речи работает без подключения к сети.
  3. Мгновенная реакция: Отсутствие сетевых задержек позволяет достичь минимального времени до начала воспроизведения (Time-to-First-Audio).

Модельный ряд и условия использования

Разработчики представили Phonon в двух основных конфигурациях, которые различаются по размеру, языковой поддержке и типу лицензии.

| Характеристика | Phonon 31m | Phonon 40m | | :--- | :--- | :--- | | Размер | ~65 МБ | ~75 МБ | | Языки | Английский | Английский, французский, немецкий, испанский, португальский | | Лицензия | Apache 2.0 (разрешено коммерческое использование) | CC BY-NC (бесплатно для некоммерческих проектов) | | Особенности | Полностью открытая | Поддержка 5 языков, более 100 встроенных голосов |

Технологический прорыв: Flow Matching

Phonon базируется на архитектуре Pocket TTS и использует метод flow matching для генерации аудио. Это принципиально отличает его от традиционных систем синтеза речи.

График производительности

Использование flow matching позволило Gradium добиться высокого качества звука при крайне малом размере модели. Однако обучение было непростым: изначально процесс был нестабильным и требовал применения специальных инженерных приемов для достижения чистого звучания на всех пяти поддерживаемых языках. В результате Phonon отлично справляется со сложными элементами, на которых часто «спотыкаются» другие TTS-системы: телефонными номерами, датами и кодами.

Успех на Open TTS Leaderboard

Hugging Face недавно запустили Open TTS Leaderboard — платформу для сравнения моделей синтеза речи по качеству, скорости и естественности. Phonon показал впечатляющие результаты:

  • Разборчивость: Модель заняла первое место в немецком и испанском языках.
  • Скорость: Phonon стал лидером в бенчмарке потоковой передачи на CPU по показателю «время до первого аудио».
  • Конкурентоспособность: Несмотря на размер в десятки раз меньше аналогов, Phonon входит в топ-3 во всех протестированных языковых категориях.

Open TTS Leaderboard

Где это можно применить?

Благодаря своей легкости, Phonon открывает двери для сценариев, которые раньше были недоступны:

  • Носимые устройства: Интеграция в Apple Watch позволяет озвучивать инструкции (например, рецепты кофе или тренировки) полностью офлайн.
  • Робототехника: Роботы могут общаться в реальном времени, не завися от стабильности Wi-Fi.
  • Геймдев: Озвучка диалогов в играх прямо на машине игрока, что снижает нагрузку на дистрибутив и серверы.
  • Браузерные решения: С помощью WebGPU и WebAssembly Phonon может работать прямо во вкладке браузера.

Интеграция для разработчиков

Phonon доступен через библиотеку 🤗 Transformers (начиная с версии 5.21). Это позволяет интегрировать модель в Python-проекты всего несколькими строками кода:

from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id)
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id)

# Генерация голоса из текста
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Привет от Phonon!"}]}
]
inputs = processor.apply_chat_template(conversation, tokenize=True, return_dict=True, add_generation_prompt=True)
outputs = model.generate(**inputs)

Для тех, кому нужна максимальная производительность на специфическом железе (NPU Snapdragon, Apple Core ML), Gradium разработали фреймворк ptts, поддерживающий более 10 различных бэкендов.

Что дальше?

Команда Gradium активно работает над расширением возможностей Phonon. В планах — поддержка корейского, арабского и японского языков. Кроме того, пользователи уже сейчас могут использовать Gradium Studio для создания собственных уникальных голосов (клонирование голоса по короткой записи с согласия владельца).


Часто задаваемые вопросы (FAQ)

Можно ли использовать Phonon бесплатно в коммерческом приложении?

Да, модель Phonon 31m (English) поставляется под лицензией Apache 2.0, что позволяет использовать ее в коммерческих продуктах без оплаты роялти. Многоязычная модель Phonon 40m требует лицензионных отчислений для коммерческого использования, основанных на количестве пользователей.

На каких устройствах работает Phonon?

Модель оптимизирована для работы на смартфонах (iOS/Android), ноутбуках, одноплатных компьютерах (Raspberry Pi) и даже в браузерах через WebGPU.

Какого размера модели Phonon?

Модели Phonon крайне компактны — от 65 до 75 МБ, что делает их идеальными для встраивания в мобильные приложения.

Поддерживает ли Phonon клонирование голоса?

Да, Phonon поддерживает использование пользовательских «голосовых латентов». Вы можете создать файл голоса в Gradium Studio и загрузить его в модель для локального синтеза.