📋 编辑总结
Hugging Face Speech-to-Speech 是本地语音 Agent 管线,将 VAD、STT、LLM、TTS 拆成可替换模块。它通过兼容 OpenAI Realtime 的 WebSocket API 提供服务,可完全本地运行。最新版 v1.1.0(2026-10-24,GitHub Latest):新增纯 CPU 的本地流式 TTS(Gradium Phonon,走 Rust 的 ptts 运行时、不依赖 PyTorch)、STT/TTS 后端大幅扩容、Realtime 会话可选语言与逐回合延迟拆解、YAML 配置;破坏性变更:最低 Python 3.11,默认本地 LLM 改为 Qwen3.5-4B。(详见下方「版本记录」) 定价:开源免费(Apache-2.0,自托管,需自备算力)。编辑评分:⭐ 4.3。

HuggingFace Speech-to-Speech 是什么?

HuggingFace Speech-to-Speech 是 Hugging Face 官方出品的本地语音 Agent 管线(开源项目),目标是让开发者用开源模型自建一个能听、会想、能说的语音助手。它把整条链路拆成四个可替换的阶段——VAD(语音活动检测)→ STT(语音转写)→ LLM(大模型应答)→ TTS(语音合成),通过 OpenAI Realtime 兼容的 WebSocket API 暴露服务。整套栈可以完全跑在本地,数据不出本机,是构建私有语音 Agent 与客服机器人的理想底座。它已在数千台 Reachy Mini 机器人上作为对话后端投产。

核心功能

  • 低延迟模块化管线:VAD→STT→LLM→TTS,每个阶段独立线程、队列连接,延迟可控。
  • 全组件可插拔:STT、LLM、TTS 都能换,LLM 槽位支持任意 OpenAI 兼容协议。
  • 本地或云端自由切换:既能指向托管供应商,也能指向本机 vLLM / llama.cpp,做到完全开源栈。
  • 默认实时路径:Parakeet TDT 本地 STT + OpenAI 兼容 LLM + Qwen3-TTS 本地语音输出。
  • 生产背书:作为 Reachy Mini 机器人的对话后端,已在真实硬件规模运行。

版本/套餐对比

项目本身开源免费(Apache-2.0),无 SaaS 套餐;成本主要是你自托管的算力。开发者按需选择本地模型规模即可。

值不值得用?

如果你要做自己的语音 Agent,而不是接第三方 API,这个项目非常值得。它把语音助手这件原本很碎的事,用一套标准管线收拢起来,又保留每个环节的替换自由。隐私敏感、需要私有部署的团队尤其合适。代价是你需要自己部署和调参。

使用建议

  • 先用 pip install speech-to-speech 跑通默认实时服务,再逐步替换模型。
  • 想彻底本地化,就用 llama.cpp 起一个 Gemma 之类的本地 LLM 后端指过去。
  • 任何 OpenAI Realtime 兼容客户端都能连,直接复用现有前端。

适合谁用?(三档)

  • 重度用户:做语音 Agent 产品、客服机器人的团队,拿它当生产底座。
  • 中度用户:想给自己的应用加语音交互的开发者,fork 后改组件。
  • 轻度用户:单纯想本地跑个语音助手玩的研究者,按文档几步即可。

版本记录

以下按时间倒序收录历次版本更新的完整说明(页面顶部简介只保留最新一版要点)。

最新稳定版 v1.1.0(2026-10-24,GitHub 标记 Latest):核心是「把语音栈的选择权和延迟都交回你手里」——新增 Gradium 的 Phonon 纯 CPU 本地流式 TTS,走 Rust 的 ptts 运行时、不依赖 PyTorch,16 kHz 流式输出并支持打断(pip install "speech-to-speech[phonon]" 后 speech-to-speech local --tts phonon;默认 checkpoint gradium/phonon-40m-en 需在 Hugging Face 接受条款,权重为 CC BY-NC 4.0 非商用,Apache-2.0 的 gradium/phonon-31m-en 可用 --phonon_tts_model_name 切换);语音后端扩容——STT 新增 Parakeet Unified、Nemotron 流式(含波斯语)、SenseVoice 与 Orukeet,TTS 新增 CPU 上的 KittenTTS、MiniMax 与流式 Drama-3,Pocket TTS 支持波斯语 v2 权重、OmniVoice 支持按语言给参考音色,另有可选 FireRed 流式 VAD 与 Nemotron 3 说话人分离,Realtime 管线恢复 speech-to-viseme 输出;语言选择与检测——Realtime 会话可用 session.audio.input.transcription.language 选择识别语言、运行时切换或回到 auto,--detect_llm_output_language 让 TTS 跟随回复语言;逐回合延迟拆解——response.done 日志与响应元数据把每回合拆成 VAD、Smart Turn、STT、LLM、TTS 各段等待,并给出首字与首音频时延;配置与体验——支持可选 YAML 配置(speech-to-speech serve -f config.yaml)、--torch_num_threads 设定 PyTorch CPU 线程,local 默认只显示对话(--verbose 才出常规日志);Realtime 可靠性——遵守 create_response: false、工具续接保留 Responses 推理上下文、接受无 call_ 前缀的客户端 call id、函数调用 id 限制 32 字符、推测回合排序更严格、麦克风与输出音频跨块连续重采样、WebRTC 不再发空闲音频包、Silero VAD 每段后重置状态。

升级须知(v1.0.0 → v1.1.0):最低 Python 3.11(移除 3.10,新增支持 3.13 / 3.14);默认本地 LLM 改为 Qwen3.5-4B(Apple Silicon 用 mlx-community/Qwen3.5-4B-4bit,其他平台用 Qwen/Qwen3.5-4B,要保留旧模型需显式传 --model_name);macOS 上 Kokoro 的 phonemizer 依赖不再包含在基础安装里,需装 speech-to-speech[kokoro];local 默认隐藏诊断信息;新增 phonon、kitten、fireredvad、nemo、sensevoice 等可选 extra,webrtc extra 要求 aiortc<1.16。

前一版 v1.0.0(2026-09):首个 1.0 稳定版,显式拆出 serve / talk / local 三个命令,补齐 Qwen3-ASR、OpenAI 兼容 STT/TTS 端点、OmniVoice 与 Supertonic TTS、实验性 vLLM Realtime 转录,并整理实时对话生命周期的有序输出、打断处理、远程取消与会话清理。