WhatsApp AI 语音消息助手设置指南：开启语音转写、选择合成音色与每日用量限额管理

概览

AI 语音消息助手（Voice Assistant）让客户可以直接发语音，由已指派的 AI 智能体继续接待：客户语音条先转写成可读文字，再复用该智能体的人设与知识库生成回复，最后按配置的供应商、音色与语言合成 OGG / Opus 语音条回复给客户。转写、回复文字、合成、发送与用量各自留下记录，互不混淆。

整条管线在 WhatsApp 协议连接通道内运行：语音由工作区已连接号码经自带辅助服务（连接运行服务）收取和发出。语音处理只会在已分配 AI 智能体的会话中触发，并受该智能体的语音开关与每日限额约束；文字消息与人工接待走原有链路，不受语音管线影响。

一句话流程：客户语音条 → Whisper 转写（缓存幂等）→ 复用 AI 智能体的人设与知识生成回复 → TTS 合成 OGG / Opus → 以 PTT 语音条回复并记录用量。

完整链路

一条客户语音消息按固定顺序依次经过以下环节。每个环节独立产出结果，前一段失败不会伪装成后一段成功。

1. 接收与条件检查。客户语音入站后先下载媒体，并确认当前会话已指派 AI 智能体、该智能体的语音回复已开启、当日仍有处理额度。
2. 转写与回填。由 Whisper 识别文字、语言与音频时长（verbose_json），结果缓存到该消息行并回填为消息正文，收件箱可直接阅读。
3. 生成回复。复用该智能体的人设、语气、语言、模型设置与其知识库，结合会话历史生成回复文字 — 不新建第二套知识，也不更换接待角色。
4. 合成语音。按智能体的语音设置，把回复文字交给所选 TTS 驱动合成适合语音条的音频：OpenAI TTS、ElevenLabs 或 OpenRouter，输出 OGG / Opus。
5. 发送与计量。合成内容经统一发送器以 PTT 语音条发出，发送结果单独记录；随后累加本次用量（处理数、ASR 秒数、TTS 字符）。

幂等与缓存：转写结果缓存到消息行，并通过处理标记（ai_processed_at）与回复标识（ai_reply_id）保证幂等 — 同一条完成态消息不会重复生成和发送，重新处理时复用已保存的转写。

配置

语音设置按 AI 智能体逐项配置：打开 /voice-assistant 页面，或在团队收件箱的 AI 面板中进入 Voice 页。建议按以下顺序设置：

1. 确认工作区套餐包含 AI 智能体功能（含自带密钥权限）。
2. 先在 AI 训练与知识库中准备好智能体的人设、模型与知识库，并把它指派给要接待的目标会话。
3. 在 /voice-assistant 选择目标智能体，开启该智能体的语音回复。
4. 选择 TTS 供应商、音色与回复语言，并按客户实际使用的语言设置 ASR 语言。
5. 设置每日限额，控制每个智能体每天最多处理多少条语音。
6. 确认当前工作区具备语音转写与合成能力，并有可用授权和额度；如提示缺少密钥或权限，请联系负责配置的成员核对。
7. 用一个测试会话发一条语音条，核对转写、回复文字、语音条与用量记录。

两项配置互相独立：「生成回复文字的模型 / 供应商」由 AI 智能体本身决定；「TTS 供应商与音色」是语音助手单独的一项设置。修改音色不会改变智能体的人设与知识，修改智能体也不会改变已选的音色。

使用与展示

语音处理的结果会直接呈现在团队日常使用的界面中，不需要额外工具：

• 转写回填正文。识别出的文字、语言与时长写入消息记录，收件箱里直接可读；原始语音仍保留，可随时播放核对。
• 收件箱阅读与播放。坐席可以阅读客户需求文字、播放原语音，也可以播放智能体合成的语音条回复；需要人工接管时，带着转写记录继续处理。
• 语音条回复。智能体的回复以 WhatsApp 语音消息（圆形播放按钮气泡）形式发送，而不是普通音频文件。
• 语音下单复用。订单流程可以复用同一条消息的转写缓存（跨渠道），客户发语音即可继续下单，无需重复转写。识别出的商品与数量仍需与目录、价格及交易条件核对。

应用场景

• 口音 / 方言客户。客户发语音提问，系统转写后按知识库作答，并以语音条回复，降低打字门槛。
• 外勤与司机。不方便打字时直接发语音下单，转写文字进入订单流程供团队核对。
• 品牌人设。使用 ElevenLabs 克隆音色，让语音回复保持统一的品牌表达。
• 成本控制。日限额 + 转写缓存 + 自带密钥（BYOK）自有额度，三条措施共同约束语音处理成本。

用量与费用

每次语音处理都会写入独立的语音用量台账，按 工作区 + 智能体 + 日记录：

语音处理用量在 /ai-usage 展示；回复文字的 LLM 调用与文字回复一样计入 AI token 用量。转写缓存确保重复处理不重复识别，因而不重复产生 ASR 费用；ASR 按音频秒数、TTS 按字符数计费，实际单价取决于所选供应商与密钥归属 — 使用平台密钥时计入平台成本，使用工作区自带密钥时消耗自有额度。

启用条件与限制

• 套餐功能。需要 AI 智能体功能（含自带密钥权限）；没有该功能的工作区无法进入语音配置。
• 仅限已分配 AI 智能体的会话。会话没有 AI 指派，或该智能体未开启语音回复，或当日额度已用尽时，语音消息不会触发语音处理管线。
• 通道范围。语音条 AI 管线在工作区已连接的 WhatsApp 账号入站路径触发，由自带辅助服务收发。接收客户语音与发送合成语音条均使用已连接的 WhatsApp 应用账号（Business App / 个人版）。
• 空转写。没有识别出有效文字时，不会生成或合成空回复，也不会产生 TTS 费用；处理记录会保留结果，团队可查看原语音并继续接待。
• 失败处理。合成或发送失败时保留已生成的转写与回复文字及失败原因，不得把失败当作客户已经收到；修改条件后可重试，已保存的转写会复用。
• 幂等。同一条完成态消息不会重复生成和发送，重复处理复用缓存转写。
• 执行方式。语音处理在响应后置执行、没有独立队列，实际完成时间取决于语音时长与所选供应商的响应速度。

常见问题

相关页面

• AI 训练与知识库 — 准备 AI 智能体的人设、模型与知识库；语音回复沿用同一份业务依据。
• AI 客户管理助手 — 用自然语言操作 CRM 的 AI 助手，与语音消息助手共用 AI 密钥与用量体系。
• 多账号团队收件箱 — 阅读转写、播放语音并接管会话的团队工作台。
• 单聊会话 — 一对一聊天界面中的语音条收发与播放。
• AI 助手与知识库 — 核对助手使用的模型、知识与回复设置。