Auk TTS 文本转语音模型入门

AuK 是腾讯混元开源的一个拥有15亿(1.5B)参数的语音生成与编辑基础模型。该模型基于数百万小时的多样化音频数据进行训练,通过统一的自然语言指令接口,支持零样本和指令驱动的TTS、内容与声学编辑、副语言特征编辑、语音增强以及声源分离等功能。

AuK 是腾讯混元开源的一个拥有15亿(1.5B)参数的语音生成与编辑基础模型。该模型基于数百万小时的多样化音频数据进行训练,通过统一的自然语言指令接口,支持零样本和指令驱动的TTS、内容与声学编辑、副语言特征编辑、语音增强以及声源分离等功能。

在研究 Auk 的同时,也在研究哔哩哔哩开源的 IndexTTS, 他们产品定位是不同的:

  • IndexTTS 是专精于“合成得更像、更可控”的 TTS 模型,必须输入参考语音,然后把文本变成高质量语音。
  • AuK 是一个以自然语言指令驱动、覆盖从生成到后期编辑全链路的“语音基础模型”,用一句话指令对语音做几乎任何事(对于语音的增删改查)。

AuK 核心能力/特点:

  1. 语音生成。支持零样本 TTS 和指令 TTS。
    • 零样本 TTS :用参考音频的音色朗读目标文本。
    • 指令 TTS :无需参考音频,仅根据声音描述生成语音。
  2. 语音编辑。支持对于一段语音进行编辑修改
    • 内容编辑: 重写所说的内容:替换 / 插入 / 删除。
    • 歌词编辑: 在演唱录音中重写歌词,同时保留旋律和音色。
    • 音高编辑: 按半音升高/降低音高;输出等长。
    • 语速编辑: 调整语速;输出长度随速度因子缩放
    • 音量编辑: 按分贝升高/降低音量;输出等长。
    • 情感编辑: 改变情感,同时保留内容和音色;输出等长。
    • 音色编辑: 保持所说内容不变,将音色改为描述的声音。
    • 去口音: 去除地区口音,同时保留说话人音色和内容;输出等长。
    • 非言语编辑:删除或添加呼吸声、笑声、咳嗽声等非言语声音。
    • 耳语转换: 在正常语音 ↔ 耳语之间转换,同时保留说话人和内容;输出等长。
    • 语音增强: 降噪 / 去混响 / 完整增强 / 音质修复。
    • 语音分离: 按说话顺序保留一位说话人,去除其他说话人。
    • 音乐分离: 从混音中提取歌声,或保留所有人声。
    • 目标说话人提取: 根据所说内容定位并保留目标说话人,去除其他说话人。

AuK有两个版本:

  • AuK:用于高质量生成的基础模型
  • AuK-Flash:经过蒸馏,支持4 步推理,在相同条件下实际运行速度比基础版快 4.5 倍,更适合对实时性有要求的部署场景。

Auk 环境安装

Auk 的安装方式取决于你的硬件平台和使用场景,官方主要面向 NVIDIA GPU (CUDA) 环境。 非 GPU 或 Mac 环境运行效率会比较低, 但也可以通过 CPU 来运行。

1. 准备运行的 Python 环境

如果需要进行环境隔离,可以使用 venv 方式, 官方推荐使用 uv 工具。

在 Auk 项目目录中执行

# Create and activate a project-local environment.
uv venv --python 3.10
source .venv/bin/activate

2. Pypi 国内镜像加速

直接访问 Pypi 官网的网络速度可能和慢,国内加速可以使用阿里云镜像源。

添加或修改配置文件 ~/.config/uv/uv.toml

[[index]]
url = "http://mirrors.aliyun.com/pypi/simple/"
default = true

或者使用环境变量,可固化到 ~/.bashrc 或 ~/.zshrc

export UV_DEFAULT_INDEX="https://pypi.tuna.tsinghua.edu.cn/simple"

3. 安装 AuK

Auk 相关软件和依赖的安装一般通过源码仓库的方式安装,获取源码

git clone https://github.com/Tencent-Hunyuan/AuK.git

在 AuK 代码目录安装依赖

cd Auk

# Choose one installation target:
# Core inference and CLI only
uv pip install -e .

4. 下载模型权重

Auk 运行时需要额外加载 Qwen2.5-Omni-3B 作为指令理解模块,再配合 Auk 自身的扩散 Transformer 和 VAE 来生成音频。因此,者两个模型都需要下载。

并且,Auk 在运行时有个默认的模型路径,位于代码的根目录。

modelscope download --model Tencent-Hunyuan/AuK-Flash  --local_dir ./ckpts/AuK-Flash
modelscope download --model Qwen/Qwen2.5-Omni-3B --local_dir ./ckpts/Qwen2.5-Omni-3B

下载完成后的模型路径:

Auk
├── ckpts
│   ├── AuK-Flash  # 或 AuK/
│   ├── Qwen2.5-Omni-3B
├── .env
├── src
... ...

5. 准备大模型调用的环境变量 .env 文件

AuK 的某些工作流节点(如 AuK Generate)附带了一个“提示词增强器” (src/auk/infer/pe.py 命令)。它的作用是把你随口说的、不规整的请求,自动分类成 AuK 能理解的任务类型,并改写成标准格式。这个增强过程本质上是一次聊天补全(Chat Completions) 调用,因此需要一个大模型来执行。如果你在节点里启用了这个增强器,就必须提供一个可访问的 LLM 接口,否则工作流会报错或无法生成理想结果。

基于环境变量的方式获取模型凭证

# DeepSeek V4 Flash (alternative)
export LLM_API_KEY=sk-f1e5*****************6a
export LLM_BASE_URL=https://api.deepseek.com
export LLM_MODEL_NAME=deepseek-v4-flash

至此,Auk 环境就准备就绪了。

AuK 根据声音描述生成语音

无需参考音频,仅根据声音描述生成语音,又叫指令 TTS。

英文:Generate speech based on the following description: “{voice description}”. The content to speak is: “{text}”.
中文:请基于下面的描述: “{声音描述}",生成语音内容”{文本}".

指令 TTS 没有参考音频,因此省略 --audio,并用 --gen_seconds 设置目标长度。

声音的目标长度会影响语速,可以调整声音长度多执行几次,或者使用下文提示词增强器来自动生成 auk-infer 命令和时长。

如果使用flash 模型,需要指定 --ckpt 参数

auk-infer \
    --instruction 'Based on the following description: "一位二十多岁的女性新闻播报员,国家级播音腔,明亮圆润的中音实声、字正腔圆的零口音普通话、语速适中、句尾降调的客观庄重语气。节奏上强调字正腔圆、句读分明。语气上保持客观、庄重、中性,不流露个人情绪。情感基调是庄重、大气、可信。", generate speech content "大家好,今天是二零二六年十一月十六日,星期一,这里是常云阁AI实验室,下面用五分钟快速了解昨天科技圈值得关注的事。"' \
    --ckpt ckpts/AuK-Flash/auk_flash.safetensors \
    --output out_instruct_tts.wav \
    --gen_seconds 11

生成的语音如下:

我这里生成的结果中有点小瑕疵,第一秒的内容混乱,可以借助 ffmpeg 工具进行截取

ffmpeg -i input.wav -ss 00:00:01 -t 11 -c copy output.wav

从第 1 秒开始,截取 11 秒

  • -ss 起始时间
  • -t 截取时长
  • -c copy 直接复制音频流,速度快、无损(WAV 用 copy 没问题)。

Auk 基于参考音色输出语音

每次都基于 指令 TTS 生成语音在不同参数和、场景或版本中可能音色会有差异,就像不同的人说话。因此,我基于 指令 TTS 先生成一段参考语音,然后基于参考语音生进行长文本语音生成。

对长内容语音生成,可以使用 提示词增强器 来自动生成 auk-infer 命令和时长。它将你提供的音频和一句自然语言指令,自动翻译成一条完整、可直接执行的 auk-infer 命令,并生成一份任务配置文件(manifest),从而简化手动挑选参数的过程。6注意:该过程需要 AI 大模型的推理,请先准备好大模型环境变量(参考 5. 准备大模型调用的环境变量 .env 文件)。

(.python-venv) zhaowenyu@zhaowenyudeMacBook-Pro AuK % source .env
(.python-venv) zhaowenyu@zhaowenyudeMacBook-Pro AuK % python src/auk/infer/pe.py \
  --audio example1.wav \
  --instruction "请生成语音内容: DeepSeek 把自家应用里的那套交互能力整体开放成了接口。开发者打开对应参数,就能拿到联网搜索、深度思考搜索、文件输入、阅读链接和模型安全校验,工具调用和上下文拼接都由服务端完成。搜索和抓取按每千次五元计费,文件解析和图片识别按每千页零点二二五美元,语音合成和识别也单独标了价。". \
  --asr auto
Task: zero_shot_tts
Original instruction: 请生成语音内容: DeepSeek 把自家应用里的那套交互能力整体开放成了接口。开发者打开对应参数,就能拿到联网搜索、深度思考搜索、文件输入、阅读链接和模型安全校验,工具调用和上下文拼接都由服务端完成。搜索和抓取按每千次五元计费,文件解析和图片识别按每千页零点二二五美元,语音合成和识别也单独标了价。.
PE instruction: Say the following with the same voice: "DeepSeek 把自家应用里的那套交互能力整体开放成了接口。开发者打开对应参数,就能拿到联网搜索、深度思考搜索、文件输入、阅读链接和模型安全校验,工具调用和上下文拼接都由服务端完成。搜索和抓取按每千次五元计费,文件解析和图片识别按每千页零点二二五美元,语音合成和识别也单独标了价。"
Target duration: 32.38 s
Model input audio: example1.wav
Manifest: assets/after_pe/example1.pe.json
Inference command:
auk-infer \
  --audio example1.wav \
  --ckpt ckpts/AuK-Flash/auk_flash.safetensors \
  --instruction 'Say the following with the same voice: "DeepSeek 把自家应用里的那套交互能力整体开放成了接口。开发者打开对应参数,就能拿到联网搜索、深度思考搜索、文件输入、阅读链接和模型安全校验,工具调用和上下文拼接都由服务端完成。搜索和抓取按每千次五元计费,文件解析和图片识别按每千页零点二二五美元,语音合成和识别也单独标了价。"' \
  --output assets/after_pe/example1.output.wav \
  --gen_seconds 32.379999999999995

在最下面就是生成的 auk-infer 命令,可以直接复制执行。

如果使用 Auk-Flash 模型,需要指定 --ckpt 参数: --ckpt ckpts/AuK-Flash/auk_flash.safetensors

 % auk-infer \
  --audio example1.wav \
  --ckpt ckpts/AuK-Flash/auk_flash.safetensors \
  --instruction 'Say the following with the same voice: "DeepSeek 把自家应用里的那套交互能力整体开放成了接口。开发者打开对应参数,就能拿到联网搜索、深度思考搜索、文件输入、阅读链接和模型安全校验,工具调用和上下文拼接都由服务端完成。搜索和抓取按每千次五元计费,文件解析和图片识别按每千页零点二二五美元,语音合成和识别也单独标了价。"' \
  --output assets/after_pe/example1.output.wav \
  --gen_seconds 32.379999999999995
2026-11-18 12:55:49,296 - INFO - Detected AuK-Flash release — locking sampling to the 4-step / CFG-off recipe.
2026-11-18 12:55:49,296 - INFO - Loading Qwen text encoder from ckpts/Qwen2.5-Omni-3B ...
`torch_dtype` is deprecated! Use `dtype` instead!
Unrecognized keys in `rope_scaling` for 'rope_type'='default': {'mrope_section'}
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  9.37it/s]
The image processor of type `Qwen2VLImageProcessor` is now loaded as a fast processor by default, even if the model checkpoint was saved with a slow processor. This is a breaking change and may produce slightly different outputs. To continue using the slow processor, instantiate this class with `use_fast=False`. Note that this behavior will be extended to all models in a future release.
2026-11-18 12:55:49,995 - INFO - Loading VAE from /Users/zhaowenyu/code/cncfstack-ai/text-to-voice/AuK/ckpts/AuK-Flash/vae.safetensors ...
2026-11-18 12:55:49,998 - INFO - BigVGANFlowVAE Config:
2026-11-18 12:55:49,998 - INFO -   upsample_rates: [5, 4, 3, 2, 2, 2]
2026-11-18 12:55:49,998 - INFO -   upsample_kernel_sizes: [10, 8, 6, 4, 4, 4]
2026-11-18 12:55:49,998 - INFO -   upsample_initial_channel: 1536
2026-11-18 12:55:49,998 - INFO -   resblock_kernel_sizes: [3, 7, 11]
2026-11-18 12:55:49,998 - INFO -   resblock_dilation_sizes: [[1, 3, 5], [1, 3, 5], [1, 3, 5]]
2026-11-18 12:55:49,998 - INFO -   downsample_rates: [2, 2, 2, 3, 4, 5]
2026-11-18 12:55:49,998 - INFO -   downsample_channels: [12, 24, 48, 96, 192, 384, 768]
2026-11-18 12:55:49,999 - INFO -   snake_logscale: True
2026-11-18 12:55:49,999 - INFO -   latent_dim: 64
2026-11-18 12:55:49,999 - INFO -   use_vae: True
2026-11-18 12:55:49,999 - INFO -   causal: True
2026-11-18 12:55:49,999 - INFO -   flow_hidden_channels: 256
2026-11-18 12:55:49,999 - INFO -   act_causal: True
/Users/zhaowenyu/.python-venv/lib/python3.13/site-packages/torch/nn/utils/weight_norm.py:143: FutureWarning: `torch.nn.utils.weight_norm` is deprecated in favor of `torch.nn.utils.parametrizations.weight_norm`.
  WeightNorm.apply(module, name, dim)
2026-11-18 12:55:52,132 - INFO - Building CFMEdit model ...
2026-11-18 12:55:54,685 - INFO - Loading model checkpoint from ckpts/AuK-Flash/auk_flash.safetensors ...
2026-11-18 12:56:08,155 - INFO - Loaded EMA weights | missing=924 (text_encoder.*=924, other=0) | unexpected=0
Saved output -> assets/after_pe/example1.output.wav  (32.38s @ 24000 Hz)

生成的语音如下:

语音编辑

语音的生成与编辑都是基于 auk-infer 指令处理,主要差异就是 --instruction 参数的描述不同,但也有一些参考模板可以使用。

完整的 Auk 介说明 https://github.com/Tencent-Hunyuan/AuK/blob/main/docs/COOKBOOK.md

  • 中文:请基于下面的描述: “{声音描述}",生成语音内容”{文本}".
  • 中文:把’{原文}‘改成’{新文}’
  • 中文:在’{锚点}‘前面加上’{内容}’ | 在’{锚点}‘后面加上’{内容}’
  • 中文:删掉’{内容}’ | 删掉’{锚点}‘前/后面的’{内容}’
  • 中文:把这段歌词中的"{原歌词}“改成”{新歌词}"。
  • 中文:将音调升高{1/2/3}个半音。 | 将音调降低{1/2/3}个半音。
  • 中文:将语速调整为{0.5/0.75/1.25/1.5/2.0}倍。
  • 中文:将音量升高{5/10/15}分贝。 | 将音量降低{5/10/15}分贝。
  • 中文:将情感转变为{开心/愤怒/悲伤/恐惧/惊讶/厌恶/平静/兴奋}。
  • 中文:请将这段音频的音色修改为符合以下描述的声音:"’{音色描述}’"。
  • 中文:请去掉这段语音里的方言口音,保持说话人音色一致。
  • 中文:删除音频中所有的{换气声/笑声/咳嗽声等}。
  • 中文:在语音{开头/结尾}增加{声音}。
  • 中文:用小声耳语的方式把这段话说出来。
  • 中文:把这段耳语转换成正常说话的声音。
  • 中文:请只去除背景噪声,保留其他内容,输出等长结果。
  • 中文:请只去除房间混响,保留其他内容,输出等长结果。
  • 中文:请保留所有说话人,去除噪声和混响,输出等长的纯净语音。
  • 中文:请修复这段音频的{电话感/闷声/削波/丢包},恢复自然清晰的人声。
  • 中文:只保留第{序号}个开始说话的人,去掉其余说话人。
  • 中文:请只保留歌声,其余声音都去掉。
  • 中文:请保留所有人声,包括说话和歌唱,其余声音都去掉。
  • 中文:请只保留说"{内容}“的人,去掉其他说话人。

Python API 设置

初始化 AuK 一次,并在下面的示例中复用 run_auk(...)。纯文本指令 TTS 无需设置 audio_path。

from auk.infer.infer_auk import AukInfer, save_audio

checkpoint = "ckpts/AuK/auk_base.safetensors"
config = "ckpts/AuK/config.yaml"

# 改用 AuK-Flash:
# checkpoint = "ckpts/AuK-Flash/auk_flash.safetensors"
# config = "ckpts/AuK-Flash/config.yaml"

engine = AukInfer(
    config,
    checkpoint,
)


def run_auk(
    instruction,
    output_path,
    audio_path=None,
    gen_seconds=None,
):
    content = [{"type": "text", "text": instruction}]

    if audio_path is not None:
        content.append({"type": "audio", "audio": audio_path})

    messages = [
        {
            "role": "user",
            "content": content,
        }
    ]

    audio, sr = engine.generate(
        messages,
        gen_seconds=gen_seconds,
    )
    save_audio(audio, sr, output_path)

当任务需要显式指定输出时长时(例如 TTS、内容编辑或语速编辑),请传入 gen_seconds。对于保持源时长的任务,可以省略。

Web 页面

项目自带了一个 Web 页面,可以直接在浏览器中使用。

需要先安装依赖

# Core inference + Gradio + Prompt Enhancer + ASR
uv pip install -e ".[gradio]"

安装成功后,启动 Web 页面。

source .env
auk-gradio \
  --flash_ckpt ckpts/AuK-Flash/auk_flash.safetensors \
  --flash_config ckpts/AuK-Flash/config.yaml \
  --qwen_path ckpts/Qwen2.5-Omni-3B \
  --host 0.0.0.0 \
  --port 8080 \
  --preload

这里只使用 Auk-Flash 模型,如果需要同时使用 Auk-Base 模型,需要指定参数: --base_ckpt ckpts/AuK/auk_base.safetensors 和 --base_config ckpts/AuK/config.yaml

如果有 GPU,可以通过 --base_device cuda:0 和 --flash_device cuda:0 指定使用 GPU 进行推理。

如果是 Mac 系统,可能还需要安装 OpenFst。 因为安装过程依赖的 pynini 不是纯 Python 包,它依赖系统中的 OpenFst C++ 库才能编译安装

brew install openfst

或者使用环境变量,可固化到 ~/.bashrc 或 ~/.zshrc

# 设置头文件路径
export CPLUS_INCLUDE_PATH="/opt/homebrew/include:$CPLUS_INCLUDE_PATH"
# 设置库文件路径
export LIBRARY_PATH="/opt/homebrew/lib:$LIBRARY_PATH"
# 设置运行时动态链接库路径
export LD_LIBRARY_PATH="/opt/homebrew/lib:$LD_LIBRARY_PATH"

总结

Auk 是一个强大的语音生成和编辑模型,在语音处理方面的能力很强大。但是对于“文本生成语音”场景,感觉相对较重,可以基于 Auk 生成参考音色后,基于该音色选择更轻量的语音生成模型。