Index TTS 文本转语音模型入门

IndexTTS 是哔哩哔哩开源的语音合成模型,支持零样本和指令驱动的 TTS 功能。

IndexTTS (Github地址)是一个 0.8B 零样本文本到语音(TTS)模型,能够仅通过一段参考音频片段克隆声音。它支持中文、英文、日文、西班牙文和阿拉伯文,并具备跨语言语音转换能力,且能将情感控制与音色解耦。

GPU环境安装

官方的 IndexTTS 需要 Python 3.10–3.11、NVIDIA GPU,以及推理时约 6 GB 的显存。

获取官方源码、安装依赖并下载模型权重。

git clone https://github.com/index-tts/index-tts.git && cd index-tts
pip install -U uv
uv sync --all-extras

# or ModelScope
uv tool install "modelscope"
modelscope download --model IndexTeam/IndexTTS-2.5 --local_dir checkpoints

MacOS环境安装

对于 MacOS 环境,可以考虑使用 index-tts-2.5-mlx ,它是 IndexTTS-2.5 语音克隆模型在 Apple Silicon Mac 上的一个 MLX 原生推理实现。它最大的特点是完全脱离 PyTorch 和 ONNX,仅依赖 numpy 和 MLX,并利用 Mac 的统一内存 GPU 进行加速,速度比实时更快。

硬件:Apple Silicon Mac(M1 或更新机型),macOS 13 及以上版本,Python 3.10 及以上版本。MLX 使用统一内存的 GPU。

  • 语音克隆基于一段简短参考片段(≤15秒)——中文/英文/日语/粤语,包括混语文本。
  • 比实时更快(RTF ≈ 0.45)且约比官方 PyTorch MPS 后端快 2.4 倍.
  • 无需 Torch:仅使用 numpy + MLX。不依赖 PyTorch,也不依赖 ONNX Runtime。

首次运行会从 Hugging Face 下载 int8 模型(约 5 GB)到标准 HF 缓存中(~/.cache/huggingface);后续运行将直接复用该模型。每次synth都会打印一份耗时报告:

wrote out.wav
audio       2.83 s
load        2.12 s   (model download + weight load)
clone       1.69 s   (speaker embedding from --ref)
synth       1.32 s
RTF        0.467     (2.14x realtime; <1 = faster than real-time)
stages    gpt=0.35s  codec=0.00s  regulator=0.00s  cfm=0.46s  bigvgan=0.51s

load只有在首次下载时才会比较慢。synth一旦预热完成,每行代码的边际成本——复用一个spk跨多行以避免重复clone工作。

安装到指定环境:

pip install index-tts-2.5-mlx

提前预下载权重:

uvx index-tts-2.5-mlx download

如果国内网络从 Hugging Face 下载模型权重比较慢,可以添加环境变量,并固化在 ~/.zshrc 中

export HF_ENDPOINT=https://hf-mirror.com

CLI usageCLI 使用

index-tts-2.5-mlx synth --ref REF.wav --text "..." --out out.wav [options]

选项

Option选项 Default默认值 Description描述
–ref (required)(必填) 用于克隆的参考音频(≤15秒,语音清晰)。
–text (required)(必填) 待合成文本(zh/en/ja/yue,混合语言亦可)。
–out output.wav 输出WAV路径(22050 Hz,int16)。
–lang zh 语言提示:zh, en, ja, yue.
–greedy off关闭 贪婪解码(确定性)。
–seed random随机 采样时的RNG种子。
–top-k / –top-p / –temperature 30 / 0.8 / 0.8 采样控制参数。
–repetition-penalty 10.0 重复惩罚。
–max-mel-tokens 1500 每个片段的最大声学标记数。
–duration-factor 1.0 语速倍率。
–n-timesteps / –cfg-rate 25 / 0.7 流匹配求解器控制选项。
–model-dir auto自动 使用本地权重目录,无需下载。
–no-normalization off关闭 禁用文本规范化。

可以通过 Auk 或其他方法获取参考语音,使用 IndexTTS 进行语音克隆。