Index TTS 文本转语音模型入门
IndexTTS 是哔哩哔哩开源的语音合成模型,支持零样本和指令驱动的 TTS 功能。
IndexTTS (Github地址)是一个 0.8B 零样本文本到语音(TTS)模型,能够仅通过一段参考音频片段克隆声音。它支持中文、英文、日文、西班牙文和阿拉伯文,并具备跨语言语音转换能力,且能将情感控制与音色解耦。
GPU环境安装
官方的 IndexTTS 需要 Python 3.10–3.11、NVIDIA GPU,以及推理时约 6 GB 的显存。
获取官方源码、安装依赖并下载模型权重。
git clone https://github.com/index-tts/index-tts.git && cd index-tts
pip install -U uv
uv sync --all-extras
# or ModelScope
uv tool install "modelscope"
modelscope download --model IndexTeam/IndexTTS-2.5 --local_dir checkpoints
MacOS环境安装
对于 MacOS 环境,可以考虑使用 index-tts-2.5-mlx ,它是 IndexTTS-2.5 语音克隆模型在 Apple Silicon Mac 上的一个 MLX 原生推理实现。它最大的特点是完全脱离 PyTorch 和 ONNX,仅依赖 numpy 和 MLX,并利用 Mac 的统一内存 GPU 进行加速,速度比实时更快。
硬件:Apple Silicon Mac(M1 或更新机型),macOS 13 及以上版本,Python 3.10 及以上版本。MLX 使用统一内存的 GPU。
- 语音克隆基于一段简短参考片段(≤15秒)——中文/英文/日语/粤语,包括混语文本。
- 比实时更快(RTF ≈ 0.45)且约比官方 PyTorch MPS 后端快 2.4 倍.
- 无需 Torch:仅使用 numpy + MLX。不依赖 PyTorch,也不依赖 ONNX Runtime。
首次运行会从 Hugging Face 下载 int8 模型(约 5 GB)到标准 HF 缓存中(~/.cache/huggingface);后续运行将直接复用该模型。每次synth都会打印一份耗时报告:
wrote out.wav
audio 2.83 s
load 2.12 s (model download + weight load)
clone 1.69 s (speaker embedding from --ref)
synth 1.32 s
RTF 0.467 (2.14x realtime; <1 = faster than real-time)
stages gpt=0.35s codec=0.00s regulator=0.00s cfm=0.46s bigvgan=0.51s
load只有在首次下载时才会比较慢。synth一旦预热完成,每行代码的边际成本——复用一个spk跨多行以避免重复clone工作。
安装到指定环境:
pip install index-tts-2.5-mlx
提前预下载权重:
uvx index-tts-2.5-mlx download
如果国内网络从 Hugging Face 下载模型权重比较慢,可以添加环境变量,并固化在 ~/.zshrc 中
export HF_ENDPOINT=https://hf-mirror.com
CLI usageCLI 使用
index-tts-2.5-mlx synth --ref REF.wav --text "..." --out out.wav [options]
选项
| Option选项 | Default默认值 | Description描述 |
|---|---|---|
| –ref | (required)(必填) | 用于克隆的参考音频(≤15秒,语音清晰)。 |
| –text | (required)(必填) | 待合成文本(zh/en/ja/yue,混合语言亦可)。 |
| –out | output.wav | 输出WAV路径(22050 Hz,int16)。 |
| –lang | zh | 语言提示:zh, en, ja, yue. |
| –greedy | off关闭 | 贪婪解码(确定性)。 |
| –seed | random随机 | 采样时的RNG种子。 |
| –top-k / –top-p / –temperature | 30 / 0.8 / 0.8 | 采样控制参数。 |
| –repetition-penalty | 10.0 | 重复惩罚。 |
| –max-mel-tokens | 1500 | 每个片段的最大声学标记数。 |
| –duration-factor | 1.0 | 语速倍率。 |
| –n-timesteps / –cfg-rate | 25 / 0.7 | 流匹配求解器控制选项。 |
| –model-dir | auto自动 | 使用本地权重目录,无需下载。 |
| –no-normalization | off关闭 | 禁用文本规范化。 |
可以通过 Auk 或其他方法获取参考语音,使用 IndexTTS 进行语音克隆。