> For the complete documentation index, see [llms.txt](https://anxiang1836.gitbook.io/magic-tts/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://anxiang1836.gitbook.io/magic-tts/mo-xing-zu-jian/cosyvoice2.md).
# CosyVoice2
算法采用阿里cosyvoice2底座模型，通过后训练增强基模型的鲁棒性，拟人化达到商用水准。
## CosyVoice2论文图
### 1. Text Tokenizer
使用的whiper的文本转化器，多语言，将文本转化成BPE
### 2. Speech Tokenizer
CosyVoice 1.0采用VQ来提取Supervised semantic codec，码本大小为4096，但是有效码本只有963。
CosyVoice 2.0采用了FSQ替换VQ，训练了6561的码本，并且码本100%激活。FSQ-Speech Tokenizer的使用使得CosyVoice 2.0在发音准确性上有明显提升。
### 3. LLM
CosyVoice 2.0采用预训练好的文本基座大模型（Qwen2.5-0.5B）替换了原来的Text Encoder + random Transformer的结构。
采用LLM进行初始化能够更好的进行文本的语义建模，使得在可控生成，音频和文本的情感匹配，多音字发音上会有明显的收益。
**精品音色**
{% hint style="info" %}
**instruct示例：**
请问你能模仿四川话的口音么？
请用YOYO的音色自然地说。
{% endhint %}
**声音克隆**
{% hint style="info" %}
**注意：**
prompt\_text和prompt\_speech需要严格对齐；
例如，prompt\_text中识别错误，会导致合成音频中，被错误的当成待合成文本
{% endhint %}
### 4. FlowMatching
音频采用的是帧率50Hz、采样率为24kHz的梅尔频谱作为声学特征
分词器工作频率为25Hz，即每秒生成25个语音token
因speech token 与 梅尔特征的帧率不一致，因此要对speech token进行2倍上采样( look-ahead convolution)，然后送入transformer结构（chunk-aware causal Transformer blocks），实现speech token的特征与声学特征对齐
根据speaker的embedding和参考语音的mel谱，将输出的speech token进一步解码为mel谱
{% hint style="info" %}
**NOTE**
精品音色，是仅通过speaker\_embedding引入说话人特征，不指定prompt wav
{% endhint %}
### 5. Vocoder
CosyVoice 2.0中，使用HiFiGAN作为声码器，将mel谱转换为音频波形
HiFiGAN经过U-Net结构3次上采样(8倍/5倍/3倍)，总共120倍上采样生成6000长度的梅尔特征
最终经过短时傅里叶逆变换变成24000个语音信号点(帧移4)，因此最终生成的音频信号的频率是24khz
## CosyVoice2推理链路
