🚀 说话人嵌入模型(基于ResNet34的r-vector)
这是由 Wespeaker 项目提供的官方模型,基于ResNet34的r-vector(经过大间隔微调)。该模型可用于说话人嵌入和说话人建模,解决说话人识别等相关问题,为语音处理领域提供了有效的技术支持。
🚀 快速开始
本模型是基于ResNet34的r-vector模型,经过大间隔微调,由 Wespeaker 项目官方提供。它在VoxCeleb2 Dev数据集上进行训练,该数据集包含5994个说话人。
✨ 主要特性
- 由知名的 Wespeaker 项目提供,具有较高的可靠性和专业性。
- 基于ResNet34架构,经过大间隔微调,在说话人识别任务中可能具有更好的性能。
- 在包含5994个说话人的VoxCeleb2 Dev数据集上进行训练,数据丰富。
📦 安装指南
常规安装
pip install git+https://github.com/wenet-e2e/wespeaker.git
开发环境安装
git clone https://github.com/wenet-e2e/wespeaker.git
cd wespeaker
pip install -e .
💻 使用示例
基础用法
命令行使用
$ wespeaker -p ResNet34_download_dir --task embedding --audio_file audio.wav --output_file embedding.txt
$ wespeaker -p ResNet34_download_dir --task embedding_kaldi --wav_scp wav.scp --output_file /path/to/embedding
$ wespeaker -p ResNet34_download_dir --task similarity --audio_file audio.wav --audio_file2 audio2.wav
$ wespeaker -p ResNet34_download_dir --task diarization --audio_file audio.wav
Python编程使用
import wespeaker
model = wespeaker.load_model_local(ResNet34_download_dir)
model.set_gpu(0)
embedding = model.extract_embedding('audio.wav')
utt_names, embeddings = model.extract_embedding_list('wav.scp')
similarity = model.compute_similarity('audio1.wav', 'audio2.wav')
diar_result = model.diarize('audio.wav')
model.register('spk1', 'spk1_audio1.wav')
model.register('spk2', 'spk2_audio1.wav')
model.register('spk3', 'spk3_audio1.wav')
result = model.recognize('spk1_audio2.wav')
📚 详细文档
模型来源
- 仓库地址:https://github.com/wenet-e2e/wespeaker
- 相关论文:https://arxiv.org/pdf/2210.17016.pdf
- 演示地址:https://huggingface.co/spaces/wenet/wespeaker_demo
VoxCeleb数据集上的结果
模型 |
参数数量 |
浮点运算次数 |
大间隔微调 |
自适应标准化 |
vox1 - O - clean |
vox1 - E - clean |
vox1 - H - clean |
ResNet34 - TSTP - emb256 |
663万 |
4.55G |
× |
× |
0.867 |
1.049 |
1.959 |
|
|
|
× |
√ |
0.787 |
0.964 |
1.726 |
|
|
|
√ |
× |
0.797 |
0.937 |
1.695 |
|
|
|
√ |
√ |
0.723 |
0.867 |
1.532 |
📄 许可证
本模型采用CC - BY - 4.0许可证。
📖 引用
@article{zeinali2019rvector,
title={But system description to voxceleb speaker recognition challenge 2019},
author={Zeinali, Hossein and Wang, Shuai and Silnova, Anna and Mat{\v{e}}jka, Pavel and Plchot, Old{\v{r}}ich},
journal={arXiv preprint arXiv:1910.12592},
year={2019}
}
@inproceedings{wang2023wespeaker,
title={Wespeaker: A research and production oriented speaker embedding learning toolkit},
author={Wang, Hongji and Liang, Chengdong and Wang, Shuai and Chen, Zhengyang and Zhang, Binbin and Xiang, Xu and Deng, Yanlei and Qian, Yanmin},
booktitle={IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
pages={1--5},
year={2023},
organization={IEEE}
}