Speechllm 2B

🚀 SpeechLLM

SpeechLLM是一个多模态大语言模型，经过训练可预测对话中说话者话语的元数据。它能够预测说话者的语音活动、转录内容、性别、年龄、口音和情感等信息，为语音理解和处理提供了强大的支持。

🚀 快速开始

SpeechLLM可直接从Hugging Face加载使用。以下是一个简单的使用示例：

# Load model directly from huggingface
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-2B", trust_remote_code=True)

model.generate_meta(
    audio_path="path-to-audio.wav", #16k Hz, mono
    audio_tensor=torchaudio.load("path-to-audio.wav")[1], # [Optional] either audio_path or audio_tensor directly
    instruction="Give me the following information about the audio [SpeechActivity, Transcript, Gender, Emotion, Age, Accent]",
    max_new_tokens=500, 
    return_special_tokens=False
)

# Model Generation
'''
{
  "SpeechActivity" : "True",
  "Transcript": "Yes, I got it. I'll make the payment now.",
  "Gender": "Female",
  "Emotion": "Neutral",
  "Age": "Young",
  "Accent" : "America",
}
'''

你可以在 Google Colab Notebook 中尝试使用该模型。此外，还可以查看我们关于SpeechLLM的 博客，了解其在端到端对话代理中的应用（用户语音 -> 响应）。

✨ 主要特性

SpeechLLM基于HubertX音频编码器和TinyLlama大语言模型，能够预测以下信息：

1. 语音活动：判断音频信号中是否包含语音（是/否）
2. 转录内容：音频的自动语音识别转录结果
3. 说话者性别（女/男）
4. 说话者年龄（青年/中年/老年）
5. 说话者口音（非洲/美洲/凯尔特/欧洲/大洋洲/南亚/东南亚）
6. 说话者情感（高兴/悲伤/愤怒/中立/沮丧）

📚 详细文档

模型详情

• 开发者：Skit AI
• 作者：Shangeth Rajaa，Abhinav Tushar
• 语言：英语
• 微调基础模型：HubertX，TinyLlama
• 模型大小：21亿参数
• 检查点：2000k步（批次大小 = 1）
• 适配器：r = 4，alpha = 8
• 学习率：1e - 4
• 梯度累积步数：8

检查点结果

引用

如果你使用了SpeechLLM，请引用以下文献：

@misc{Rajaa_SpeechLLM_Multi-Modal_LLM,
author = {Rajaa, Shangeth and Tushar, Abhinav},
title = {{SpeechLLM: Multi-Modal LLM for Speech Understanding}},
url = {https://github.com/skit-ai/SpeechLLM}
}

📄 许可证

本项目采用Apache 2.0许可证。