Speechllm 2B

🚀 SpeechLLM

SpeechLLM是一個多模態大語言模型，經過訓練可預測對話中說話者話語的元數據。它能夠預測說話者的語音活動、轉錄內容、性別、年齡、口音和情感等信息，為語音理解和處理提供了強大的支持。

🚀 快速開始

SpeechLLM可直接從Hugging Face加載使用。以下是一個簡單的使用示例：

# Load model directly from huggingface
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-2B", trust_remote_code=True)

model.generate_meta(
    audio_path="path-to-audio.wav", #16k Hz, mono
    audio_tensor=torchaudio.load("path-to-audio.wav")[1], # [Optional] either audio_path or audio_tensor directly
    instruction="Give me the following information about the audio [SpeechActivity, Transcript, Gender, Emotion, Age, Accent]",
    max_new_tokens=500, 
    return_special_tokens=False
)

# Model Generation
'''
{
  "SpeechActivity" : "True",
  "Transcript": "Yes, I got it. I'll make the payment now.",
  "Gender": "Female",
  "Emotion": "Neutral",
  "Age": "Young",
  "Accent" : "America",
}
'''

你可以在 Google Colab Notebook 中嘗試使用該模型。此外，還可以查看我們關於SpeechLLM的 博客，瞭解其在端到端對話代理中的應用（用戶語音 -> 響應）。

✨ 主要特性

SpeechLLM基於HubertX音頻編碼器和TinyLlama大語言模型，能夠預測以下信息：

1. 語音活動：判斷音頻信號中是否包含語音（是/否）
2. 轉錄內容：音頻的自動語音識別轉錄結果
3. 說話者性別（女/男）
4. 說話者年齡（青年/中年/老年）
5. 說話者口音（非洲/美洲/凱爾特/歐洲/大洋洲/南亞/東南亞）
6. 說話者情感（高興/悲傷/憤怒/中立/沮喪）

📚 詳細文檔

模型詳情

• 開發者：Skit AI
• 作者：Shangeth Rajaa，Abhinav Tushar
• 語言：英語
• 微調基礎模型：HubertX，TinyLlama
• 模型大小：21億參數
• 檢查點：2000k步（批次大小 = 1）
• 適配器：r = 4，alpha = 8
• 學習率：1e - 4
• 梯度累積步數：8

檢查點結果

引用

如果你使用了SpeechLLM，請引用以下文獻：

@misc{Rajaa_SpeechLLM_Multi-Modal_LLM,
author = {Rajaa, Shangeth and Tushar, Abhinav},
title = {{SpeechLLM: Multi-Modal LLM for Speech Understanding}},
url = {https://github.com/skit-ai/SpeechLLM}
}

📄 許可證

本項目採用Apache 2.0許可證。