Speechllm 1.5B

🚀 SpeechLLM

SpeechLLM是一個多模態大語言模型（LLM），經過訓練可預測對話中說話者輪次的元數據。它能有效處理語音相關信息，為語音理解和分析提供全面的解決方案，在語音識別、說話者特徵預測等方面具有重要價值。

🚀 快速開始

你可以通過以下步驟快速使用SpeechLLM模型：

1. 從Hugging Face直接加載模型。
2. 調用模型的generate_meta方法進行元數據生成。

# 從Hugging Face直接加載模型
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-1.5B", trust_remote_code=True)

model.generate_meta(
    audio_path="path-to-audio.wav", # 16k Hz，單聲道
    audio_tensor=torchaudio.load("path-to-audio.wav")[1], # [可選] 可以是音頻路徑或直接傳入音頻張量
    instruction="Give me the following information about the audio [SpeechActivity, Transcript, Gender, Emotion, Age, Accent]",
    max_new_tokens=500, 
    return_special_tokens=False
)

# 模型生成結果
'''
{
    "SpeechActivity": "True",
    "Transcript": "Yes, I got it. I'll make the payment now.",
    "Gender": "Female",
    "Emotion": "Neutral",
    "Age": "Young",
    "Accent": "America"
}
'''

你可以在Google Colab Notebook中嘗試該模型。此外，還可以查看我們關於SpeechLLM用於端到端對話代理（用戶語音 -> 響應）的博客。

✨ 主要特性

SpeechLLM模型具有以下主要特性：

1. 多模態預測：能夠預測語音信號的多種元數據，包括語音活動、轉錄文本、說話者的性別、年齡、口音和情感等。
2. 基於強大架構：speechllm - 2B模型基於HubertX音頻編碼器和TinyLlama LLM構建。

📚 詳細文檔

模型詳情

檢查點結果

📄 許可證

本項目採用Apache 2.0許可證。

📚 引用

如果你使用了該模型，請按照以下格式進行引用：

@misc{Rajaa_SpeechLLM_Multi-Modal_LLM,
author = {Rajaa, Shangeth and Tushar, Abhinav},
title = {{SpeechLLM: Multi-Modal LLM for Speech Understanding}},
url = {https://github.com/skit-ai/SpeechLLM}
}