Speechllm 1.5B

🚀 SpeechLLM

SpeechLLMは、会話における話者の発話のメタデータを予測するように訓練されたマルチモーダルLLMです。speechllm - 2Bモデルは、HubertXオーディオエンコーダとTinyLlama LLMに基づいています。このモデルは、以下の情報を予測します。

1. SpeechActivity : オーディオ信号に音声が含まれているかどうか (True/False)
2. Transcript : オーディオのASRトランスクリプト
3. 話者の性別 (女性/男性)
4. 話者の年齢 (若者/中年/高齢者)
5. 話者のアクセント (アフリカ/アメリカ/ケルト/ヨーロッパ/オセアニア/南アジア/東南アジア)
6. 話者の感情 (幸せ/悲しみ/怒り/中立/イライラ)

🚀 クイックスタート

SpeechLLMは、会話における話者の発話のメタデータを予測するマルチモーダルLLMです。以下の手順で使用を開始できます。

✨ 主な機能

• オーディオ信号に音声が含まれているかどうかの判定
• オーディオのASRトランスクリプトの生成
• 話者の性別、年齢、アクセント、感情の予測

📦 インストール

このモデルはHugging Faceから直接ロードできます。以下のコードを実行してください。

# Load model directly from huggingface
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-1.5B", trust_remote_code=True)

💻 使用例

基本的な使用法

# Load model directly from huggingface
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-1.5B", trust_remote_code=True)

model.generate_meta(
    audio_path="path-to-audio.wav", #16k Hz, mono
    audio_tensor=torchaudio.load("path-to-audio.wav")[1], # [Optional] either audio_path or audio_tensor directly
    instruction="Give me the following information about the audio [SpeechActivity, Transcript, Gender, Emotion, Age, Accent]",
    max_new_tokens=500, 
    return_special_tokens=False
)

# Model Generation
'''
{
  "SpeechActivity" : "True",
  "Transcript": "Yes, I got it. I'll make the payment now.",
  "Gender": "Female",
  "Emotion": "Neutral",
  "Age": "Young",
  "Accent" : "America",
}
'''

高度な使用法

モデルをGoogle Colab Notebookで試すことができます。また、SpeechLLMに関するエンドツーエンドの対話エージェント（ユーザーの音声 -> 応答）についてのブログもチェックしてください。

📚 ドキュメント

モデルの詳細

チェックポイントの結果

引用

@misc{Rajaa_SpeechLLM_Multi-Modal_LLM,
author = {Rajaa, Shangeth and Tushar, Abhinav},
title = {{SpeechLLM: Multi-Modal LLM for Speech Understanding}},
url = {https://github.com/skit-ai/SpeechLLM}
}

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で公開されています。詳細はこちらを参照してください。