Ast Finetuned Model

🚀 AST感情分類用ファインチューニング済みモデル

このモデルは、音声の感情分類に特化してファインチューニングされた音声スペクトログラムトランスフォーマー（AST）モデルです。CREMA - Dデータセットを使用して6つの感情カテゴリに焦点を当ててファインチューニングされており、ベースモデルはMITの事前学習済みASTモデルを使用しています。

🚀 クイックスタート

このモデルは、音声の感情分類に使用できます。以下のコードを参考に、モデルを読み込み、予測を行うことができます。

💻 使用例

基本的な使用法

from transformers import AutoModelForAudioClassification, AutoProcessor

# モデルとプロセッサを読み込む
model = AutoModelForAudioClassification.from_pretrained("forwarder1121/ast-finetuned-model")
processor = AutoProcessor.from_pretrained("forwarder1121/ast-finetuned-model")

# 入力音声（例：波形）をログメルスペクトログラムとして準備する
inputs = processor("path_to_audio.wav", sampling_rate=16000, return_tensors="pt")

# 予測を行う
outputs = model(**inputs)
predicted_class = outputs.logits.argmax(-1).item()

print(f"予測された感情: {model.config.id2label[str(predicted_class)]}")

📚 ドキュメント

🔍 モデルの詳細

⚙️ モデルの設定

📈 トレーニングの詳細

• データセット: CREMA - D（感情ラベル付き音声データ）
• データ拡張:
  • ノイズ注入
  • 時間シフト
  • 速度摂動
• ファインチューニングエポック数: 5
• バッチサイズ: 16
• 学習率スケジューラ: 線形減衰
• 最高検証精度: 60.71%
• 最良チェックポイント: ./results/checkpoint - 1119

📊 評価指標

検証結果

• 最高検証精度: 60.71%
• 検証損失: 1.1126

評価の詳細

• 評価データセット: CREMA - Dのテスト分割
• バッチサイズ: 16
• ステップ数: 94

⚠️ 制限事項

• このモデルはCREMA - Dデータセットでトレーニングされており、特定の音声データセットに特化しています。異なるアクセント、話し方、または言語のデータセットに対しては汎化性能が低い可能性があります。
• 検証精度が60.71%であることから、実世界でのデプロイには改善の余地があります。

🙏 謝辞

この研究は、MITによる音声スペクトログラムトランスフォーマー（AST） モデルをベースに、感情分類のためにファインチューニングされています。Hugging Faceの開発者とCREMA - Dデータセットの貢献者に感謝します。

📄 ライセンス

このモデルはMITライセンスの下で共有されています。リポジトリ内のライセンス詳細を参照してください。

📝 引用

このモデルをあなたの研究で使用する場合は、以下のように引用してください。

@misc{ast-finetuned-model,
  author = {forwarder1121},
  title = {Fine-Tuned Audio Spectrogram Transformer for Emotion Classification},
  year = {2024},
  url = {https://huggingface.co/forwarder1121/ast-finetuned-model},
}

📞 お問い合わせ

質問がある場合は、forwarder1121@naver.comまでご連絡ください。