Bert Uncased Intent Classification

🚀 BERTベースの意図分類モデル

これはBERTをベースにしたファインチューニングモデルで、意図分類に使用され、意図を82の異なるラベルに分類することができます。このモデルは、多言語意図データセットを統合したデータセットで訓練されています。

🚀 クイックスタート

以下のコードを使用して、このモデルを使い始めましょう。

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline

model = AutoModelForSequenceClassification.from_pretrained("yeniguno/bert-uncased-intent-classification")
tokenizer = AutoTokenizer.from_pretrained("yeniguno/bert-uncased-intent-classification")

pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)

text = "Play the song, Sam."
prediction = pipe(text)

print(prediction)

# [{'label': 'play_music', 'score': 0.9997674822807312}]

✨ 主な機能

このモデルは自然言語理解（NLU）タスクに適しており、以下のアプリケーションのユーザー意図を分類することができます。

• 音声アシスタント
• チャットボット
• カスタマーサポートの自動化
• 対話型人工知能システム

🔧 技術詳細

訓練データ

このモデルは、様々なソースからの意図データセットを組み合わせたもので訓練されています。

• mteb/amazon_massive_intent
• mteb/mtop_intent
• sonos-nlu-benchmark/snips_built_in_intents
• Mozilla/smart_intent_dataset
• Bhuvaneshwari/intent_classification
• clinc/clinc_oos

各データセットは前処理され、意図ラベルは82の一意なカテゴリに統合されています。

データセットのサイズ：

• 訓練セットサイズ：138228
• 検証セットサイズ：17279
• テストセットサイズ：17278

訓練過程

このモデルは以下のハイパーパラメータを使用してファインチューニングされています。

• ベースモデル：bert-base-uncased
• 学習率：3e-5
• バッチサイズ：32
• 訓練エポック数：4
• 重み減衰：0.01
• 評価戦略：エポックごとに評価
• 混合精度：FP32
• ハードウェア：A100

📚 ドキュメント

評価結果

訓練と検証：

テスト結果：

⚠️ バイアス、リスク、制限事項

• モデルは、訓練データで十分に表現されていない意図に対する性能が低下する可能性があります。
• 英語以外の言語に対して最適化されていません。
• データセットに含まれていない特定のドメインの意図については、追加のファインチューニングが必要になる場合があります。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。