Bert Uncased Intent Classification

🚀 基於BERT的意圖分類模型

這是一個基於BERT的微調模型，用於意圖分類，能夠將意圖分為82個不同的標籤。它在多語言意圖數據集的合併數據集上進行訓練。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline

model = AutoModelForSequenceClassification.from_pretrained("yeniguno/bert-uncased-intent-classification")
tokenizer = AutoTokenizer.from_pretrained("yeniguno/bert-uncased-intent-classification")

pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)

text = "Play the song, Sam."
prediction = pipe(text)

print(prediction)

# [{'label': 'play_music', 'score': 0.9997674822807312}]

✨ 主要特性

此模型適用於自然語言理解（NLU）任務，可對以下應用的用戶意圖進行分類：

• 語音助手
• 聊天機器人
• 客戶支持自動化
• 對話式人工智能系統

🔧 技術細節

訓練數據

該模型在來自各種來源的意圖數據集組合上進行訓練：

• mteb/amazon_massive_intent
• mteb/mtop_intent
• sonos-nlu-benchmark/snips_built_in_intents
• Mozilla/smart_intent_dataset
• Bhuvaneshwari/intent_classification
• clinc/clinc_oos

每個數據集都經過預處理，意圖標籤被合併為82個唯一類別。

數據集大小：

• 訓練集大小：138228
• 驗證集大小：17279
• 測試集大小：17278

訓練過程

該模型使用以下超參數進行微調：

• 基礎模型：bert-base-uncased
• 學習率：3e-5
• 批量大小：32
• 訓練輪數：4
• 權重衰減：0.01
• 評估策略：每輪評估
• 混合精度：FP32
• 硬件：A100

📚 詳細文檔

評估結果

訓練和驗證：

測試結果：

⚠️ 偏差、風險和侷限性

• 模型在訓練數據中代表性不足的意圖上表現可能會下降。
• 未針對英語以外的語言進行優化。
• 數據集中未包含的特定領域意圖可能需要額外的微調。

📄 許可證

本模型採用Apache-2.0許可證。