Bert Uncased Intent Classification

🚀 基于BERT的意图分类模型

这是一个基于BERT的微调模型，用于意图分类，能够将意图分为82个不同的标签。它在多语言意图数据集的合并数据集上进行训练。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline

model = AutoModelForSequenceClassification.from_pretrained("yeniguno/bert-uncased-intent-classification")
tokenizer = AutoTokenizer.from_pretrained("yeniguno/bert-uncased-intent-classification")

pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)

text = "Play the song, Sam."
prediction = pipe(text)

print(prediction)

# [{'label': 'play_music', 'score': 0.9997674822807312}]

✨ 主要特性

此模型适用于自然语言理解（NLU）任务，可对以下应用的用户意图进行分类：

• 语音助手
• 聊天机器人
• 客户支持自动化
• 对话式人工智能系统

🔧 技术细节

训练数据

该模型在来自各种来源的意图数据集组合上进行训练：

• mteb/amazon_massive_intent
• mteb/mtop_intent
• sonos-nlu-benchmark/snips_built_in_intents
• Mozilla/smart_intent_dataset
• Bhuvaneshwari/intent_classification
• clinc/clinc_oos

每个数据集都经过预处理，意图标签被合并为82个唯一类别。

数据集大小：

• 训练集大小：138228
• 验证集大小：17279
• 测试集大小：17278

训练过程

该模型使用以下超参数进行微调：

• 基础模型：bert-base-uncased
• 学习率：3e-5
• 批量大小：32
• 训练轮数：4
• 权重衰减：0.01
• 评估策略：每轮评估
• 混合精度：FP32
• 硬件：A100

📚 详细文档

评估结果

训练和验证：

测试结果：

⚠️ 偏差、风险和局限性

• 模型在训练数据中代表性不足的意图上表现可能会下降。
• 未针对英语以外的语言进行优化。
• 数据集中未包含的特定领域意图可能需要额外的微调。

📄 许可证

本模型采用Apache-2.0许可证。