Language Detection

🚀 语言检测模型

这是一个基于BERT的语言检测模型，在hac541309/open-lid-dataset上进行训练，该数据集包含200种语言的1.21亿个句子。此模型针对文本分类任务中的语言识别进行了优化，能够快速且准确地识别语言。

📦 模型信息

📚 训练过程

数据集

• 使用了open-lid-dataset。
• 按90%（训练集）和10%（测试集）的比例进行划分。

分词器

使用自定义的BertTokenizerFast，包含[UNK]、[CLS]、[SEP]、[PAD]、[MASK]等特殊标记。

超参数

• 学习率：2e-5
• 批量大小：训练时为256，测试时为512
• 训练轮数：1
• 调度器：Cosine

训练器

利用Hugging Face的Trainer API进行训练，并使用Weights & Biases进行日志记录。

🔧 数据增强

为了提高模型的泛化能力和鲁棒性，引入了一种新的文本增强策略，具体包括：

• 随机去除数字
• 打乱单词顺序以增加多样性
• 有选择地去除单词
• 添加随机数字以模拟噪声
• 修改标点符号以处理不同的文本格式

增强效果

引入这些增强方法后，模型的整体性能得到了提升，最新的评估结果如下：

📊 评估

更新后的性能指标

• 准确率：0.9733
• 精确率：0.9735
• 召回率：0.9733
• F1分数：0.9733

详细评估（约1200万条文本）

与之前性能的对比

引入文本增强方法后，模型在相同评估数据集上的性能有所提升，准确率从0.9695提高到0.9733，平均精确率、召回率和F1分数也有类似的提升。

💡 总结

新的文本增强技术的引入显著提高了模型的准确率和鲁棒性。这些改进使模型能够更好地在不同语言脚本上进行泛化，提高了其在实际应用中的可用性。

仓库中还提供了详细的按脚本分类报告，以供进一步分析。

💻 使用示例

基础用法

你可以使用Transformers pipeline快速加载并运行此模型进行推理：

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("alexneakameni/language_detection")
model = AutoModelForSequenceClassification.from_pretrained("alexneakameni/language_detection")

language_detection = pipeline("text-classification", model=model, tokenizer=tokenizer)

text = "Hello world!"
predictions = language_detection(text)
print(predictions)

这将输出预测的语言代码或标签以及相应的置信度分数。

⚠️ 重要提示

模型的性能可能会因文本长度、语言多样性和特定领域词汇的不同而有所差异。在关键应用中，请始终根据自己的数据集验证结果。

💡 使用建议

如需更多信息，请参阅仓库文档。

感谢使用此模型，欢迎提供反馈和贡献！

📄 许可证

本项目采用MIT许可证。