Language Detection

🚀 語言檢測模型

這是一個基於BERT的語言檢測模型，在hac541309/open-lid-dataset上進行訓練，該數據集包含200種語言的1.21億個句子。此模型針對文本分類任務中的語言識別進行了優化，能夠快速且準確地識別語言。

📦 模型信息

📚 訓練過程

數據集

• 使用了open-lid-dataset。
• 按90%（訓練集）和10%（測試集）的比例進行劃分。

分詞器

使用自定義的BertTokenizerFast，包含[UNK]、[CLS]、[SEP]、[PAD]、[MASK]等特殊標記。

超參數

• 學習率：2e-5
• 批量大小：訓練時為256，測試時為512
• 訓練輪數：1
• 調度器：Cosine

訓練器

利用Hugging Face的Trainer API進行訓練，並使用Weights & Biases進行日誌記錄。

🔧 數據增強

為了提高模型的泛化能力和魯棒性，引入了一種新的文本增強策略，具體包括：

• 隨機去除數字
• 打亂單詞順序以增加多樣性
• 有選擇地去除單詞
• 添加隨機數字以模擬噪聲
• 修改標點符號以處理不同的文本格式

增強效果

引入這些增強方法後，模型的整體性能得到了提升，最新的評估結果如下：

📊 評估

更新後的性能指標

• 準確率：0.9733
• 精確率：0.9735
• 召回率：0.9733
• F1分數：0.9733

詳細評估（約1200萬條文本）

與之前性能的對比

引入文本增強方法後，模型在相同評估數據集上的性能有所提升，準確率從0.9695提高到0.9733，平均精確率、召回率和F1分數也有類似的提升。

💡 總結

新的文本增強技術的引入顯著提高了模型的準確率和魯棒性。這些改進使模型能夠更好地在不同語言腳本上進行泛化，提高了其在實際應用中的可用性。

倉庫中還提供了詳細的按腳本分類報告，以供進一步分析。

💻 使用示例

基礎用法

你可以使用Transformers pipeline快速加載並運行此模型進行推理：

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("alexneakameni/language_detection")
model = AutoModelForSequenceClassification.from_pretrained("alexneakameni/language_detection")

language_detection = pipeline("text-classification", model=model, tokenizer=tokenizer)

text = "Hello world!"
predictions = language_detection(text)
print(predictions)

這將輸出預測的語言代碼或標籤以及相應的置信度分數。

⚠️ 重要提示

模型的性能可能會因文本長度、語言多樣性和特定領域詞彙的不同而有所差異。在關鍵應用中，請始終根據自己的數據集驗證結果。

💡 使用建議

如需更多信息，請參閱倉庫文檔。

感謝使用此模型，歡迎提供反饋和貢獻！

📄 許可證

本項目採用MIT許可證。