Dziribert

🚀 DziriBERT

DziriBERT是首個專門針對阿爾及利亞方言進行預訓練的基於Transformer的語言模型。它能夠處理使用阿拉伯字符和拉丁字符書寫的阿爾及利亞文本內容。即便它僅在相對較少的數據（約100萬條推文）上進行預訓練，但在阿爾及利亞文本分類數據集上仍取得了新的最優結果。

🚀 快速開始

你可以按照以下步驟使用DziriBERT：

from transformers import BertTokenizer, BertForMaskedLM

tokenizer = BertTokenizer.from_pretrained("alger-ia/dziribert")
model = BertForMaskedLM.from_pretrained("alger-ia/dziribert")

你可以在我們的GitHub倉庫中找到微調腳本：https://github.com/alger-ia/dziribert

✨ 主要特性

• 專門為阿爾及利亞方言設計，能處理使用阿拉伯和拉丁字符書寫的文本內容。
• 在阿爾及利亞文本分類數據集上取得新的最優結果，儘管預訓練數據量相對較少。

📚 詳細文檔

更多信息，請訪問我們的論文：https://arxiv.org/pdf/2109.12346.pdf。

🔧 技術細節

本項目使用的預訓練數據來自社交媒體（Twitter）。因此，掩碼語言建模目標在某些情況下可能會預測出冒犯性詞彙。對這類詞彙進行建模可能是一種優勢（例如，在訓練仇恨言論模型時），也可能是一種劣勢（例如，在生成直接發送給最終用戶的答案時）。根據你的下游任務，特別是在將自動生成的文本返回給最終用戶時，你可能需要過濾掉此類詞彙。

📄 許可證

本項目採用Apache-2.0許可證。

🔍 如何引用

@article{dziribert,
  title={DziriBERT: a Pre-trained Language Model for the Algerian Dialect},
  author={Abdaoui, Amine and Berrimi, Mohamed and Oussalah, Mourad and Moussaoui, Abdelouahab},
  journal={arXiv preprint arXiv:2109.12346},
  year={2021}
}

📞 聯繫我們

如有任何問題、反饋或需求，請聯繫amine.abdaoui.nlp@gmail.com。