Xlm Mlm Enro 1024

🚀 xlm-mlm-enro-1024

xlm-mlm-enro-1024 是一個基於Transformer架構，使用掩碼語言建模（MLM）目標進行預訓練的模型，專為英語 - 羅馬尼亞語設計。該模型可用於掩碼語言建模任務。

🚀 快速開始

本模型使用語言嵌入來指定推理時使用的語言。有關更多詳細信息，請參閱 Hugging Face多語言推理模型文檔。

✨ 主要特性

• 跨語言預訓練：基於跨語言語言模型預訓練方法，能夠處理英語和羅馬尼亞語兩種語言。
• 掩碼語言建模：可用於掩碼語言建模任務，預測被掩碼的單詞。

📚 詳細文檔

模型詳情

XLM模型由Guillaume Lample和Alexis Conneau在論文 Cross-lingual Language Model Pretraining 中提出。xlm-mlm-enro-1024 是一個使用掩碼語言建模（MLM）目標為英語 - 羅馬尼亞語預訓練的Transformer模型。

模型描述

用途

直接使用

該模型是一個語言模型，可用於掩碼語言建模。

下游使用

要了解有關此任務和潛在下游用途的更多信息，請參閱Hugging Face的 填充掩碼文檔 和 Hugging Face多語言推理模型文檔。

超出範圍的使用

該模型不應被用於故意為人們創造敵對或排斥性的環境。

偏差、風險和侷限性

大量研究已經探討了語言模型的偏差和公平性問題（例如，參見 Sheng等人（2021） 和 Bender等人（2021））。

建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。

訓練

模型開發者表示：

在所有實驗中，我們使用具有1024個隱藏單元、8個頭、GELU激活函數（Hendrycks和Gimpel，2016）、0.1的丟棄率和學習位置嵌入的Transformer架構。我們使用Adam優化器（Kingma和Ba，2014）、線性預熱（Vaswani等人，2017）和從10^−4到5.10^−4變化的學習率來訓練我們的模型。

有關訓練數據和訓練過程的鏈接、引用和更多詳細信息，請參閱 相關論文。

模型開發者還表示：

如果您使用這些模型，您應該使用相同的數據預處理 / BPE代碼來預處理您的數據。

有關更多詳細信息，請參閱相關的 GitHub倉庫。

評估

測試數據、因素和指標

模型開發者使用 BLEU指標 在 WMT'16英語 - 羅馬尼亞語 數據集上對模型進行了評估。有關測試數據、因素和指標的更多詳細信息，請參閱 相關論文。

結果

有關xlm-mlm-enro-1024的結果，請參閱 相關論文 的表1 - 3。

環境影響

可以使用 Lacoste等人（2019） 中提出的 機器學習影響計算器 來估算碳排放。

技術規格

模型開發者表示：

我們在PyTorch（Paszke等人，2017）中實現了所有模型，並在64個Volta GPU上進行語言建模任務的訓練，在8個GPU上進行機器翻譯任務的訓練。我們使用float16操作來加速訓練並減少模型的內存使用。

有關更多詳細信息，請參閱 相關論文。

引用

BibTeX

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

此模型卡片由Hugging Face團隊編寫。

📄 許可證

本模型使用的許可證為 cc-by-nc-4.0。