Xlm Mlm Enro 1024

🚀 xlm-mlm-enro-1024

xlm-mlm-enro-1024 是一个基于Transformer架构，使用掩码语言建模（MLM）目标进行预训练的模型，专为英语 - 罗马尼亚语设计。该模型可用于掩码语言建模任务。

🚀 快速开始

本模型使用语言嵌入来指定推理时使用的语言。有关更多详细信息，请参阅 Hugging Face多语言推理模型文档。

✨ 主要特性

• 跨语言预训练：基于跨语言语言模型预训练方法，能够处理英语和罗马尼亚语两种语言。
• 掩码语言建模：可用于掩码语言建模任务，预测被掩码的单词。

📚 详细文档

模型详情

XLM模型由Guillaume Lample和Alexis Conneau在论文 Cross-lingual Language Model Pretraining 中提出。xlm-mlm-enro-1024 是一个使用掩码语言建模（MLM）目标为英语 - 罗马尼亚语预训练的Transformer模型。

模型描述

用途

直接使用

该模型是一个语言模型，可用于掩码语言建模。

下游使用

要了解有关此任务和潜在下游用途的更多信息，请参阅Hugging Face的 填充掩码文档 和 Hugging Face多语言推理模型文档。

超出范围的使用

该模型不应被用于故意为人们创造敌对或排斥性的环境。

偏差、风险和局限性

大量研究已经探讨了语言模型的偏差和公平性问题（例如，参见 Sheng等人（2021） 和 Bender等人（2021））。

建议

用户（直接用户和下游用户）应了解该模型的风险、偏差和局限性。

训练

模型开发者表示：

在所有实验中，我们使用具有1024个隐藏单元、8个头、GELU激活函数（Hendrycks和Gimpel，2016）、0.1的丢弃率和学习位置嵌入的Transformer架构。我们使用Adam优化器（Kingma和Ba，2014）、线性预热（Vaswani等人，2017）和从10^−4到5.10^−4变化的学习率来训练我们的模型。

有关训练数据和训练过程的链接、引用和更多详细信息，请参阅 相关论文。

模型开发者还表示：

如果您使用这些模型，您应该使用相同的数据预处理 / BPE代码来预处理您的数据。

有关更多详细信息，请参阅相关的 GitHub仓库。

评估

测试数据、因素和指标

模型开发者使用 BLEU指标 在 WMT'16英语 - 罗马尼亚语 数据集上对模型进行了评估。有关测试数据、因素和指标的更多详细信息，请参阅 相关论文。

结果

有关xlm-mlm-enro-1024的结果，请参阅 相关论文 的表1 - 3。

环境影响

可以使用 Lacoste等人（2019） 中提出的 机器学习影响计算器 来估算碳排放。

技术规格

模型开发者表示：

我们在PyTorch（Paszke等人，2017）中实现了所有模型，并在64个Volta GPU上进行语言建模任务的训练，在8个GPU上进行机器翻译任务的训练。我们使用float16操作来加速训练并减少模型的内存使用。

有关更多详细信息，请参阅 相关论文。

引用

BibTeX

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

此模型卡片由Hugging Face团队编写。

📄 许可证

本模型使用的许可证为 cc-by-nc-4.0。