Xlm Mlm En 2048

🚀 xlm-mlm-en-2048

xlm-mlm-en-2048是一个基于英文文本，通过掩码语言建模目标进行训练的语言模型。它可用于掩码语言建模任务，在自然语言处理领域有一定的应用价值。

🚀 快速开始

使用以下代码开始使用该模型。更多示例请参阅 Hugging Face XLM文档。

from transformers import XLMTokenizer, XLMModel
import torch

tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-en-2048")
model = XLMModel.from_pretrained("xlm-mlm-en-2048")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

✨ 主要特性

• 该模型基于XLM架构，可进行跨语言语言模型预训练。
• 采用掩码语言建模目标在英文文本上进行训练。

📚 详细文档

模型详情

XLM模型由Guillaume Lample和Alexis Conneau在论文 Cross-lingual Language Model Pretraining 中提出。它是一个基于Transformer架构预训练的模型，可使用因果语言建模（CLM，预测下一个标记）、掩码语言建模（MLM，类似BERT）或翻译语言建模（TLM，将BERT的MLM扩展到多语言输入）目标进行训练。此模型是在英文文本上通过掩码语言建模目标进行训练的。

模型描述

用途

直接使用

该模型是一个语言模型，可用于掩码语言建模任务。

下游使用

要了解更多关于此任务和潜在的下游用途，请参阅Hugging Face的 填充掩码文档 和 Hugging Face多语言推理模型文档。也可参考 相关论文。

超出范围的使用

该模型不应被用于故意为人们创造敌对或排斥性的环境。

偏差、风险和局限性

大量研究已经探讨了语言模型的偏差和公平性问题（例如，参见 Sheng等人 (2021) 和 Bender等人 (2021)）。

建议

用户（包括直接用户和下游用户）应该了解该模型的风险、偏差和局限性。

训练

更多信息请参阅 相关GitHub仓库。

评估

更多信息请参阅 相关GitHub仓库。

环境影响

可以使用 Lacoste等人 (2019) 中提出的 机器学习影响计算器 来估算碳排放。

引用

BibTeX

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

此模型卡片由Hugging Face团队编写。