Xlm Mlm En 2048

🚀 xlm-mlm-en-2048

このモデルは、英語テキストに対してマスク言語モデリングの目的で学習された言語モデルです。Facebook AIの研究者によって開発され、多言語の言語モデル事前学習に貢献します。

🚀 クイックスタート

以下のコードを使用して、このモデルを始めることができます。詳細な例については、Hugging Face XLM docsを参照してください。

from transformers import XLMTokenizer, XLMModel
import torch

tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-en-2048")
model = XLMModel.from_pretrained("xlm-mlm-en-2048")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

✨ 主な機能

直接的な使用

このモデルは言語モデルであり、マスク言語モデリングに使用できます。

下流タスクでの使用

このタスクと潜在的な下流タスクの使用について詳しく知るには、Hugging Faceのfill mask docsとHugging Face Multilingual Models for Inferenceのドキュメントを参照してください。また、関連する論文も参照してください。

想定外の使用

このモデルは、人々に敵意を抱かせたり疎外感を与える環境を意図的に作るために使用してはいけません。

📦 モデル詳細

XLMモデルは、Guillaume LampleとAlexis ConneauによるCross-lingual Language Model Pretrainingで提案されました。これは、因果言語モデリング（CLM）の目的（次のトークン予測）、マスク言語モデリング（MLM）の目的（BERTのような）、または翻訳言語モデリング（TLM）の目的（BERTのMLMを複数の言語入力に拡張）で事前学習されたトランスフォーマーです。このモデルは、英語テキストに対してマスク言語モデリングの目的で学習されています。

モデルの説明

🔧 バイアス、リスク、および制限

多くの研究で、言語モデルのバイアスと公平性の問題が調査されています（例えば、Sheng et al. (2021) と Bender et al. (2021) を参照）。

推奨事項

ユーザー（直接的なユーザーと下流タスクのユーザーの両方）は、このモデルのリスク、バイアス、および制限を認識する必要があります。

📚 訓練

詳細情報が必要です。関連するGitHubリポジトリを参照してください。

📚 評価

詳細情報が必要です。関連するGitHubリポジトリを参照してください。

🌱 環境への影響

炭素排出量は、Lacoste et al. (2019)で提示されたMachine Learning Impact calculatorを使用して推定できます。

📄 引用

BibTeX:

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA:

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

📄 モデルカードの作成者

このモデルカードは、Hugging Faceのチームによって作成されました。