Xlm Roberta Large Finetuned Conll03 English

🚀 xlm-roberta-large-finetuned-conll03-english

このモデルは、XLM - RoBERTaモデルを英語のconll2003データセットでファインチューニングした多言語言語モデルです。トークン分類タスクに利用でき、名前付きエンティティ認識や品詞タグ付けなどの下流タスクにも適用可能です。

🚀 クイックスタート

以下のコードを使って、このモデルをNERのパイプライン内で直接使用することができます。

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> from transformers import pipeline
>>> tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
>>> model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
>>> classifier = pipeline("ner", model=model, tokenizer=tokenizer)
>>> classifier("Hello I'm Omar and I live in Zürich.")

[{'end': 14,
  'entity': 'I-PER',
  'index': 5,
  'score': 0.9999175,
  'start': 10,
  'word': '▁Omar'},
 {'end': 35,
  'entity': 'I-LOC',
  'index': 10,
  'score': 0.9999906,
  'start': 29,
  'word': '▁Zürich'}]

✨ 主な機能

直接利用

このモデルは言語モデルであり、トークン分類（文章中の一部のトークンにラベルを割り当てる自然言語理解タスク）に使用できます。

下流利用

潜在的な下流のユースケースには、名前付きエンティティ認識（NER）や品詞（PoS）タグ付けが含まれます。トークン分類とその他の潜在的な下流のユースケースについて詳しくは、Hugging Faceのトークン分類ドキュメントを参照してください。

範囲外の利用

このモデルは、人々に敵意を抱かせたり疎外感を与える環境を意図的に作るために使用してはなりません。

📚 ドキュメント

モデルの詳細

モデルの説明

XLM - RoBERTaモデルは、Alexis Conneau、Kartikay Khandelwal、Naman Goyal、Vishrav Chaudhary、Guillaume Wenzek、Francisco Guzmán、Edouard Grave、Myle Ott、Luke Zettlemoyer、Veselin StoyanovによるUnsupervised Cross - lingual Representation Learning at Scaleで提案されました。これは2019年にFacebookがリリースしたRoBERTaモデルに基づいています。これは大規模な多言語言語モデルで、2.5TBのフィルタリングされたCommonCrawlデータで学習されています。このモデルは[XLM - RoBERTa - large](https://huggingface.co/xlm - roberta - large)を英語のconll2003データセットでファインチューニングしたものです。

バイアス、リスク、制限事項

⚠️ 重要提示

このモデルが生成する言語は、一部の人にとって不快または不快感を与える可能性があり、過去や現在のステレオタイプを拡散する可能性があることを読者に知らせる必要があります。

多くの研究が言語モデルのバイアスと公平性の問題を探っています（例えば、[Sheng et al. (2021)](https://aclanthology.org/2021.acl - long.330.pdf) と Bender et al. (2021) を参照）。このモデルに関連するタスクの文脈では、Mishra et al. (2020) が英語のNERシステムの社会的バイアスを調査し、既存のNERシステムには異なる人口統計グループの名前付きエンティティを識別できないという系統的なバイアスがあることを発見しています（ただし、この論文はBERTについては調査していません）。例えば、Mishra et al. (2020) のサンプル文を使用します。

>>> from transformers import pipeline
>>> tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
>>> model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
>>> classifier = pipeline("ner", model=model, tokenizer=tokenizer)
>>> classifier("Alya told Jasmine that Andrew could pay with cash..")
[{'end': 2,
  'entity': 'I-PER',
  'index': 1,
  'score': 0.9997861,
  'start': 0,
  'word': '▁Al'},
 {'end': 4,
  'entity': 'I-PER',
  'index': 2,
  'score': 0.9998591,
  'start': 2,
  'word': 'ya'},
 {'end': 16,
  'entity': 'I-PER',
  'index': 4,
  'score': 0.99995816,
  'start': 10,
  'word': '▁Jasmin'},
 {'end': 17,
  'entity': 'I-PER',
  'index': 5,
  'score': 0.9999584,
  'start': 16,
  'word': 'e'},
 {'end': 29,
  'entity': 'I-PER',
  'index': 7,
  'score': 0.99998057,
  'start': 23,
  'word': '▁Andrew'}]

推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、制限事項を認識する必要があります。

トレーニング

トレーニングデータとトレーニング手順の詳細については、以下のリソースを参照してください。

• [XLM - RoBERTa - largeモデルカード](https://huggingface.co/xlm - roberta - large)
• CoNLL - 2003データカード
• 関連論文

評価

評価の詳細については、関連論文を参照してください。

環境への影響

炭素排出量は、Lacoste et al. (2019)で提示されたMachine Learning Impact calculatorを使用して推定できます。

技術仕様

詳細については、関連論文を参照してください。

引用

BibTeX:

@article{conneau2019unsupervised,
  title={Unsupervised Cross-lingual Representation Learning at Scale},
  author={Conneau, Alexis and Khandelwal, Kartikay and Goyal, Naman and Chaudhary, Vishrav and Wenzek, Guillaume and Guzm{\'a}n, Francisco and Grave, Edouard and Ott, Myle and Zettlemoyer, Luke and Stoyanov, Veselin},
  journal={arXiv preprint arXiv:1911.02116},
  year={2019}
}

APA:

• Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., ... & Stoyanov, V. (2019). Unsupervised cross - lingual representation learning at scale. arXiv preprint arXiv:1911.02116.

モデルカードの作成者

このモデルカードは、Hugging Faceのチームによって作成されました。