Xlm Roberta Ner Japanese

🚀 xlm-roberta-ner-japanese

このモデルは、日本語の固有表現抽出を行うためのモデルです。

このモデルは、[xlm - roberta - base](https://huggingface.co/xlm - roberta - base)（事前学習された多言語対応のRobertaModel）を名前付きエンティティ認識（NER）のトークン分類に合わせて微調整したバージョンです。

このモデルは、Stockmark Incが提供するNERデータセットで微調整されており、そのデータは日本語のWikipedia記事から収集されています。
このデータセットのライセンスについては、[こちら](https://github.com/stockmarkteam/ner - wikipedia - dataset)を参照してください。

各トークンは以下のようにラベル付けされます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import pipeline

model_name = "tsmatz/xlm-roberta-ner-japanese"
classifier = pipeline("token-classification", model=model_name)
result = classifier("鈴井は4月の陽気の良い日に、鈴をつけて北海道のトムラウシへと登った")
print(result)

📚 ドキュメント

トレーニング手順

微調整のソースコードは、こちらからダウンロードできます。

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e - 05
• train_batch_size: 12
• eval_batch_size: 12
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e - 08
• lr_scheduler_type: linear
• num_epochs: 5

トレーニング結果

フレームワークバージョン

• Transformers 4.23.1
• Pytorch 1.12.1+cu102
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。