Distilroberta Base Ner Wikiann

🚀 distilroberta-base-ner-wikiann

このモデルは、wikiannデータセットでdistilroberta-baseをファインチューニングしたバージョンです。

評価時のF1スコア: 83,78 テスト時のF1スコア: 83,76

🚀 クイックスタート

このモデルの使用方法を以下に示します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("philschmid/distilroberta-base-ner-wikiann")
model = AutoModelForTokenClassification.from_pretrained("philschmid/distilroberta-base-ner-wikiann")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
example = "My name is Philipp and live in Germany"

nlp(example)

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 4.9086903597787154e-05
• トレーニングバッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 16
• シード値 (seed): 42
• オプティマイザー (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラーのタイプ (lr_scheduler_type): linear
• エポック数 (num_epochs): 5.0
• 混合精度トレーニング (mixed_precision_training): Native AMP

トレーニング結果

評価セットでは以下の結果を達成しました。

テストセットでは以下の結果を達成しました。

フレームワークバージョン

• Transformers: 4.6.1
• Pytorch: 1.8.1+cu101
• Datasets: 1.6.2
• Tokenizers: 0.10.2

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。