Distilroberta Base Ner Conll2003

🚀 distilroberta-base-ner-conll2003

このモデルは、distilroberta-base を conll2003 データセットでファインチューニングしたバージョンです。

評価 F1 スコア: 95,29 (CoNLL-03)
テスト F1 スコア: 90,74 (CoNLL-03)

評価 F1 スコア: 95,29 (CoNLL++ / CoNLL-03 修正版)
テスト F1 スコア: 92,23 (CoNLL++ / CoNLL-03 修正版)

🚀 クイックスタート

このモデルは、トークン分類タスクに特化したモデルで、コンピュータビジョンや自然言語処理の分野で広く利用されています。以下の手順で簡単に使用することができます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("philschmid/distilroberta-base-ner-conll2003")
model = AutoModelForTokenClassification.from_pretrained("philschmid/distilroberta-base-ner-conll2003")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
example = "My name is Philipp and live in Germany"

nlp(example)

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 4.9902376275441704e-05
• トレーニングバッチサイズ: 32
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (ベータ=(0.9,0.999)、イプシロン=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 6.0
• 混合精度トレーニング: ネイティブ AMP

トレーニング結果

CoNNL2003

評価セットでは以下の結果を達成しました。

• 損失: 0.0583
• 精度: 0.9493
• 再現率: 0.9566
• F1: 0.9529
• 正解率: 0.9883

テストセットでは以下の結果を達成しました。

• 損失: 0.2025
• 精度: 0.8999
• 再現率: 0.915
• F1: 0.9074
• 正解率: 0.9741

CoNNL++ / CoNLL2003 修正版

評価セットでは以下の結果を達成しました。

• 損失: 0.0567
• 精度: 0.9493
• 再現率: 0.9566
• F1: 0.9529
• 正解率: 0.9883

テストセットでは以下の結果を達成しました。

• 損失: 0.1359
• 精度: 0.92
• 再現率: 0.9245
• F1: 0.9223
• 正解率: 0.9785

フレームワークバージョン

• Transformers 4.6.1
• Pytorch 1.8.1+cu101
• Datasets 1.6.2
• Tokenizers 0.10.2

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。

📊 メトリクスとデータセット

モデルの結果

• タスク: トークン分類

• データセット: conll2003

• メトリクス:

  • Precision: 0.9492923423001218
  • Recall: 0.9565545901020023
  • F1: 0.9529096297690173
  • Accuracy: 0.9883096560400111

• タスク: トークン分類

• データセット: conll2003 (検証セット)

• メトリクス:

  • Accuracy: 0.9883249976987512
  • Precision: 0.9906910190038265
  • Recall: 0.9916635820847483
  • F1: 0.9911770619696786
  • Loss: 0.05638007074594498