Roberta Base Finetuned Abbr

🚀 roberta-base-finetuned-ner

このモデルは、roberta-base を PLOD-filtered データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1148
• 精度 (Precision): 0.9645
• 再現率 (Recall): 0.9583
• F1値: 0.9614
• 正解率 (Accuracy): 0.9576

✨ 主な機能

• このモデルはトークン分類タスクに適用できます。
• データセットとして PLOD-filtered を使用し、略語検出タスクのシーケンスラベリングモデルを構築するのに役立ちます。

📦 インストール

原READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

RoBERTaは、自己教師あり学習方式で大量の英語データコーパスを使って事前学習されたトランスフォーマーモデルです。つまり、人間によるラベル付けが一切ない生のテキストのみを使って、それらのテキストから入力とラベルを自動的に生成するプロセスで事前学習されています。

より具体的には、マスク言語モデリング (MLM) の目的で事前学習されています。文章を入力として受け取り、モデルは入力中の15%の単語をランダムにマスクし、そのマスクされた文章全体をモデルに通して、マスクされた単語を予測する必要があります。これは、通常単語を順番に見る従来の再帰型ニューラルネットワーク (RNN) や、内部的に未来のトークンをマスクするGPTのような自己回帰型モデルとは異なり、文章の双方向的な表現を学習することができます。

このようにして、モデルは英語の内部表現を学習し、それを下流のタスクに役立つ特徴量として抽出することができます。たとえば、ラベル付けされた文章のデータセットがある場合、BERTモデルが生成する特徴量を入力として標準的な分類器を学習させることができます。

意図された用途と制限

詳細情報は未提供です。

学習と評価データ

このモデルは PLOD-Filtered データセットを使ってファインチューニングされています。このデータセットはモデルの学習と評価に使用されます。PLODデータセットはLREC 2022で公開されており、略語検出タスクのシーケンスラベリングモデルを構築するのに役立ちます。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率 (learning_rate): 2e-05
• 学習バッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 8
• 乱数シード (seed): 42
• オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類 (lr_scheduler_type): linear
• エポック数 (num_epochs): 6

学習結果

フレームワークのバージョン

• Transformers 4.18.0
• Pytorch 1.10.1+cu111
• Datasets 2.1.0
• Tokenizers 0.12.1

🔧 技術詳細

モデル情報

評価指標

📄 ライセンス

このモデルはMITライセンスの下で提供されています。