Roberta Large Finetuned Abbr

🚀 roberta-large-finetuned-ner

このモデルは、roberta-large を PLOD-unfiltered データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1393
• 適合率: 0.9663
• 再現率: 0.9627
• F1値: 0.9645
• 正解率: 0.9608

✨ 主な機能

このモデルは、トークン分類タスクに特化しており、PLOD-unfilteredデータセットでの評価で高い精度を示しています。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原文書にコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

RoBERTaは、自己教師あり学習によって大量の英語データコーパスで事前学習されたトランスフォーマーモデルです。つまり、人間によるラベル付けが一切ない生のテキストのみを使用して事前学習され、それらのテキストから入力とラベルを自動的に生成するプロセスが行われます。

より具体的には、マスク言語モデリング（MLM）の目的で事前学習されています。文章を入力として受け取り、モデルは入力の単語の15％をランダムにマスクし、そのマスクされた文章全体をモデルに通して、マスクされた単語を予測する必要があります。これは、通常は単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、内部的に未来のトークンをマスクするGPTのような自己回帰型モデルとは異なり、文章の双方向的な表現を学習することができます。

このようにして、モデルは英語の内部表現を学習し、それを下流のタスクに役立つ特徴量として抽出することができます。たとえば、ラベル付けされた文章のデータセットがある場合、BERTモデルが生成する特徴量を入力として使用して、標準的な分類器をトレーニングすることができます。

想定される用途と制限

詳細情報が必要です。

トレーニングと評価データ

このモデルは、PLOD-Unfiltered データセットを使用してファインチューニングされています。このデータセットは、モデルのトレーニングと評価に使用されます。PLODデータセットはLREC 2022で公開されています。このデータセットは、略語検出タスクのシーケンスラベリングモデルを構築するのに役立ちます。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 4
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 6

トレーニング結果

フレームワークのバージョン

• Transformers 4.18.0
• Pytorch 1.10.1+cu111
• Datasets 2.1.0
• Tokenizers 0.12.1

🔧 技術詳細

原文書に技術的な詳細説明が不十分であるため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

その他の情報