distilbert-base-uncased-finetuned-nerオープンソースモデル - 軽量級の固有表現認識アプリケーションの第一選択

Home

Distilbert Base Uncased Finetuned Ner

Developed by histinct7002

DistilBERTベースの軽量固有表現抽出モデル、conll2003データセットでファインチューニング済み

シーケンスラベリング

Transformers

Open Source License:Apache-2.0 #固有表現抽出 #高精度NER #軽量BERT

Downloads 15

Release Time : 3/2/2022

Model Overview

このモデルはDistilBERTのファインチューン版で、固有表現抽出(NER)タスク専用に設計されており、テキスト中の人名、地名、組織名などの実体を識別できます。

Model Features

効率的で軽量

DistilBERTアーキテクチャ採用により、標準BERTモデルより小型で高速、かつ高い精度を維持

高精度

conll2003テストセットでF1値0.9366、精度0.9845を達成

高速推論

蒸留モデル設計により、完全版BERTモデルより高速な推論が可能

Model Capabilities

固有表現抽出

テキストトークン分類

実体抽出

Use Cases

情報抽出

ニュース実体抽出

ニューステキストから人名、地名、組織名などの主要な実体を抽出

テキスト中の各種固有表現を正確に識別可能

ドキュメント分析

法律文書やビジネスレポートを処理し、重要な実体情報を抽出

ドキュメント索引や知識グラフの迅速な構築を支援

データ前処理

NLPパイプライン前処理

質問応答システムや検索エンジン向けに実体認識前処理を提供

下流タスクの性能向上に寄与

🚀 distilbert-base-uncased-finetuned-ner

このモデルは、distilbert-base-uncased を conll2003 データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.0727
適合率: 0.9334
再現率: 0.9398
F1値: 0.9366
正解率: 0.9845

🚀 クイックスタート

このモデルは、conll2003 データセットでファインチューニングされた distilbert-base-uncased のバージョンです。評価セットでは、損失、適合率、再現率、F1値、正解率などの指標で良好な結果を示しています。

📚 ドキュメント

モデルの詳細

このモデルは、distilbert-base-uncased を conll2003 データセットでファインチューニングしたものです。

想定される用途と制限

詳細情報は後日提供予定です。

学習と評価データ

詳細情報は後日提供予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

パラメータ	値
学習率	2e-05
学習バッチサイズ	16
評価バッチサイズ	16
シード	42
オプティマイザ	Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラの種類	線形
エポック数	3

学習結果

学習損失	エポック	ステップ	検証損失	適合率	再現率	F1値	正解率
0.0271	1.0	878	0.0656	0.9339	0.9339	0.9339	0.9840
0.0136	2.0	1756	0.0703	0.9268	0.9380	0.9324	0.9838
0.008	3.0	2634	0.0727	0.9334	0.9398	0.9366	0.9845

フレームワークのバージョン

Transformers 4.12.3
Pytorch 1.9.0+cu111
Datasets 1.15.1
Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。

📊 モデル情報

プロパティ	詳細
生成元	Trainerによる自動生成
データセット	conll2003
評価指標	適合率、再現率、F1値、正解率
モデル名	distilbert-base-uncased-finetuned-ner
タスク	トークン分類
評価データセット	conll2003
適合率	0.9334444444444444
再現率	0.9398142969012194
F1値	0.9366185406098445
正解率	0.9845425516704529