Cybonto Distilbert Base Uncased Finetuned Ner Wnut17

C

Cybonto Distilbert Base Uncased Finetuned Ner Wnut17

theResearchNinjaによって開発

このモデルは、wnut_17データセットでdistilbert-base-uncasedをファインチューニングした固有表現認識(NER)モデルで、テキスト内の特定のエンティティカテゴリを識別します。

シーケンスラベリング

オープンソースライセンス:Apache-2.0 #エンティティ認識 #軽量BERT #低リソース最適化

ダウンロード数 18

リリース時間 : 4/15/2022

モデル概要

これはWNUT 17データセットでトレーニングされた固有表現認識タスク用にファインチューニングされたDistilBERTモデルで、テキスト内の特定のエンティティカテゴリを識別できます。

モデル特徴

高効率軽量

DistilBERTアーキテクチャに基づき、標準BERTモデルよりも軽量で効率的でありながら、良好な性能を維持

特定ドメイン最適化

WNUT 17データセットでファインチューニングされ、特定のエンティティ認識タスクに最適化

バランス性能

適合率と再現率のバランスが取れており、F1値は0.5479を達成

モデル能力

固有表現認識

テキストトークン分類

エンティティカテゴリ予測

使用事例

テキスト分析

ソーシャルメディアエンティティ認識

ソーシャルメディアテキスト内の製品、組織などの特定エンティティを識別

F1値0.5479

情報抽出

非構造化テキストから主要なエンティティ情報を抽出

🚀 Cybonto-distilbert-base-uncased-finetuned-ner-Wnut17

このモデルは、wnut_17データセットでdistilbert-base-uncasedをファインチューニングしたものです。評価セットでは以下の結果を達成しています。

損失: 0.5062
精度: 0.6603
再現率: 0.4682
F1値: 0.5479
正解率: 0.9355

📚 ドキュメント

モデル情報

属性	详情
モデルタイプ	Cybonto-distilbert-base-uncased-finetuned-ner-Wnut17
訓練データ	wnut_17
評価指標	精度、再現率、F1値、正解率

モデルの結果

タスク名	タスクタイプ	データセット名	データセットタイプ	精度	再現率	F1値	正解率
トークン分類	token-classification	wnut_17	wnut_17	0.6603139013452914	0.4682034976152623	0.547906976744186	0.9355430668654662

訓練手順

訓練ハイパーパラメータ

訓練時には以下のハイパーパラメータが使用されました。

学習率: 2e-05
訓練バッチサイズ: 32
評価バッチサイズ: 32
シード: 42
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラタイプ: linear
エポック数: 30

訓練結果

訓練損失	エポック	ステップ	検証損失	精度	再現率	F1値	正解率
No log	1.0	107	0.3396	0.6470	0.4269	0.5144	0.9330
No log	2.0	214	0.3475	0.5948	0.4539	0.5149	0.9335
No log	3.0	321	0.3793	0.6613	0.4253	0.5177	0.9332
No log	4.0	428	0.3598	0.6195	0.4944	0.5500	0.9354
0.0409	5.0	535	0.3702	0.5802	0.4571	0.5113	0.9308
0.0409	6.0	642	0.4192	0.6546	0.4459	0.5305	0.9344
0.0409	7.0	749	0.4039	0.6360	0.4610	0.5346	0.9354
0.0409	8.0	856	0.4104	0.6564	0.4587	0.5400	0.9353
0.0409	9.0	963	0.3839	0.6283	0.4944	0.5534	0.9361
0.0132	10.0	1070	0.4331	0.6197	0.4547	0.5245	0.9339
0.0132	11.0	1177	0.4152	0.6196	0.4817	0.5420	0.9355
0.0132	12.0	1284	0.4654	0.6923	0.4507	0.5460	0.9353
0.0132	13.0	1391	0.4869	0.6739	0.4436	0.5350	0.9350
0.0132	14.0	1498	0.4297	0.6424	0.4769	0.5474	0.9353
0.0061	15.0	1605	0.4507	0.6272	0.4626	0.5325	0.9340
0.0061	16.0	1712	0.4410	0.6066	0.4793	0.5355	0.9335
0.0061	17.0	1819	0.4851	0.6639	0.4523	0.5381	0.9351
0.0061	18.0	1926	0.4815	0.6553	0.4563	0.5380	0.9346
0.0035	19.0	2033	0.5188	0.6780	0.4420	0.5351	0.9350
0.0035	20.0	2140	0.4986	0.6770	0.4698	0.5547	0.9363
0.0035	21.0	2247	0.4834	0.6552	0.4714	0.5483	0.9355
0.0035	22.0	2354	0.5094	0.6784	0.4595	0.5479	0.9358
0.0035	23.0	2461	0.4954	0.6583	0.4579	0.5401	0.9354
0.0026	24.0	2568	0.5035	0.6667	0.4595	0.5440	0.9354
0.0026	25.0	2675	0.5000	0.6599	0.4658	0.5461	0.9355
0.0026	26.0	2782	0.4968	0.6697	0.4738	0.5549	0.9357
0.0026	27.0	2889	0.4991	0.6545	0.4714	0.5481	0.9352
0.0026	28.0	2996	0.4936	0.6508	0.4769	0.5505	0.9353
0.0021	29.0	3103	0.5005	0.6535	0.4722	0.5482	0.9353
0.0021	30.0	3210	0.5062	0.6603	0.4682	0.5479	0.9355

フレームワークバージョン

Transformers 4.18.0
Pytorch 1.10.0+cu111
Datasets 2.1.0
Tokenizers 0.12.1

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

大規模言語モデル

Transformers 複数言語対応

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

対話システム

Transformers 英語

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

AIbase

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご

© 2025AIbase