distilbert-base-uncased__subj__train-8-0オープンソースのテキスト分類モデル - 無料でデプロイ可能、評価セットの正解率は78.9%に達する

Distilbert Base Uncased Subj Train 8 0

SetFitによって開発

distilbert-base-uncasedをベースに微調整されたテキスト分類モデルで、評価セットでの正解率は78.9%に達します。

ダウンロード数 26

リリース時間 : 3/2/2022

モデル概要

このモデルはDistilBERTの基礎モデルを微調整したバージョンで、主にテキスト分類タスクに使用されます。具体的なアプリケーションシナリオは明確に説明されていません。

高効率で軽量

DistilBERTアーキテクチャに基づいており、完全なBERTモデルよりも軽量で効率的です。

高速トレーニング

混合精度トレーニング（ネイティブAMP）を使用してトレーニングプロセスを高速化します。

線形学習率スケジューリング

線形学習率スケジューリング戦略を採用してトレーニングプロセスを最適化します。

テキスト分類

自然言語理解

テキスト分析

感情分析

テキストの感情傾向を分析するために使用できます。

トピック分類

テキストを事前定義されたトピックカテゴリに分類するために使用できます。

トレーニング損失	エポック	ステップ	検証損失	正解率
0.7163	1.0	3	0.6868	0.5
0.6683	2.0	6	0.6804	0.75
0.6375	3.0	9	0.6702	0.75
0.5997	4.0	12	0.6686	0.75
0.5345	5.0	15	0.6720	0.75
0.4673	6.0	18	0.6646	0.75
0.4214	7.0	21	0.6494	0.75
0.3439	8.0	24	0.6313	0.75
0.3157	9.0	27	0.6052	0.75
0.2329	10.0	30	0.5908	0.75
0.1989	11.0	33	0.5768	0.75
0.1581	12.0	36	0.5727	0.75
0.1257	13.0	39	0.5678	0.75
0.1005	14.0	42	0.5518	0.75
0.0836	15.0	45	0.5411	0.75
0.0611	16.0	48	0.5320	0.75
0.0503	17.0	51	0.5299	0.75
0.0407	18.0	54	0.5368	0.75
0.0332	19.0	57	0.5455	0.75
0.0293	20.0	60	0.5525	0.75
0.0254	21.0	63	0.5560	0.75
0.0231	22.0	66	0.5569	0.75
0.0201	23.0	69	0.5572	0.75
0.0179	24.0	72	0.5575	0.75
0.0184	25.0	75	0.5547	0.75
0.0148	26.0	78	0.5493	0.75
0.0149	27.0	81	0.5473	0.75