twitter-roberta-base-WNUTオープンソースモデル - 無料でデプロイ可能で、テキストの特定のエンティティカテゴリを高精度で識別

Twitter Roberta Base WNUT

emilysによって開発

Twitter RoBERTaモデルをWNUT 17データセットで微調整した命名エンティティ認識モデルで、テキスト中の特定のエンティティカテゴリを識別するために使用されます。

ダウンロード数 16

リリース時間 : 7/2/2022

モデル概要

このモデルは、Twitterテキストで事前学習されたRoBERTaモデルの微調整バージョンで、特に命名エンティティ認識タスクに特化しており、WNUT 17データセットで良好な性能を発揮します。

Twitterテキストの最適化

Twitterテキストで事前学習されているため、ソーシャルメディアテキストをより良く理解する能力があります。

高い正解率

WNUT 17テストセットで96.4%の正解率を達成しました。

細粒度のエンティティ認識

テキスト中の複数のエンティティタイプを識別することができます。

命名エンティティ認識

テキストタグ分類

ソーシャルメディアテキスト処理

ソーシャルメディア分析

ユーザーの言及認識

Twitterテキストで言及されているユーザーや製品などのエンティティを識別します。

F1値が0.6654に達しました。

新興エンティティの検出

ソーシャルメディア上で出現する新しいエンティティやトピックを検出します。

情報抽出

非構造化テキストからのエンティティ抽出

ニュースやソーシャルメディアなどのテキストから重要なエンティティ情報を抽出します。

このモデルは、wnut_17データセットでcardiffnlp/twitter-roberta-baseをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

トレーニング中に以下のハイパーパラメータが使用されました。

トレーニング損失	エポック	ステップ	検証損失	精度	再現率	F1値	正解率
ログなし	0.46	25	0.3912	0.0	0.0	0.0	0.9205
ログなし	0.93	50	0.2847	0.25	0.0024	0.0047	0.9209
ログなし	1.39	75	0.2449	0.5451	0.3469	0.4240	0.9426
ログなし	1.85	100	0.1946	0.6517	0.4856	0.5565	0.9492
ログなし	2.31	125	0.1851	0.6921	0.5646	0.6219	0.9581
ログなし	2.78	150	0.1672	0.6867	0.5873	0.6331	0.9594
ログなし	3.24	175	0.1675	0.6787	0.5837	0.6277	0.9615
ログなし	3.7	200	0.1644	0.6765	0.6328	0.6539	0.9638
ログなし	4.17	225	0.1672	0.6997	0.6495	0.6737	0.9640
ログなし	4.63	250	0.1652	0.6915	0.6435	0.6667	0.9649
ログなし	5.09	275	0.1882	0.7067	0.6053	0.6521	0.9629
ログなし	5.56	300	0.1783	0.7128	0.6352	0.6717	0.9645
ログなし	6.02	325	0.1813	0.7011	0.6172	0.6565	0.9639
ログなし	6.48	350	0.1804	0.7139	0.6447	0.6776	0.9647
ログなし	6.94	375	0.1902	0.7218	0.6268	0.6709	0.9641
ログなし	7.41	400	0.1883	0.7106	0.6316	0.6688	0.9641
ログなし	7.87	425	0.1862	0.7067	0.6340	0.6683	0.9643
ログなし	8.33	450	0.1882	0.7053	0.6328	0.6671	0.9639
ログなし	8.8	475	0.1919	0.7055	0.6304	0.6658	0.9638
0.1175	9.26	500	0.1938	0.7045	0.6304	0.6654	0.9640
0.1175	9.72	525	0.1880	0.7025	0.6411	0.6704	0.9646