🚀 ko_fin_ner_roberta_small_model
このモデルは、klue/roberta-small をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。
- 損失: 0.2873
- 適合率: 0.7436
- 再現率: 0.8774
- F1値: 0.8050
- 正解率: 0.9374
🚀 クイックスタート
このモデルは、klue/roberta-small をベースに特定のデータセットでファインチューニングされました。評価セットでの各種指標は上記の通りです。
🔧 技術詳細
学習ハイパーパラメータ
学習時には以下のハイパーパラメータが使用されました。
- 学習率: 2e-05
- 学習バッチサイズ: 32
- 評価バッチサイズ: 32
- シード値: 42
- オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
- 学習率スケジューラの種類: linear
- エポック数: 30
学習結果
| 学習損失 |
エポック |
ステップ |
検証損失 |
適合率 |
再現率 |
F1値 |
正解率 |
| 記録なし |
1.0 |
25 |
1.0272 |
0.1215 |
0.1662 |
0.1404 |
0.7237 |
| 記録なし |
2.0 |
50 |
0.7136 |
0.2360 |
0.4033 |
0.2978 |
0.7695 |
| 記録なし |
3.0 |
75 |
0.5289 |
0.3422 |
0.5586 |
0.4244 |
0.8285 |
| 記録なし |
4.0 |
100 |
0.4404 |
0.4184 |
0.6076 |
0.4956 |
0.8730 |
| 記録なし |
5.0 |
125 |
0.3768 |
0.4124 |
0.6540 |
0.5058 |
0.8866 |
| 記録なし |
6.0 |
150 |
0.3484 |
0.4758 |
0.6975 |
0.5657 |
0.8953 |
| 記録なし |
7.0 |
175 |
0.3236 |
0.5477 |
0.7357 |
0.6279 |
0.9039 |
| 記録なし |
8.0 |
200 |
0.3097 |
0.5702 |
0.7520 |
0.6486 |
0.9015 |
| 記録なし |
9.0 |
225 |
0.3168 |
0.6167 |
0.7629 |
0.6821 |
0.9096 |
| 記録なし |
10.0 |
250 |
0.2950 |
0.6176 |
0.8011 |
0.6975 |
0.9145 |
| 記録なし |
11.0 |
275 |
0.2806 |
0.6674 |
0.8147 |
0.7337 |
0.9195 |
| 記録なし |
12.0 |
300 |
0.2749 |
0.6853 |
0.8365 |
0.7534 |
0.9266 |
| 記録なし |
13.0 |
325 |
0.2743 |
0.7002 |
0.8338 |
0.7612 |
0.9292 |
| 記録なし |
14.0 |
350 |
0.2862 |
0.6774 |
0.8011 |
0.7341 |
0.9238 |
| 記録なし |
15.0 |
375 |
0.2703 |
0.6879 |
0.8529 |
0.7616 |
0.9276 |
| 記録なし |
16.0 |
400 |
0.2752 |
0.7036 |
0.8474 |
0.7689 |
0.9293 |
| 記録なし |
17.0 |
425 |
0.2721 |
0.6998 |
0.8447 |
0.7654 |
0.9305 |
| 記録なし |
18.0 |
450 |
0.2831 |
0.6979 |
0.8311 |
0.7587 |
0.9299 |
| 記録なし |
19.0 |
475 |
0.2857 |
0.7252 |
0.8556 |
0.7850 |
0.9319 |
| 0.2786 |
20.0 |
500 |
0.2792 |
0.7260 |
0.8665 |
0.7901 |
0.9319 |
| 0.2786 |
21.0 |
525 |
0.2604 |
0.7355 |
0.8638 |
0.7945 |
0.9349 |
| 0.2786 |
22.0 |
550 |
0.2603 |
0.7092 |
0.8638 |
0.7789 |
0.9359 |
| 0.2786 |
23.0 |
575 |
0.3026 |
0.7227 |
0.8665 |
0.7881 |
0.9342 |
| 0.2786 |
24.0 |
600 |
0.2800 |
0.7431 |
0.8747 |
0.8035 |
0.9375 |
| 0.2786 |
25.0 |
625 |
0.2838 |
0.7283 |
0.8692 |
0.7925 |
0.9361 |
| 0.2786 |
26.0 |
650 |
0.2813 |
0.7339 |
0.8719 |
0.7970 |
0.9371 |
| 0.2786 |
27.0 |
675 |
0.2881 |
0.7407 |
0.8719 |
0.8010 |
0.9358 |
| 0.2786 |
28.0 |
700 |
0.2894 |
0.7379 |
0.8747 |
0.8005 |
0.9362 |
| 0.2786 |
29.0 |
725 |
0.2889 |
0.7483 |
0.8747 |
0.8065 |
0.9368 |
| 0.2786 |
30.0 |
750 |
0.2873 |
0.7436 |
0.8774 |
0.8050 |
0.9374 |
フレームワークのバージョン
- Transformers 4.28.0
- Pytorch 2.0.1+cu118
- Datasets 2.13.1
- Tokenizers 0.13.3
| 属性 |
详情 |
| モデルタイプ |
ko_fin_ner_roberta_small_model |
| ベースモデル |
klue/roberta-small |
| 生成元 |
Trainerによる自動生成 |
| 評価指標 |
適合率、再現率、F1値、正解率 |
| ウィジェット例 |
example01: ナスダック証券取引所で始まったボラティリティ価値状態効果は、投資家に良い機会を提供します。
example02: TMマネーがベルリン証券取引所で米国保険有価証券を取引しています。 |
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
PyTorch
Transformers 複数言語対応