🚀 robbert-v2-dutch-base-finetuned-emotion-arousal
このモデルは、pdelobelle/robbert-v2-dutch-base をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。
- 損失: 0.0230
- 二乗平均平方根誤差 (Rmse): 0.1517
📚 ドキュメント
モデルの説明
詳細情報はありません。
想定される用途と制限
詳細情報はありません。
学習と評価データ
詳細情報はありません。
学習手順
学習ハイパーパラメータ
学習中に以下のハイパーパラメータが使用されました。
- 学習率 (learning_rate): 2e-05
- 学習バッチサイズ (train_batch_size): 32
- 評価バッチサイズ (eval_batch_size): 32
- 乱数シード (seed): 42
- オプティマイザ (optimizer): Adam(ベータ=(0.9,0.999)、イプシロン=1e-08)
- 学習率スケジューラのタイプ (lr_scheduler_type): 線形
- エポック数 (num_epochs): 50
学習結果
学習損失 |
エポック |
ステップ |
検証損失 |
二乗平均平方根誤差 (Rmse) |
0.0581 |
1.0 |
25 |
0.0349 |
0.1868 |
0.0355 |
2.0 |
50 |
0.0340 |
0.1845 |
0.0295 |
3.0 |
75 |
0.0271 |
0.1645 |
0.0288 |
4.0 |
100 |
0.0279 |
0.1670 |
0.0277 |
5.0 |
125 |
0.0316 |
0.1777 |
0.0254 |
6.0 |
150 |
0.0263 |
0.1620 |
0.0193 |
7.0 |
175 |
0.0247 |
0.1571 |
0.0173 |
8.0 |
200 |
0.0304 |
0.1745 |
0.0179 |
9.0 |
225 |
0.0239 |
0.1547 |
0.0149 |
10.0 |
250 |
0.0244 |
0.1563 |
0.0134 |
11.0 |
275 |
0.0248 |
0.1576 |
0.0113 |
12.0 |
300 |
0.0256 |
0.1601 |
0.0112 |
13.0 |
325 |
0.0265 |
0.1627 |
0.0114 |
14.0 |
350 |
0.0299 |
0.1730 |
0.0111 |
15.0 |
375 |
0.0268 |
0.1638 |
0.0098 |
16.0 |
400 |
0.0256 |
0.1599 |
0.009 |
17.0 |
425 |
0.0252 |
0.1588 |
0.0078 |
18.0 |
450 |
0.0256 |
0.1601 |
0.0093 |
19.0 |
475 |
0.0235 |
0.1532 |
0.009 |
20.0 |
500 |
0.0246 |
0.1568 |
0.0084 |
21.0 |
525 |
0.0238 |
0.1543 |
0.0083 |
22.0 |
550 |
0.0255 |
0.1598 |
0.0074 |
23.0 |
575 |
0.0250 |
0.1582 |
0.0079 |
24.0 |
600 |
0.0248 |
0.1574 |
0.0077 |
25.0 |
625 |
0.0261 |
0.1616 |
0.0073 |
26.0 |
650 |
0.0261 |
0.1615 |
0.0071 |
27.0 |
675 |
0.0247 |
0.1571 |
0.0068 |
28.0 |
700 |
0.0254 |
0.1593 |
0.0062 |
29.0 |
725 |
0.0250 |
0.1581 |
0.006 |
30.0 |
750 |
0.0255 |
0.1597 |
0.0066 |
31.0 |
775 |
0.0241 |
0.1553 |
0.0064 |
32.0 |
800 |
0.0242 |
0.1555 |
0.006 |
33.0 |
825 |
0.0240 |
0.1549 |
0.0055 |
34.0 |
850 |
0.0244 |
0.1561 |
0.0055 |
35.0 |
875 |
0.0235 |
0.1533 |
0.0053 |
36.0 |
900 |
0.0241 |
0.1551 |
0.0056 |
37.0 |
925 |
0.0238 |
0.1542 |
0.0052 |
38.0 |
950 |
0.0248 |
0.1576 |
0.0055 |
39.0 |
975 |
0.0247 |
0.1570 |
0.0054 |
40.0 |
1000 |
0.0233 |
0.1526 |
0.0052 |
41.0 |
1025 |
0.0233 |
0.1525 |
0.0048 |
42.0 |
1050 |
0.0231 |
0.1519 |
0.0051 |
43.0 |
1075 |
0.0237 |
0.1538 |
0.0051 |
44.0 |
1100 |
0.0231 |
0.1520 |
0.0053 |
45.0 |
1125 |
0.0234 |
0.1531 |
0.0046 |
46.0 |
1150 |
0.0230 |
0.1517 |
0.0049 |
47.0 |
1175 |
0.0230 |
0.1518 |
0.005 |
48.0 |
1200 |
0.0230 |
0.1518 |
0.0047 |
49.0 |
1225 |
0.0237 |
0.1540 |
0.0047 |
50.0 |
1250 |
0.0230 |
0.1517 |
フレームワークのバージョン
- Transformers 4.42.4
- Pytorch 2.3.1+cu121
- Datasets 2.20.0
- Tokenizers 0.19.1
📄 ライセンス
このモデルはMITライセンスの下で提供されています。