🚀 robbert-v2-dutch-base-finetuned-emotion-valence
該模型是 pdelobelle/robbert-v2-dutch-base 在 None 數據集上的微調版本。它在評估集上取得了以下結果:
- 損失值:0.0317
- 均方根誤差(Rmse):0.1781
🚀 快速開始
本模型是基於預訓練模型 pdelobelle/robbert-v2-dutch-base
微調而來,在情感效價相關任務上有特定的表現。
📚 詳細文檔
模型描述
此模型為 pdelobelle/robbert-v2-dutch-base
的微調版本,不過更多詳細信息有待補充。
預期用途與限制
目前關於該模型的預期用途和限制的詳細信息還需進一步完善。
訓練和評估數據
關於訓練和評估所使用的數據,詳細信息有待後續補充。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率(learning_rate):2e-05
- 訓練批次大小(train_batch_size):32
- 評估批次大小(eval_batch_size):32
- 隨機種子(seed):42
- 優化器(optimizer):Adam,其中 betas=(0.9, 0.999),epsilon=1e-08
- 學習率調度器類型(lr_scheduler_type):線性
- 訓練輪數(num_epochs):50
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
均方根誤差(Rmse) |
0.0813 |
1.0 |
25 |
0.0510 |
0.2258 |
0.0445 |
2.0 |
50 |
0.0381 |
0.1952 |
0.0409 |
3.0 |
75 |
0.0466 |
0.2158 |
0.0308 |
4.0 |
100 |
0.0351 |
0.1874 |
0.0257 |
5.0 |
125 |
0.0393 |
0.1983 |
0.0231 |
6.0 |
150 |
0.0442 |
0.2103 |
0.0203 |
7.0 |
175 |
0.0447 |
0.2115 |
0.0191 |
8.0 |
200 |
0.0372 |
0.1929 |
0.0156 |
9.0 |
225 |
0.0425 |
0.2061 |
0.0154 |
10.0 |
250 |
0.0367 |
0.1917 |
0.0138 |
11.0 |
275 |
0.0365 |
0.1910 |
0.0128 |
12.0 |
300 |
0.0432 |
0.2078 |
0.0137 |
13.0 |
325 |
0.0329 |
0.1814 |
0.0118 |
14.0 |
350 |
0.0327 |
0.1809 |
0.0118 |
15.0 |
375 |
0.0378 |
0.1945 |
0.0109 |
16.0 |
400 |
0.0360 |
0.1897 |
0.0103 |
17.0 |
425 |
0.0325 |
0.1803 |
0.0096 |
18.0 |
450 |
0.0327 |
0.1809 |
0.0091 |
19.0 |
475 |
0.0430 |
0.2072 |
0.0081 |
20.0 |
500 |
0.0345 |
0.1856 |
0.0094 |
21.0 |
525 |
0.0365 |
0.1912 |
0.0084 |
22.0 |
550 |
0.0350 |
0.1870 |
0.0075 |
23.0 |
575 |
0.0324 |
0.1800 |
0.0069 |
24.0 |
600 |
0.0330 |
0.1816 |
0.0087 |
25.0 |
625 |
0.0347 |
0.1863 |
0.0079 |
26.0 |
650 |
0.0297 |
0.1722 |
0.0071 |
27.0 |
675 |
0.0311 |
0.1763 |
0.0076 |
28.0 |
700 |
0.0322 |
0.1795 |
0.0064 |
29.0 |
725 |
0.0338 |
0.1839 |
0.0067 |
30.0 |
750 |
0.0326 |
0.1806 |
0.0061 |
31.0 |
775 |
0.0327 |
0.1808 |
0.0064 |
32.0 |
800 |
0.0339 |
0.1842 |
0.0062 |
33.0 |
825 |
0.0300 |
0.1732 |
0.0062 |
34.0 |
850 |
0.0331 |
0.1819 |
0.0055 |
35.0 |
875 |
0.0318 |
0.1782 |
0.0059 |
36.0 |
900 |
0.0323 |
0.1797 |
0.0056 |
37.0 |
925 |
0.0311 |
0.1765 |
0.0055 |
38.0 |
950 |
0.0310 |
0.1762 |
0.0053 |
39.0 |
975 |
0.0325 |
0.1802 |
0.0056 |
40.0 |
1000 |
0.0310 |
0.1761 |
0.0054 |
41.0 |
1025 |
0.0323 |
0.1799 |
0.0057 |
42.0 |
1050 |
0.0351 |
0.1873 |
0.0053 |
43.0 |
1075 |
0.0347 |
0.1861 |
0.0054 |
44.0 |
1100 |
0.0330 |
0.1816 |
0.0059 |
45.0 |
1125 |
0.0313 |
0.1769 |
0.0053 |
46.0 |
1150 |
0.0312 |
0.1766 |
0.0051 |
47.0 |
1175 |
0.0325 |
0.1804 |
0.0057 |
48.0 |
1200 |
0.0304 |
0.1745 |
0.0048 |
49.0 |
1225 |
0.0317 |
0.1782 |
0.005 |
50.0 |
1250 |
0.0317 |
0.1781 |
框架版本
- Transformers 4.42.4
- Pytorch 2.3.1+cu121
- Datasets 2.20.0
- Tokenizers 0.19.1
📄 許可證
本模型採用 MIT 許可證。
屬性 |
詳情 |
模型類型 |
robbert-v2-dutch-base-finetuned-emotion-valence |
基礎模型 |
pdelobelle/robbert-v2-dutch-base |
許可證 |
MIT |