🚀 website_classification
このモデルは、不明なデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。
- 損失: 0.2292
- 正解率: 0.9504
- F1値: 0.9489
- 適合率: 0.9510
- 再現率: 0.9504
🚀 クイックスタート
このモデルは、ウェブサイト分類タスクに使用できます。詳細な使用方法については、以下のセクションを参照してください。
📚 ドキュメント
モデルの説明
このモデルは、distilbert-base-uncasedをベースにしています。ただし、詳細な情報はまだ必要です。
想定される用途と制限
このモデルの想定される用途と制限に関する詳細情報はまだ必要です。
学習と評価データ
学習と評価に使用されたデータに関する詳細情報はまだ必要です。
学習手順
学習ハイパーパラメータ
学習中に以下のハイパーパラメータが使用されました。
- 学習率: 2e-05
- 学習バッチサイズ: 16
- 評価バッチサイズ: 16
- 乱数シード: 42
- オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
- 学習率スケジューラの種類: 線形
- エポック数: 30
- 混合精度学習: Native AMP
学習結果
| 学習損失 |
エポック |
ステップ |
検証損失 |
正解率 |
F1値 |
適合率 |
再現率 |
| 2.404 |
1.0 |
71 |
1.7840 |
0.8865 |
0.8776 |
0.8785 |
0.8865 |
| 1.295 |
2.0 |
142 |
0.8539 |
0.8972 |
0.8871 |
0.8803 |
0.8972 |
| 0.6186 |
3.0 |
213 |
0.4818 |
0.9326 |
0.9263 |
0.9266 |
0.9326 |
| 0.3103 |
4.0 |
284 |
0.3101 |
0.9397 |
0.9343 |
0.9324 |
0.9397 |
| 0.1618 |
5.0 |
355 |
0.3001 |
0.9291 |
0.9251 |
0.9278 |
0.9291 |
| 0.0893 |
6.0 |
426 |
0.2743 |
0.9291 |
0.9251 |
0.9276 |
0.9291 |
| 0.0547 |
7.0 |
497 |
0.2605 |
0.9255 |
0.9236 |
0.9334 |
0.9255 |
| 0.028 |
8.0 |
568 |
0.2167 |
0.9397 |
0.9375 |
0.9403 |
0.9397 |
| 0.0186 |
9.0 |
639 |
0.2096 |
0.9468 |
0.9467 |
0.9499 |
0.9468 |
| 0.0134 |
10.0 |
710 |
0.2219 |
0.9362 |
0.9354 |
0.9402 |
0.9362 |
| 0.0107 |
11.0 |
781 |
0.2124 |
0.9468 |
0.9466 |
0.9507 |
0.9468 |
| 0.0087 |
12.0 |
852 |
0.2119 |
0.9504 |
0.9497 |
0.9534 |
0.9504 |
| 0.0075 |
13.0 |
923 |
0.2141 |
0.9504 |
0.9497 |
0.9534 |
0.9504 |
| 0.0066 |
14.0 |
994 |
0.2198 |
0.9433 |
0.9415 |
0.9442 |
0.9433 |
| 0.0058 |
15.0 |
1065 |
0.2188 |
0.9468 |
0.9454 |
0.9474 |
0.9468 |
| 0.0052 |
16.0 |
1136 |
0.2181 |
0.9468 |
0.9454 |
0.9474 |
0.9468 |
| 0.0047 |
17.0 |
1207 |
0.2220 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0044 |
18.0 |
1278 |
0.2232 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.004 |
19.0 |
1349 |
0.2216 |
0.9539 |
0.9535 |
0.9565 |
0.9539 |
| 0.0037 |
20.0 |
1420 |
0.2251 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0036 |
21.0 |
1491 |
0.2275 |
0.9468 |
0.9451 |
0.9470 |
0.9468 |
| 0.0034 |
22.0 |
1562 |
0.2264 |
0.9539 |
0.9535 |
0.9565 |
0.9539 |
| 0.0032 |
23.0 |
1633 |
0.2283 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.003 |
24.0 |
1704 |
0.2299 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0029 |
25.0 |
1775 |
0.2282 |
0.9468 |
0.9451 |
0.9470 |
0.9468 |
| 0.0029 |
26.0 |
1846 |
0.2288 |
0.9468 |
0.9451 |
0.9470 |
0.9468 |
| 0.0028 |
27.0 |
1917 |
0.2286 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0027 |
28.0 |
1988 |
0.2293 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0026 |
29.0 |
2059 |
0.2291 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
| 0.0026 |
30.0 |
2130 |
0.2292 |
0.9504 |
0.9489 |
0.9510 |
0.9504 |
フレームワークのバージョン
- Transformers 4.26.0
- Pytorch 1.13.1+cu116
- Datasets 2.9.0
- Tokenizers 0.13.2
📄 ライセンス
このモデルは、Apache-2.0ライセンスの下で提供されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応