🚀 多言語GoEmotionsチャットボットタスクレポート
このレポジトリ/スペースには、GoEmotionsデータセットに基づく多言語感情分類モデルとチャットボットに関する詳細が含まれています。
🚀 クイックスタート
この多言語感情分類モデルは、bert-base-multilingual-cased を multilingual_go_emotions データセットでファインチューニングして、マルチラベル分類を行うように訓練されています。
✨ 主な機能
- 複数の言語（アラビア語、英語、フランス語、スペイン語、オランダ語、トルコ語）に対応した感情分類が可能です。
- 複数の評価指標（精度、F1スコア、再現率など）でモデルの性能を評価できます。
📚 ドキュメント
🔗 リンク
📊 テストセットでの性能
以下の表は、ファインチューニングされたモデルのテストセットでの性能指標を感情カテゴリ別に示しています。
| インデックス |
精度 |
適合率 |
再現率 |
F1スコア |
MCC |
サポート |
閾値 |
| admiration |
0.942 |
0.652 |
0.684 |
0.667 |
0.636 |
2790 |
0.4 |
| amusement |
0.973 |
0.735 |
0.817 |
0.774 |
0.76 |
1866 |
0.35 |
| anger |
0.96 |
0.411 |
0.364 |
0.386 |
0.366 |
1128 |
0.35 |
| annoyance |
0.896 |
0.246 |
0.481 |
0.325 |
0.293 |
1704 |
0.15 |
| approval |
0.91 |
0.329 |
0.383 |
0.354 |
0.307 |
2094 |
0.2 |
| caring |
0.958 |
0.285 |
0.46 |
0.352 |
0.341 |
816 |
0.15 |
| confusion |
0.965 |
0.444 |
0.401 |
0.421 |
0.404 |
1020 |
0.25 |
| curiosity |
0.935 |
0.433 |
0.74 |
0.546 |
0.535 |
1734 |
0.25 |
| desire |
0.984 |
0.404 |
0.534 |
0.46 |
0.457 |
414 |
0.25 |
| disappointment |
0.942 |
0.224 |
0.345 |
0.272 |
0.249 |
1014 |
0.15 |
| disapproval |
0.935 |
0.306 |
0.413 |
0.352 |
0.322 |
1398 |
0.25 |
| disgust |
0.975 |
0.343 |
0.418 |
0.377 |
0.366 |
600 |
0.15 |
| embarrassment |
0.99 |
0.28 |
0.242 |
0.26 |
0.255 |
240 |
0.1 |
| excitement |
0.973 |
0.344 |
0.425 |
0.38 |
0.369 |
624 |
0.15 |
| fear |
0.987 |
0.599 |
0.522 |
0.558 |
0.553 |
498 |
0.35 |
| gratitude |
0.989 |
0.924 |
0.902 |
0.913 |
0.907 |
2004 |
0.4 |
| grief |
0.999 |
0 |
0 |
0 |
0 |
36 |
0.05 |
| joy |
0.965 |
0.454 |
0.532 |
0.49 |
0.474 |
1032 |
0.25 |
| love |
0.973 |
0.731 |
0.829 |
0.777 |
0.765 |
1812 |
0.35 |
| nervousness |
0.996 |
0.385 |
0.25 |
0.303 |
0.308 |
120 |
0.1 |
| optimism |
0.973 |
0.588 |
0.525 |
0.555 |
0.542 |
1062 |
0.25 |
| pride |
0.997 |
0 |
0 |
0 |
0 |
84 |
0.05 |
| realization |
0.962 |
0.202 |
0.189 |
0.195 |
0.176 |
792 |
0.15 |
| relief |
0.996 |
0 |
0 |
0 |
0 |
138 |
0.05 |
| remorse |
0.988 |
0.597 |
0.808 |
0.687 |
0.689 |
516 |
0.15 |
| sadness |
0.97 |
0.548 |
0.434 |
0.484 |
0.473 |
1062 |
0.4 |
| surprise |
0.974 |
0.487 |
0.569 |
0.524 |
0.513 |
828 |
0.3 |
| neutral |
0.726 |
0.551 |
0.818 |
0.658 |
0.468 |
10524 |
0.2 |
📈 ファインチューニング時の性能
以下のプロットは、ファインチューニング過程でのモデルの性能をエポックごとに可視化したものです。
損失曲線（訓練データ vs. 検証データ）
精度曲線（訓練データ vs. 検証データ）
F1スコア曲線（訓練データ vs. 検証データ）
📋 メタ情報
| 属性 |
詳情 |
| データセット |
AnasAlokla/multilingual_go_emotions |
| 言語 |
アラビア語、英語、フランス語、スペイン語、オランダ語、トルコ語 |
| 評価指標 |
精度、F1スコア、再現率 |
| ベースモデル |
google-bert/bert-base-multilingual-cased |
| パイプラインタグ |
テキスト分類 |
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応