Distilbert Base Multilingual Cased Sentiment 2

🚀 distilbert-base-multilingual-cased-sentiment-2

このモデルは、distilbert-base-multilingual-cased を amazon_reviews_multi データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.6067
• 正解率: 0.7476
• F1値: 0.7476

🚀 クイックスタート

このモデルは、distilbert-base-multilingual-cased を amazon_reviews_multi データセットでファインチューニングしたものです。評価セットでは、損失が 0.6067、正解率が 0.7476、F1値が 0.7476 という結果を達成しています。

🔧 技術詳細

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 0.00024
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード値: 33
• 分散学習タイプ: sagemaker_data_parallel
• デバイス数: 8
• 総学習バッチサイズ: 128
• 総評価バッチサイズ: 128
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: linear
• 学習率スケジューラウォームアップステップ: 500
• エポック数: 3
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.12.3
• Pytorch 1.9.1
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。