Roberta Base Multilingual Sentiment

🚀 clapAI/roberta-base-multilingual-sentiment

このモデルは、vinai/phobert-base をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.7236
• マイクロF1: 31.1953
• マイクロ精度: 31.1953
• マイクロ再現率: 31.1953
• マクロF1: 6.7937
• マクロ精度: 4.4565
• マクロ再現率: 14.2857

🚀 クイックスタート

このモデルは、vinai/phobert-base をベースにしています。評価セットでは、損失、マイクロF1、マクロF1などの指標が報告されています。

📚 ドキュメント

モデルの説明

詳細情報は必要です。

想定される用途と制限

詳細情報は必要です。

学習と評価データ

詳細情報は必要です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 学習バッチサイズ: 512
• 評価バッチサイズ: 512
• シード: 42
• 分散タイプ: マルチGPU
• 勾配累積ステップ: 2
• 総学習バッチサイズ: 1024
• オプティマイザ: betas=(0.9,0.999)、epsilon=1e-08のadamw_torch_fusedを使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラタイプ: コサイン
• 学習率スケジューラウォームアップ比率: 0.01
• エポック数: 5.0
• 混合精度学習: ネイティブAMP

学習結果

フレームワークバージョン

• Transformers 4.50.0
• Pytorch 2.4.0+cu121
• Datasets 2.15.0
• Tokenizers 0.21.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。