Ruroberta Large Rucola

🚀 RuRoBERTa-largeの微調整モデル

このモデルは、RuCoLAベンチマークにおける言語的許容性分類タスク用に、RuRoBERTa-largeを微調整したバージョンです。

🚀 クイックスタート

このモデルは、RuCoLAベンチマークの言語的許容性分類タスクに特化して微調整されています。

🔧 技術詳細

微調整に使用されたハイパーパラメータは以下の通りです。

• トレーニングエポック数: 5（検証MCCに基づく早期終了あり）
• ピーク学習率: 1e-5、総トレーニング時間の10%を線形ウォームアップ
• 重み減衰: 1e-4
• バッチサイズ: 32
• 乱数シード: 5
• オプティマイザ: torch.optim.AdamW

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で公開されています。