Ruroberta Large Rucola

🚀 微調版RuRoBERTa-large模型

這是一個針對RuCoLA基準測試中的語言可接受性分類任務，對RuRoBERTa-large進行微調後的版本。該模型可有效提升在語言可接受性分類任務上的性能。

✨ 主要特性

• 基於強大的RuRoBERTa-large模型進行微調，在RuCoLA基準測試的語言可接受性分類任務上表現出色。
• 明確的微調超參數設置，保證模型訓練的穩定性和有效性。

📚 詳細文檔

微調超參數

微調時使用的超參數如下：

• 訓練輪數：5輪（基於驗證集的MCC指標進行提前停止）
• 峰值學習率：1e - 5，在總訓練時間的10%內進行線性預熱
• 權重衰減：1e - 4
• 批次大小：32
• 隨機種子：5
• 優化器：torch.optim.AdamW

📄 許可證

本項目採用Apache - 2.0許可證。