Conserv Fulltext 1 18 22

🚀 conserv_fulltext_model

conserv_fulltext_model は、gpt2 を未知のデータセットでファインチューニングしたモデルです。

🚀 クイックスタート

このモデルは、gpt2 を基に未知のデータセットに対してファインチューニングを行ったバージョンです。

📄 ライセンス

このプロジェクトは MIT ライセンスを採用しています。

🔧 技術詳細

学習ハイパーパラメータ

学習過程では以下のハイパーパラメータが使用されました。

• 学習率（learning_rate）：5e-05
• 学習バッチサイズ（train_batch_size）：2
• 評価バッチサイズ（eval_batch_size）：8
• 乱数シード（seed）：42
• 勾配累積ステップ数（gradient_accumulation_steps）：4
• 総学習バッチサイズ（total_train_batch_size）：8
• オプティマイザ（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e-08
• 学習率スケジューラタイプ（lr_scheduler_type）：線形
• 学習エポック数（num_epochs）：3.0
• 混合精度学習（mixed_precision_training）：Native AMP

フレームワークバージョン

• Transformers：4.15.0
• Pytorch：1.10.1+cu102
• Datasets：1.17.0
• Tokenizers：0.10.3