Gpt2 Finetuned Oscar Fr

🚀 GPT-2 をフランス語データセットでファインチューニング

このプロジェクトでは、GPT-2 をフランス語のデータセットでファインチューニングしています。具体的には、トークナイザーのトレーニングとモデルのファインチューニングを行っています。

✨ 主な機能

• フランス語データセットに特化したトークナイザーをトレーニング
• GPT-2 の特定のレイヤーをフランス語データセットでファインチューニング

📦 インストール

原READMEにインストール手順は記載されていないため、このセクションは省略されます。

💻 使用例

原READMEに使用例のコードは記載されていないため、このセクションは省略されます。

📚 ドキュメント

トークナイザー

まず、GPT2トークナイザーのトレーニング方法に従って、OSCARの unshuffled_original_fr フランス語データサブセットでトークナイザーをトレーニングしました（語彙サイズは同じく 50,257）。トレーニング用の Pythonファイル はこちらです。

モデル

GPT-2 の wte と wpe レイヤーを、OSCARの unshuffled_original_fr フランス語データサブセットでファインチューニングしました（他のすべてのレイヤーのパラメータは固定）。自己回帰言語モデルである GPT-2 のファインチューニングには Huggingfaceのコード を使用しましたが、以下のパラメータを変更しました。

- preprocessing_num_workers: 8
- per_device_train_batch_size: 2
- gradient_accumulation_steps: 4
- per_device_eval_batch_size: 2
- eval_accumulation_steps: 4
- eval_steps: 1000 
- evaluation_strategy: "steps"
- max_eval_samples: 5000

セットアップ: 8台のRTX-3090 GPUを使用し、7日間トレーニングを行いました（総トレーニングステップ: 110500、実効的なトレーニングバッチサイズ: 64、バッチあたりのトークン数: 1024）

最終チェックポイント: checkpoint-111500

🔧 技術詳細

原READMEに十分な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で公開されています。