Gpt2 Finetuned Oscar Fr

🚀 GPT - 2在法語數據集上微調

本項目是在法語數據集上對GPT - 2進行微調，解決了法語語境下文本生成的特定需求，提升了模型在法語場景中的表現和適用性。

🚀 快速開始

本項目主要包含分詞器訓練和模型微調兩部分，下面為你詳細介紹。

✨ 主要特性

• 語言標籤：支持法語（fr）。
• 功能標籤：可用於文本生成。
• 數據集：基於OSCAR數據集進行訓練。
• 許可證：採用MIT許可證。

📦 安裝指南

文檔未提及安裝步驟，暫不提供相關內容。

💻 使用示例

文檔未提供代碼示例，暫不提供相關內容。

📚 詳細文檔

🔍 分詞器

我們首先按照GPT2分詞器的訓練方式，在OSCAR的unshuffled_original_fr法語數據子集上訓練了一個分詞器（詞彙表大小同樣為50,257）。以下是訓練所用的Python文件。

🧠 模型

我們在OSCAR的unshuffled_original_fr法語數據子集上對GPT - 2的wte和wpe層進行了微調（同時凍結了其他所有層的參數）。我們使用Huggingface的代碼來微調因果語言模型GPT - 2，但更改了以下參數：

- preprocessing_num_workers: 8
- per_device_train_batch_size: 2
- gradient_accumulation_steps: 4
- per_device_eval_batch_size: 2
- eval_accumulation_steps: 4
- eval_steps: 1000 
- evaluation_strategy: "steps"
- max_eval_samples: 5000

訓練設置：使用8塊RTX - 3090 GPU，訓練了七天（總訓練步數：110500，有效訓練批次大小：64，每批次的令牌數：1024）。

最終檢查點：checkpoint - 111500

🔧 技術細節

本項目的技術細節主要圍繞分詞器訓練和模型微調展開。在分詞器訓練方面，遵循GPT2分詞器的訓練方式，確保詞彙表大小一致，為後續模型訓練提供合適的輸入。在模型微調時，僅對wte和wpe層進行調整，同時凍結其他層的參數，減少計算量和過擬合風險。通過更改Huggingface代碼中的訓練參數，如批次大小、評估步數等，優化模型在法語數據集上的訓練效果。

📄 許可證

本項目採用MIT許可證。