Qwen 2.5 7B DTF

🚀 unsloth/Qwen2.5 - 7B DTF 續寫預訓練模型

本項目是基於 unsloth/Qwen2.5 - 7B 模型的續寫預訓練版本，使用 unsloth 的低秩自適應（LoRA）技術，在 DTF 論壇的帖子數據集上進行了進一步訓練，且適配器已與模型完成合並。

✨ 主要特性

• 基於 unsloth/Qwen2.5 - 7B 模型進行續寫預訓練。
• 使用 LoRA 技術進行高效訓練。
• 適配器已與模型合併，可直接使用。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

預訓練數據

預訓練時，選用了 SubMaroon/DTF_comments_Responses_Counts 數據集中的帖子，通過簡單的 df.unique 方法去重，並篩選出長度在 1000 到 128000 個詞元之間的帖子。訓練數據集大小約為 7500 萬個詞元。

LoRA 超參數

r=32
target_modules=[
    "q_proj", 
    "k_proj", 
    "v_proj", 
    "o_proj",
    "gate_proj",
    "up_proj",
    "down_proj",
]
lora_alpha=16
lora_dropout=0
bias="none"
use_gradient_checkpointing='unsloth'
use_rslora=True
random_state=42

訓練超參數

num_train_epochs=2
train_batch_size=8
gradient_accumulation_steps=16
gradient_checkpointing=False
optim="adamw_8bit"
weight_decay=4e-2
bf16=True
learning_rate=5e-5
lr_scheduler_type="cosine"
packing=True,
seed=42

訓練時間

• 使用 NVidia Tesla A100 80GB 顯卡：約 8.5 小時
• 使用 NVidia RTX 3090ti 顯卡：約 33.5 小時

相關鏈接

• Wandb 訓練記錄
• GitHub 項目地址（待補充）

🔧 技術細節

本項目使用低秩自適應（LoRA）技術對 unsloth/Qwen2.5 - 7B 模型進行續寫預訓練。在數據處理階段，對帖子進行去重和長度篩選，以保證訓練數據的質量。訓練過程中，通過調整 LoRA 和訓練的超參數，在不同顯卡上進行訓練，並記錄了訓練時間。

📄 許可證

本項目採用 Apache - 2.0 許可證。