Blockchainlabs 7B Merged Test2 4 Prune Sft 4bit DPO Orca

🚀 區塊鏈實驗室測試模型項目

本項目旨在打造一個適用於設備端的小型大語言模型（LLM）。該模型源自區塊鏈實驗室測試 2.4 版本的合併模型——alnrg2arg/blockchainlabs_7B_merged_test2_4_prune，具有獨特的構建流程和特點。

🚀 快速開始

本項目的整體流程如下：

1. 模型合併：合併得到基礎模型（7B）。
2. 模型剪枝：對模型進行剪枝以減少參數（實現 50% 的稀疏度）。
3. 剪枝恢復：選擇直接偏好優化（DPO）方法進行剪枝後的恢復。

✨ 主要特性

• 模型剪枝：該模型經過剪枝處理，有效減少了參數數量。
• DPO 優化：採用 DPO 方法進行剪枝後的恢復，提升模型性能。

💻 使用示例

基礎用法

以下是本模型（DPO）所選用的代碼和參數：

from transformers import TrainingArguments, AutoModelForCausalLM
from trl import DPOTrainer

dpo_trainer = DPOTrainer(
    model = model,
   
    ref_model = None,
    args = TrainingArguments(
        per_device_train_batch_size = 8,
        gradient_accumulation_steps = 8,
        warmup_ratio = 0.1,
        num_train_epochs = 3,
        learning_rate = 5e-6,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.0,
        lr_scheduler_type = "linear",
        seed = 42,
        output_dir = "output_DPO",
    ),
    beta = 0.1,
    train_dataset = dataset,
    # eval_dataset = raw_datasets["test"],
    tokenizer = tokenizer,
    max_length = 1024,
    max_prompt_length = 512,
)

以上代碼和參數借鑑自 此鏈接。

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。

📋 模型信息