Blockchainlabs 7B Merged Test2 4 Prune Sft 4bit DPO Orca

🚀 ブロックチェーンラボのテストモデル

このプロジェクトは、デバイス上で動作する小型の大規模言語モデル（LLM）を作成することを目的としています。具体的には、ブロックチェーンラボのテスト2.4から派生したモデル alnrg2arg/blockchainlabs_7B_merged_test2_4_prune を利用しています。

🚀 クイックスタート

今回の反復での全体的なパイプラインは以下の通りです。

1. ベースモデル（7B）を作成するためのマージ
2. モデルのパラメータを削減するためのプルーニング（50%の疎度）
3. プルーニングの回復フェーズとして、DPO（Direct Preference Optimization）を選択

このモデルはプルーニングされたモデルです。

💻 使用例

基本的な使用法

from transformers import TrainingArguments, AutoModelForCausalLM
from trl import DPOTrainer

dpo_trainer = DPOTrainer(
    model = model,
   
    ref_model = None,
    args = TrainingArguments(
        per_device_train_batch_size = 8,
        gradient_accumulation_steps = 8,
        warmup_ratio = 0.1,
        num_train_epochs = 3,
        learning_rate = 5e-6,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.0,
        lr_scheduler_type = "linear",
        seed = 42,
        output_dir = "output_DPO",
    ),
    beta = 0.1,
    train_dataset = dataset,
    # eval_dataset = raw_datasets["test"],
    tokenizer = tokenizer,
    max_length = 1024,
    max_prompt_length = 512,
)

このコードとパラメータは、https://colab.research.google.com/drive/1SKrKGV-BZoU4kv5q3g0jtE_OhRgPtrrQ?usp=sharing から借用しています。

📄 ライセンス

このモデルは CC BY-NC 4.0 ライセンスの下で提供されています。