Llama 2 7b Hf 4bit 64rank

🚀 LoftQの初期化

LoftQ（LoRA微調整感知量子化）は、全精度の事前学習済み重みWが与えられた場合、量子化されたメインネットワークQとLoRAアダプタAおよびBを提供します。本プロジェクトは、大規模言語モデルの量子化プロセスにおけるLoRA微調整との非互換性の問題を解決することを目的としており、特定の量子化メインネットワークとアダプタを提供することで、微調整時のモデルの性能と効率を向上させます。

| 論文 | コード | PEFTの例 |

本モデルLlama-2-7b-hf-4bit-64rankは LLAMA-2-7b から派生しています。メインネットワークはLoftQ/Llama-2-7b-hf-4bit-64rankに保存され、LoRAアダプタはsubfolder='loftq_init'に保存されています。

✨ 主な機能

• 量子化サポート：量子化されたメインネットワークとLoRAアダプタを提供し、モデルの保存と計算リソースの要件を削減します。
• LoRA微調整感知：LoRA微調整に特化した量子化方法で、微調整の効率を向上させます。

💻 使用例

基本的な使用法

以下は、このモデルをロードしてLoRA微調整を行う準備をする例です：

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel

MODEL_ID = "LoftQ/Llama-2-7b-hf-4bit-64rank"

base_model = AutoModelForCausalLM.from_pretrained(MODEL_ID)
peft_model = PeftModel.from_pretrained(
    base_model,
    MODEL_ID,
    subfolder="loftq_init",
    is_trainable=True,
)

# Do training with peft_model ...

高度な使用法

以下は、モデルを GSM8K で微調整した後に推論を行う例です：

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel

MODEL_ID = "LoftQ/Llama-2-7b-hf-4bit-64rank"

base_model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID, 
    torch_dtype=torch.bfloat16,  # you may change it with different models
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,  # bfloat16 is recommended
        bnb_4bit_use_double_quant=False,
        bnb_4bit_quant_type='nf4',
    ),
)
peft_model = PeftModel.from_pretrained(
    base_model,
    MODEL_ID,
    subfolder="gsm8k",
    is_trainable=True,
)

# Do inference with peft_model ...

完全なコードは、Githubリポジトリ を参照してください。

📚 ドキュメント

モデル情報

メインネットワーク

LoRAアダプタ

実験結果

GSM8K と WikiText-2 の教師あり微調整タスクで実験を行いました。

📄 ライセンス

本プロジェクトはMITライセンスを採用しています。

📖 引用

@article{li2023loftq,
  title={Loftq: Lora-fine-tuning-aware quantization for large language models},
  author={Li, Yixiao and Yu, Yifan and Liang, Chen and He, Pengcheng and Karampatziakis, Nikos and Chen, Weizhu and Zhao, Tuo},
  journal={arXiv preprint arXiv:2310.08659},
  year={2023}
}