Zephyr 7b Gemma V0.1

🚀 Zephyr 7B Gemma

Zephyr是一系列旨在作為實用助手的語言模型。Zephyr 7B Gemma是該系列中的第三個模型，它是基於google/gemma-7b微調而來，使用直接偏好優化（DPO）在公開可用的合成數據集上進行訓練。你可以通過Alignment Handbook中提供的方法復現該模型的訓練過程。

🚀 快速開始

你可以使用🤗 Transformers庫中的pipeline()函數運行該模型：

# pip install transformers>=4.38.2
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="HuggingFaceH4/zephyr-7b-gemma-v0.1",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
messages = [
    {
        "role": "system",
        "content": "",  # Model not yet trained for follow this
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]
outputs = pipe(
    messages,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    stop_sequence="<|im_end|>",
)
print(outputs[0]["generated_text"][-1]["content"])
# It is not possible for a human to eat a helicopter in one sitting, as a
# helicopter is a large and inedible machine. Helicopters are made of metal,
# plastic, and other materials that are not meant to be consumed by humans.
# Eating a helicopter would be extremely dangerous and would likely cause
# serious health problems, including choking, suffocation, and poisoning. It is
# important to only eat food that is safe and intended for human consumption.

✨ 主要特性

• 微調優化：基於70億參數的GPT類模型，在公開可用的合成數據集上進行微調。
• 語言支持：主要支持英語。
• 訓練方式：使用DPO方法在合成數據集上訓練，可通過Alignment Handbook復現訓練。
• 應用場景：可用於聊天場景，可通過demo測試其能力。

📦 安裝指南

運行模型前，你需要安裝以下依賴：

pip install transformers>=4.38.2
pip install accelerate

📚 詳細文檔

模型描述

模型來源

• 倉庫：https://github.com/huggingface/alignment-handbook
• 演示：https://huggingface.co/spaces/HuggingFaceH4/zephyr-7b-gemma-chat

性能表現

部分指標對比

更多指標對比

預期用途與限制

該模型最初在DEITA 10K數據集上進行微調，該數據集包含ChatGPT生成的各種合成對話。然後，使用🤗 TRL的DPOTrainer在argilla/dpo-mix-7k數據集上進一步對齊，該數據集包含7000個由GPT - 4排名的提示和模型完成結果。因此，該模型可用於聊天，你可以通過demo測試其能力。

偏差、風險和限制

Zephyr 7B Gemma在基於人類反饋的強化學習（RLHF）階段未針對人類安全偏好進行對齊，也未像ChatGPT那樣在響應中進行即時過濾，因此該模型可能會產生有問題的輸出（特別是在受到特定提示時）。此外，不清楚訓練基礎模型（google/gemma-7b）所使用的語料庫的大小和組成，但很可能包含網絡數據以及書籍和代碼等技術來源。可參考StarCoder2模型卡片瞭解相關示例。

訓練和評估數據

該模型是基於HuggingFaceH4/zephyr-7b-gemma-sft-v0.1在argilla/dpo-mix-7k數據集上微調而來。

在評估集上的結果如下：

• 損失：0.4695
• 獎勵/選擇：-3.3746
• 獎勵/拒絕：-4.9715
• 獎勵/準確率：0.7188
• 獎勵/差距：1.5970
• 對數概率/拒絕：-459.4853
• 對數概率/選擇：-429.9115
• 對數幾率/拒絕：86.4684
• 對數幾率/選擇：92.8200

訓練超參數

訓練期間使用的超參數如下：

• 學習率：5e - 07
• 訓練批次大小：2
• 評估批次大小：4
• 隨機種子：42
• 分佈式類型：多GPU
• 設備數量：8
• 梯度累積步數：8
• 總訓練批次大小：128
• 總評估批次大小：32
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：餘弦
• 學習率調度器預熱比例：0.1
• 訓練輪數：2

訓練結果

框架版本

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu121
• Datasets 2.14.6
• Tokenizers 0.15.1

引用信息

如果你在工作中發現該模型有用，請考慮引用Zephyr技術報告：

@misc{tunstall2023zephyr,
      title={Zephyr: Direct Distillation of LM Alignment}, 
      author={Lewis Tunstall and Edward Beeching and Nathan Lambert and Nazneen Rajani and Kashif Rasul and Younes Belkada and Shengyi Huang and Leandro von Werra and Clémentine Fourrier and Nathan Habib and Nathan Sarrazin and Omar Sanseviero and Alexander M. Rush and Thomas Wolf},
      year={2023},
      eprint={2310.16944},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

你也可以引用該模型的創建者：

@misc{zephyr_7b_gemma,
  author = {Lewis Tunstall and Philipp Schmid},
  title = {Zephyr 7B Gemma},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/HuggingFaceH4/zephyr-7b-gemma-v0.1}}
}

開放大語言模型排行榜評估結果

詳細結果可查看此處

📄 許可證

本模型使用Gemma使用條款，具體條款可查看此處。