Zephyr 7b Gemma V0.1

🚀 Zephyr 7B Gemma

Zephyr是一系列旨在作为实用助手的语言模型。Zephyr 7B Gemma是该系列中的第三个模型，它是基于google/gemma-7b微调而来，使用直接偏好优化（DPO）在公开可用的合成数据集上进行训练。你可以通过Alignment Handbook中提供的方法复现该模型的训练过程。

🚀 快速开始

你可以使用🤗 Transformers库中的pipeline()函数运行该模型：

# pip install transformers>=4.38.2
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="HuggingFaceH4/zephyr-7b-gemma-v0.1",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
messages = [
    {
        "role": "system",
        "content": "",  # Model not yet trained for follow this
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]
outputs = pipe(
    messages,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    stop_sequence="<|im_end|>",
)
print(outputs[0]["generated_text"][-1]["content"])
# It is not possible for a human to eat a helicopter in one sitting, as a
# helicopter is a large and inedible machine. Helicopters are made of metal,
# plastic, and other materials that are not meant to be consumed by humans.
# Eating a helicopter would be extremely dangerous and would likely cause
# serious health problems, including choking, suffocation, and poisoning. It is
# important to only eat food that is safe and intended for human consumption.

✨ 主要特性

• 微调优化：基于70亿参数的GPT类模型，在公开可用的合成数据集上进行微调。
• 语言支持：主要支持英语。
• 训练方式：使用DPO方法在合成数据集上训练，可通过Alignment Handbook复现训练。
• 应用场景：可用于聊天场景，可通过demo测试其能力。

📦 安装指南

运行模型前，你需要安装以下依赖：

pip install transformers>=4.38.2
pip install accelerate

📚 详细文档

模型描述

模型来源

• 仓库：https://github.com/huggingface/alignment-handbook
• 演示：https://huggingface.co/spaces/HuggingFaceH4/zephyr-7b-gemma-chat

性能表现

部分指标对比

更多指标对比

预期用途与限制

该模型最初在DEITA 10K数据集上进行微调，该数据集包含ChatGPT生成的各种合成对话。然后，使用🤗 TRL的DPOTrainer在argilla/dpo-mix-7k数据集上进一步对齐，该数据集包含7000个由GPT - 4排名的提示和模型完成结果。因此，该模型可用于聊天，你可以通过demo测试其能力。

偏差、风险和限制

Zephyr 7B Gemma在基于人类反馈的强化学习（RLHF）阶段未针对人类安全偏好进行对齐，也未像ChatGPT那样在响应中进行实时过滤，因此该模型可能会产生有问题的输出（特别是在受到特定提示时）。此外，不清楚训练基础模型（google/gemma-7b）所使用的语料库的大小和组成，但很可能包含网络数据以及书籍和代码等技术来源。可参考StarCoder2模型卡片了解相关示例。

训练和评估数据

该模型是基于HuggingFaceH4/zephyr-7b-gemma-sft-v0.1在argilla/dpo-mix-7k数据集上微调而来。

在评估集上的结果如下：

• 损失：0.4695
• 奖励/选择：-3.3746
• 奖励/拒绝：-4.9715
• 奖励/准确率：0.7188
• 奖励/差距：1.5970
• 对数概率/拒绝：-459.4853
• 对数概率/选择：-429.9115
• 对数几率/拒绝：86.4684
• 对数几率/选择：92.8200

训练超参数

训练期间使用的超参数如下：

• 学习率：5e - 07
• 训练批次大小：2
• 评估批次大小：4
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：8
• 梯度累积步数：8
• 总训练批次大小：128
• 总评估批次大小：32
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：余弦
• 学习率调度器预热比例：0.1
• 训练轮数：2

训练结果

框架版本

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu121
• Datasets 2.14.6
• Tokenizers 0.15.1

引用信息

如果你在工作中发现该模型有用，请考虑引用Zephyr技术报告：

@misc{tunstall2023zephyr,
      title={Zephyr: Direct Distillation of LM Alignment}, 
      author={Lewis Tunstall and Edward Beeching and Nathan Lambert and Nazneen Rajani and Kashif Rasul and Younes Belkada and Shengyi Huang and Leandro von Werra and Clémentine Fourrier and Nathan Habib and Nathan Sarrazin and Omar Sanseviero and Alexander M. Rush and Thomas Wolf},
      year={2023},
      eprint={2310.16944},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

你也可以引用该模型的创建者：

@misc{zephyr_7b_gemma,
  author = {Lewis Tunstall and Philipp Schmid},
  title = {Zephyr 7B Gemma},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/HuggingFaceH4/zephyr-7b-gemma-v0.1}}
}

开放大语言模型排行榜评估结果

详细结果可查看此处

📄 许可证

本模型使用Gemma使用条款，具体条款可查看此处。