Xwin LM 13B V0.2

🚀 Xwin-LM：强大、稳定且可复现的大语言模型对齐方案

Xwin-LM致力于开发并开源大语言模型的对齐技术，涵盖监督微调（SFT）、奖励模型（RM）、拒绝采样、基于人类反馈的强化学习（RLHF）等。我们基于Llama2基础模型的首个版本，在AlpacaEval评测中排名第一，值得一提的是，这是首个在该评测中超越GPT - 4的模型。本项目将持续更新。

🚀 快速开始

本项目旨在开发和开源大语言模型的对齐技术，你可以通过以下内容了解模型的最新消息、性能表现、使用示例等信息。

✨ 主要特性

• 高性能表现：在AlpacaEval评测中，Xwin-LM多个版本的模型在与Text - Davinci - 003、ChatGPT和GPT - 4的对比中取得了优异的胜率，部分模型超越了GPT - 4。
• 多版本支持：提供7B、13B和70B等不同规模的模型版本，满足不同场景的需求。
• 多轮对话支持：模型采用了Vicuna的提示格式，支持多轮对话。

📢 最新消息

• 💥 [2023年10月12日] Xwin-LM-7B-V0.2和Xwin-LM-13B-V0.2发布，改进了对比数据和RL训练（即PPO）。它们相对于GPT - 4的胜率显著提高，分别达到了59.83%（7B模型）和70.36%（13B模型）。70B模型即将发布。
• 💥 [2023年9月] 我们发布了Xwin-LM-70B-V0.1，该模型在AlpacaEval评测中对Davinci - 003的胜率达到了95.57%，在AlpacaEval中排名第一。这是首个在AlpacaEval上超越GPT - 4的模型。此外，它相对于GPT - 4的胜率为60.61%。
• 🔍 [2023年9月] RLHF在Xwin-LM - V0.1版本的出色表现中起到了关键作用！
• 💥 [2023年9月] 我们发布了Xwin-LM-13B-V0.1，该模型在AlpacaEval上的胜率达到了91.76%，在所有13B模型中排名第一。
• 💥 [2023年9月] 我们发布了Xwin-LM-7B-V0.1，该模型在AlpacaEval上的胜率达到了87.82%，在所有7B模型中排名第一。

📋 模型卡片

📊 评测结果

Xwin-LM在AlpacaEval上的性能表现

下表展示了Xwin-LM在AlpacaEval上的性能，该评测评估了模型在805个问题中相对于Text - Davinci - 003的胜率。为了提供全面的评估，我们首次展示了相对于ChatGPT和GPT - 4的胜率。我们的Xwin-LM模型家族在所有指标上都达到了新的最优性能。值得注意的是，Xwin-LM-70B-V0.1首次超越了GPT - 4，对Text - Davinci - 003的胜率达到了令人瞩目的95.57%，对GPT - 4的胜率为60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基础任务上的性能表现

下表提供了Xwin-LM与其他大语言模型在Open LLM Leaderboard的NLP基础任务上的对比。

💻 使用示例

对话模板

为了获得理想的结果，请在使用我们的模型进行推理时严格遵循对话模板。我们的模型采用了Vicuna建立的提示格式，支持多轮对话。

一个好奇的用户和一个人工智能助手之间的对话。助手会给用户的问题提供有用、详细且礼貌的答案。USER: 你好！ASSISTANT: 你好。</s>USER: 你是谁？ASSISTANT: 我是Xwin-LM。</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "一个好奇的用户和一个人工智能助手之间的对话。助手会给用户的问题提供有用、详细且礼貌的答案。USER: 你好，你能帮我吗？ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# 当然可以！我在这里提供帮助。请随时提出你的问题或描述你遇到的问题，我会尽力提供帮助。

vLLM示例

由于Xwin-LM基于Llama2，它也支持使用vLLM进行快速推理。详细的安装说明请参考vLLM。

from vllm import LLM, SamplingParams
(
    prompt := "一个好奇的用户和一个人工智能助手之间的对话。助手会给用户的问题提供有用、详细且礼貌的答案。USER: 你好，你能帮我吗？ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

📋 待办事项

• [ ] 发布源代码
• [ ] 发布更多能力，如数学、推理等。

📚 引用说明

如果您使用了本仓库中的数据或代码，请考虑引用我们的工作：

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

🙏 致谢

感谢Llama 2、FastChat、AlpacaFarm和vLLM。

📄 许可证

本项目使用Llama 2许可证。