Xwin LM 70B V0.1

🚀 Xwin-LM：强大、稳定且可复现的大语言模型对齐方案

Xwin-LM致力于开发并开源大语言模型的对齐技术，涵盖监督微调（SFT）、奖励模型（RM）、拒绝采样、基于人类反馈的强化学习（RLHF）等。我们基于Llama2基础模型的首个版本，在AlpacaEval上排名第一，值得注意的是，这是首个在该基准测试中超越GPT - 4的模型。本项目将持续更新。

🚀 快速开始

Xwin-LM旨在助力你提升大语言模型的对齐效果！它专注于开发和开源大语言模型的对齐技术，其首个基于Llama2基础模型的版本在AlpacaEval上表现卓越。

✨ 主要特性

• 高性能对齐技术：涵盖监督微调（SFT）、奖励模型（RM）、拒绝采样、基于人类反馈的强化学习（RLHF）等。
• 优异的基准测试成绩：在AlpacaEval上排名领先，Xwin-LM - 70B - V0.1首次超越GPT - 4。
• 持续更新：项目将不断发展，未来会有更多功能和能力发布。

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# Of course! I'm here to help. Please feel free to ask your question or describe the issue you're having, and I'll do my best to assist you.

高级用法

from vllm import LLM, SamplingParams
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

📚 详细文档

新闻动态

• 💥 [2023年9月] 我们发布了Xwin-LM - 70B - V0.1，在AlpacaEval基准测试中，其对Davinci - 003的胜率达到95.57%，排名第一。这是首个在AlpacaEval上超越GPT - 4的模型，其对GPT - 4的胜率为60.61%。
• 🔍 [2023年9月] RLHF在Xwin-LM - V0.1版本的出色表现中发挥了关键作用！
• 💥 [2023年9月] 我们发布了Xwin-LM - 13B - V0.1，在AlpacaEval上的胜率达到91.76%，在所有13B模型中排名第一。
• 💥 [2023年9月] 我们发布了Xwin-LM - 7B - V0.1，在AlpacaEval上的胜率达到87.82%，在所有7B模型中排名第一。

模型卡片

基准测试

Xwin-LM在AlpacaEval上的性能

下表展示了Xwin-LM在AlpacaEval上的性能，该测试通过805个问题评估其相对于Text - Davinci - 003的胜率。为了提供更全面的评估，我们首次公布了其相对于ChatGPT和GPT - 4的胜率。我们的Xwin-LM模型家族在所有指标上都树立了新的标杆。值得注意的是，Xwin-LM - 70B - V0.1首次超越了GPT - 4，对Text - Davinci - 003的胜率达到95.57%，对GPT - 4的胜率达到60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基础任务上的性能

下表比较了Xwin-LM与其他大语言模型在Open LLM Leaderboard的NLP基础任务上的表现。

推理

对话模板

使用我们的模型进行推理时，请严格遵循以下对话模板以获得理想结果。我们的模型采用了Vicuna建立的提示格式，并支持多轮对话。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am Xwin-LM.</s>......

TODO

• [ ] 发布源代码
• [ ] 发布更多能力，如数学、推理等。

🔧 技术细节

文档未提供技术实现细节，故跳过此章节。

📄 许可证

本项目使用Llama 2许可证。

引用

如果您使用了本仓库中的数据或代码，请考虑引用我们的工作。

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

致谢

感谢Llama 2、FastChat、AlpacaFarm和vllm。