Xwin LM 13B V0.2

🚀 Xwin-LM：強大、穩定且可復現的大語言模型對齊方案

Xwin-LM致力於開發並開源大語言模型的對齊技術，涵蓋監督微調（SFT）、獎勵模型（RM）、拒絕採樣、基於人類反饋的強化學習（RLHF）等。我們基於Llama2基礎模型的首個版本，在AlpacaEval評測中排名第一，值得一提的是，這是首個在該評測中超越GPT - 4的模型。本項目將持續更新。

🚀 快速開始

本項目旨在開發和開源大語言模型的對齊技術，你可以通過以下內容瞭解模型的最新消息、性能表現、使用示例等信息。

✨ 主要特性

• 高性能表現：在AlpacaEval評測中，Xwin-LM多個版本的模型在與Text - Davinci - 003、ChatGPT和GPT - 4的對比中取得了優異的勝率，部分模型超越了GPT - 4。
• 多版本支持：提供7B、13B和70B等不同規模的模型版本，滿足不同場景的需求。
• 多輪對話支持：模型採用了Vicuna的提示格式，支持多輪對話。

📢 最新消息

• 💥 [2023年10月12日] Xwin-LM-7B-V0.2和Xwin-LM-13B-V0.2發佈，改進了對比數據和RL訓練（即PPO）。它們相對於GPT - 4的勝率顯著提高，分別達到了59.83%（7B模型）和70.36%（13B模型）。70B模型即將發佈。
• 💥 [2023年9月] 我們發佈了Xwin-LM-70B-V0.1，該模型在AlpacaEval評測中對Davinci - 003的勝率達到了95.57%，在AlpacaEval中排名第一。這是首個在AlpacaEval上超越GPT - 4的模型。此外，它相對於GPT - 4的勝率為60.61%。
• 🔍 [2023年9月] RLHF在Xwin-LM - V0.1版本的出色表現中起到了關鍵作用！
• 💥 [2023年9月] 我們發佈了Xwin-LM-13B-V0.1，該模型在AlpacaEval上的勝率達到了91.76%，在所有13B模型中排名第一。
• 💥 [2023年9月] 我們發佈了Xwin-LM-7B-V0.1，該模型在AlpacaEval上的勝率達到了87.82%，在所有7B模型中排名第一。

📋 模型卡片

📊 評測結果

Xwin-LM在AlpacaEval上的性能表現

下表展示了Xwin-LM在AlpacaEval上的性能，該評測評估了模型在805個問題中相對於Text - Davinci - 003的勝率。為了提供全面的評估，我們首次展示了相對於ChatGPT和GPT - 4的勝率。我們的Xwin-LM模型家族在所有指標上都達到了新的最優性能。值得注意的是，Xwin-LM-70B-V0.1首次超越了GPT - 4，對Text - Davinci - 003的勝率達到了令人矚目的95.57%，對GPT - 4的勝率為60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基礎任務上的性能表現

下表提供了Xwin-LM與其他大語言模型在Open LLM Leaderboard的NLP基礎任務上的對比。

💻 使用示例

對話模板

為了獲得理想的結果，請在使用我們的模型進行推理時嚴格遵循對話模板。我們的模型採用了Vicuna建立的提示格式，支持多輪對話。

一個好奇的用戶和一個人工智能助手之間的對話。助手會給用戶的問題提供有用、詳細且禮貌的答案。USER: 你好！ASSISTANT: 你好。</s>USER: 你是誰？ASSISTANT: 我是Xwin-LM。</s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "一個好奇的用戶和一個人工智能助手之間的對話。助手會給用戶的問題提供有用、詳細且禮貌的答案。USER: 你好，你能幫我嗎？ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# 當然可以！我在這裡提供幫助。請隨時提出你的問題或描述你遇到的問題，我會盡力提供幫助。

vLLM示例

由於Xwin-LM基於Llama2，它也支持使用vLLM進行快速推理。詳細的安裝說明請參考vLLM。

from vllm import LLM, SamplingParams
(
    prompt := "一個好奇的用戶和一個人工智能助手之間的對話。助手會給用戶的問題提供有用、詳細且禮貌的答案。USER: 你好，你能幫我嗎？ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

📋 待辦事項

• [ ] 發佈源代碼
• [ ] 發佈更多能力，如數學、推理等。

📚 引用說明

如果您使用了本倉庫中的數據或代碼，請考慮引用我們的工作：

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

🙏 致謝

感謝Llama 2、FastChat、AlpacaFarm和vLLM。

📄 許可證

本項目使用Llama 2許可證。