Xwin LM 70B V0.1

🚀 Xwin-LM：強大、穩定且可復現的大語言模型對齊方案

Xwin-LM致力於開發並開源大語言模型的對齊技術，涵蓋監督微調（SFT）、獎勵模型（RM）、拒絕採樣、基於人類反饋的強化學習（RLHF）等。我們基於Llama2基礎模型的首個版本，在AlpacaEval上排名第一，值得注意的是，這是首個在該基準測試中超越GPT - 4的模型。本項目將持續更新。

🚀 快速開始

Xwin-LM旨在助力你提升大語言模型的對齊效果！它專注於開發和開源大語言模型的對齊技術，其首個基於Llama2基礎模型的版本在AlpacaEval上表現卓越。

✨ 主要特性

• 高性能對齊技術：涵蓋監督微調（SFT）、獎勵模型（RM）、拒絕採樣、基於人類反饋的強化學習（RLHF）等。
• 優異的基準測試成績：在AlpacaEval上排名領先，Xwin-LM - 70B - V0.1首次超越GPT - 4。
• 持續更新：項目將不斷發展，未來會有更多功能和能力發佈。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# Of course! I'm here to help. Please feel free to ask your question or describe the issue you're having, and I'll do my best to assist you.

高級用法

from vllm import LLM, SamplingParams
(
    prompt := "A chat between a curious user and an artificial intelligence assistant. "
            "The assistant gives helpful, detailed, and polite answers to the user's questions. "
            "USER: Hello, can you help me? "
            "ASSISTANT:"
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

📚 詳細文檔

新聞動態

• 💥 [2023年9月] 我們發佈了Xwin-LM - 70B - V0.1，在AlpacaEval基準測試中，其對Davinci - 003的勝率達到95.57%，排名第一。這是首個在AlpacaEval上超越GPT - 4的模型，其對GPT - 4的勝率為60.61%。
• 🔍 [2023年9月] RLHF在Xwin-LM - V0.1版本的出色表現中發揮了關鍵作用！
• 💥 [2023年9月] 我們發佈了Xwin-LM - 13B - V0.1，在AlpacaEval上的勝率達到91.76%，在所有13B模型中排名第一。
• 💥 [2023年9月] 我們發佈了Xwin-LM - 7B - V0.1，在AlpacaEval上的勝率達到87.82%，在所有7B模型中排名第一。

模型卡片

基準測試

Xwin-LM在AlpacaEval上的性能

下表展示了Xwin-LM在AlpacaEval上的性能，該測試通過805個問題評估其相對於Text - Davinci - 003的勝率。為了提供更全面的評估，我們首次公佈了其相對於ChatGPT和GPT - 4的勝率。我們的Xwin-LM模型家族在所有指標上都樹立了新的標杆。值得注意的是，Xwin-LM - 70B - V0.1首次超越了GPT - 4，對Text - Davinci - 003的勝率達到95.57%，對GPT - 4的勝率達到60.61%。

AlpacaEval案例研究

Xwin-LM在NLP基礎任務上的性能

下表比較了Xwin-LM與其他大語言模型在Open LLM Leaderboard的NLP基礎任務上的表現。

推理

對話模板

使用我們的模型進行推理時，請嚴格遵循以下對話模板以獲得理想結果。我們的模型採用了Vicuna建立的提示格式，並支持多輪對話。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am Xwin-LM.</s>......

TODO

• [ ] 發佈源代碼
• [ ] 發佈更多能力，如數學、推理等。

🔧 技術細節

文檔未提供技術實現細節，故跳過此章節。

📄 許可證

本項目使用Llama 2許可證。

引用

如果您使用了本倉庫中的數據或代碼，請考慮引用我們的工作。

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM Team},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {pre-release},
  year = {2023},
  month = {9},
}

致謝

感謝Llama 2、FastChat、AlpacaFarm和vllm。