Solar Pro Preview Instruct

🚀 Solar Pro Preview：單GPU上最智能的大語言模型

Solar Pro Preview是一款先進的大語言模型（LLM），擁有220億參數，專為單GPU運行而設計。與參數少於300億的LLM相比，它表現卓越，性能可與參數是其3倍以上的模型（如700億參數的Llama 3.1）相媲美。

🚀 快速開始

Solar Pro Preview是一個經過指令調優的語言模型，專為遵循指令和進行對話任務而設計。

聊天模板

作為經過指令調優的模型，Solar Pro Preview使用ChatML模板，以在對話和遵循指令任務中實現最佳性能。這種方法與模型的訓練數據相匹配，可能會產生更準確和相關的響應。例如，使用ChatML模板格式化的問題如下，模型會在<|im_start|>assistant之後生成答案。請注意，Solar Pro Preview目前不支持系統提示，此功能將在正式版本中提供。

<|im_start|>user
Please, introduce yourself.<|im_end|>
<|im_start|>assistant

文本生成

以下是一個示例推理代碼，詳細展示瞭如何加載模型、應用聊天模板以及生成模型答案。

# Install requirements
# !pip install transformers==4.44.2 torch==2.3.1 flash_attn==2.5.8 accelerate==0.31.0

# Load model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("upstage/solar-pro-preview-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/solar-pro-preview-instruct",
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,
)
# Apply chat template
messages = [
    {"role": "user", "content": "Please, introduce yourself."},
]
prompt = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
# Generate text
outputs = model.generate(prompt, max_new_tokens=512)
print(tokenizer.decode(outputs[0]))

Solar Pro Preview也可在Upstage Console中作為API使用，我們還提供了其他易於使用的方法。如果您想了解這些選項，請訪問我們的博客頁面。

✨ 主要特性

• 單GPU運行：Solar Pro Preview專為單GPU運行而設計，擁有220億參數，能夠在單GPU上高效運行。
• 卓越性能：與參數少於300億的LLM相比，Solar Pro Preview表現卓越，性能可與參數是其3倍以上的模型相媲美。
• 精心訓練：使用增強版的深度擴展方法開發，精心策劃的訓練策略和數據集顯著提升了模型性能。

📚 詳細文檔

模型概述

我們推出了Solar Pro Preview，這是一款先進的大語言模型（LLM），擁有220億參數，旨在適配單GPU。與參數少於300億的LLM相比，Solar Pro Preview表現卓越，其性能可與參數是其3倍以上的模型（如700億參數的Llama 3.1）相媲美。

Solar Pro Preview是使用我們之前深度擴展方法的增強版開發的，該方法將一個140億參數的Phi - 3 - medium模型擴展到220億參數，旨在在擁有80GB VRAM的GPU上運行。我們精心策劃的訓練策略和數據集顯著提升了Phi - 3 - medium的性能，特別是在MMLU - Pro和IFEval基準測試中，這兩個基準測試在評估模型的知識和遵循指令能力方面備受認可。

Solar Pro Preview是官方Solar Pro的預發佈版本，在語言覆蓋範圍上存在限制，最大上下文長度為4K。然而，我們相信Solar Pro Preview不僅是一個高效且功能強大的模型，還有潛力進一步擴展以覆蓋更多語言和功能。Solar Pro的官方版本將於2024年11月發佈，屆時將支持英語以外的更多語言，並擁有更長的上下文窗口。要了解最新更新，請註冊我們的郵件列表。如果您對模型有任何反饋或問題，請訪問我們的模型討論板。

評估

Solar Pro Preview在多種基準測試中進行了評估。

(*) 由於該模型傾向於生成聊天模板，因此無法準確確定分數。

評估協議

為了便於重現我們的評估結果，我們列出了以下使用的評估工具和設置。所有評估均在NVIDIA DGX H100上進行。

由於不同的批量大小和實驗環境（如GPU類型），結果可能會略有不同。

📄 許可證

本項目採用MIT許可證，詳情請見許可證鏈接。

🔗 聯繫我們

如果您對模型有任何問題和建議，請訪問討論板。

瞭解更多信息：

• 與Solar Pro Preview聊天
• Solar Pro Preview博客
• Solar Pro Preview開發者文檔

也可以嘗試以下內容：

• 文檔解析：一款行業領先的模型，用於將複雜文檔文件轉換為LLM兼容的HTML格式。
• Solar DocVision Preview：一款專注於文檔的視覺大語言模型。