🚀 彈性模型:DeepSeek-R1-Distill-Qwen-7B
彈性模型是由TheStage AI的ANNA(自動化神經網絡加速器)生成的模型,它能讓你通過簡單的滑動操作來控制模型的大小、延遲和質量。對於每個模型,ANNA都會生成一系列優化模型:
- XL:數學上等效的神經網絡,使用我們的DNN編譯器進行優化。
- L:近乎無損的模型,在相應基準測試中的性能下降不到1%。
- M:更快的模型,準確率下降不到1.5%。
- S:最快的模型,準確率下降不到2%。
彈性模型的目標
- 在推理時,為成本與質量的選擇提供靈活性。
- 提供清晰的質量和延遲基準。
- 只需一行代碼,即可提供HF庫(transformers和diffusers)的接口。
- 提供支持廣泛硬件的模型,這些模型已預編譯,無需即時編譯(JIT)。
- 為自建服務提供最佳的模型和服務。
⚠️ 重要提示
具體的質量下降情況可能因模型而異。例如,S模型的性能下降可能只有0.5%。

🚀 快速開始
✨ 主要特性
彈性模型由TheStage AI的ANNA自動化神經網絡加速器生成,具備以下特性:
- 可通過簡單操作靈活控制模型大小、延遲和質量。
- 針對不同性能需求,提供多種優化模型版本。
- 提供清晰的質量和延遲基準,方便用戶選擇。
- 支持與HF庫無縫對接,使用便捷。
- 預編譯模型,支持廣泛硬件,無需即時編譯。
📦 安裝指南
要使用我們的模型,只需在終端中運行以下命令:
pip install thestage
pip install elastic_models[nvidia]\
--index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-production/simple\
--extra-index-url https://pypi.nvidia.com\
--extra-index-url https://pypi.org/simple
pip install flash_attn==2.7.3 --no-build-isolation
pip uninstall apex
然後訪問 app.thestage.ai 登錄,並從個人資料頁面生成API令牌。設置API令牌的命令如下:
thestage config set --api-token <YOUR_API_TOKEN>
恭喜,現在你可以使用加速模型了!
💻 使用示例
基礎用法
要推理我們的模型,你只需將 transformers
導入替換為 elastic_models.transformers
:
import torch
from transformers import AutoTokenizer
from elastic_models.transformers import AutoModelForCausalLM
model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B"
hf_token = ''
device = torch.device("cuda")
tokenizer = AutoTokenizer.from_pretrained(
model_name, token=hf_token
)
model = AutoModelForCausalLM.from_pretrained(
model_name,
token=hf_token,
torch_dtype=torch.bfloat16,
attn_implementation="sdpa",
mode='S'
).to(device)
model.generation_config.pad_token_id = tokenizer.eos_token_id
prompt = "Describe basics of DNNs quantization."
messages = [
{
"role": "system",
"content": "You are a search bot, answer on user text queries."
},
{
"role": "user",
"content": prompt
}
]
chat_prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, tokenize=False
)
inputs = tokenizer(chat_prompt, return_tensors="pt")
inputs.to(device)
with torch.inference_mode():
generate_ids = model.generate(**inputs, max_length=500)
input_len = inputs['input_ids'].shape[1]
generate_ids = generate_ids[:, input_len:]
output = tokenizer.batch_decode(
generate_ids,
skip_special_tokens=True,
clean_up_tokenization_spaces=False
)[0]
print(f"# Q:\n{prompt}\n")
print(f"# A:\n{output}\n")
系統要求
- GPU:H100、L40s
- CPU:AMD、Intel
- Python:3.10 - 3.12
📚 詳細文檔
基準測試
基準測試是模型加速過程中最重要的步驟之一。我們旨在為使用我們算法的模型提供清晰的性能指標。W8A8, int8
列表示我們對所有線性層應用了W8A8量化,並使用了與ANNA相同的校準數據。S模型在實現幾乎相同速度的同時,具有更高的質量,因為ANNA知道如何提高敏感層的量化質量!
質量基準
指標/模型 |
S |
M |
L |
XL |
原始模型 |
W8A8, int8 |
arc_challenge |
41.00 |
40.90 |
42.50 |
42.20 |
42.20 |
21.00 |
mmlu |
52.00 |
53.80 |
55.10 |
55.20 |
55.20 |
48.00 |
piqa |
68.40 |
70.60 |
70.70 |
70.50 |
70.50 |
50.40 |
winogrande |
60.10 |
60.90 |
60.20 |
60.10 |
60.10 |
51.10 |
- MMLU:評估涵蓋科學、人文、工程等57個學科的通用知識,展示模型處理多樣化學術主題的能力。
- PIQA:通過關於日常物理交互的問題評估物理常識推理能力,展示模型對現實世界物理概念的理解。
- Arc Challenge:評估需要推理的小學水平多項選擇題,展示模型解決複雜推理任務的能力。
- Winogrande:通過句子完成任務評估常識推理能力,展示模型理解上下文和解決歧義的能力。
延遲基準
100輸入/300輸出;tok/s:
GPU/模型 |
S |
M |
L |
XL |
原始模型 |
W8A8, int8 |
H100 |
204 |
185 |
161 |
135 |
62 |
205 |
L40S |
78 |
69 |
60 |
47 |
43 |
78 |
🔗 鏈接
📄 許可證
本項目採用Apache-2.0許可證。