Elastic DeepSeek R1 Distill Qwen 7B

🚀 彈性模型：DeepSeek-R1-Distill-Qwen-7B

彈性模型是由TheStage AI的ANNA（自動化神經網絡加速器）生成的模型，它能讓你通過簡單的滑動操作來控制模型的大小、延遲和質量。對於每個模型，ANNA都會生成一系列優化模型：

• XL：數學上等效的神經網絡，使用我們的DNN編譯器進行優化。
• L：近乎無損的模型，在相應基準測試中的性能下降不到1%。
• M：更快的模型，準確率下降不到1.5%。
• S：最快的模型，準確率下降不到2%。

彈性模型的目標

• 在推理時，為成本與質量的選擇提供靈活性。
• 提供清晰的質量和延遲基準。
• 只需一行代碼，即可提供HF庫（transformers和diffusers）的接口。
• 提供支持廣泛硬件的模型，這些模型已預編譯，無需即時編譯（JIT）。
• 為自建服務提供最佳的模型和服務。

⚠️ 重要提示

具體的質量下降情況可能因模型而異。例如，S模型的性能下降可能只有0.5%。

🚀 快速開始

✨ 主要特性

彈性模型由TheStage AI的ANNA自動化神經網絡加速器生成，具備以下特性：

• 可通過簡單操作靈活控制模型大小、延遲和質量。
• 針對不同性能需求，提供多種優化模型版本。
• 提供清晰的質量和延遲基準，方便用戶選擇。
• 支持與HF庫無縫對接，使用便捷。
• 預編譯模型，支持廣泛硬件，無需即時編譯。

📦 安裝指南

要使用我們的模型，只需在終端中運行以下命令：

pip install thestage
pip install elastic_models[nvidia]\
 --index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-production/simple\
 --extra-index-url https://pypi.nvidia.com\
 --extra-index-url https://pypi.org/simple

pip install flash_attn==2.7.3 --no-build-isolation
pip uninstall apex

然後訪問 app.thestage.ai 登錄，並從個人資料頁面生成API令牌。設置API令牌的命令如下：

thestage config set --api-token <YOUR_API_TOKEN>

恭喜，現在你可以使用加速模型了！

💻 使用示例

基礎用法

要推理我們的模型，你只需將 transformers 導入替換為 elastic_models.transformers：

import torch
from transformers import AutoTokenizer
from elastic_models.transformers import AutoModelForCausalLM

# Currently we require to have your HF token
# as we use original weights for part of layers and
# model confugaration as well
model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B"
hf_token = ''
device = torch.device("cuda")

# Create mode
tokenizer = AutoTokenizer.from_pretrained(
    model_name, token=hf_token
)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    token=hf_token,
    torch_dtype=torch.bfloat16,
    attn_implementation="sdpa",
    mode='S'
).to(device)
model.generation_config.pad_token_id = tokenizer.eos_token_id

# Inference simple as transformers library
prompt = "Describe basics of DNNs quantization."
messages = [
  {
    "role": "system",
    "content": "You are a search bot, answer on user text queries."
  },
  {
    "role": "user",
    "content": prompt
  }
]

chat_prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=False
)

inputs = tokenizer(chat_prompt, return_tensors="pt")
inputs.to(device)

with torch.inference_mode():
    generate_ids = model.generate(**inputs, max_length=500)

input_len = inputs['input_ids'].shape[1]
generate_ids = generate_ids[:, input_len:]
output = tokenizer.batch_decode(
    generate_ids,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False
)[0]

# Validate answer
print(f"# Q:\n{prompt}\n")
print(f"# A:\n{output}\n")

系統要求

• GPU：H100、L40s
• CPU：AMD、Intel
• Python：3.10 - 3.12

📚 詳細文檔

基準測試

基準測試是模型加速過程中最重要的步驟之一。我們旨在為使用我們算法的模型提供清晰的性能指標。W8A8, int8 列表示我們對所有線性層應用了W8A8量化，並使用了與ANNA相同的校準數據。S模型在實現幾乎相同速度的同時，具有更高的質量，因為ANNA知道如何提高敏感層的量化質量！

質量基準

• MMLU：評估涵蓋科學、人文、工程等57個學科的通用知識，展示模型處理多樣化學術主題的能力。
• PIQA：通過關於日常物理交互的問題評估物理常識推理能力，展示模型對現實世界物理概念的理解。
• Arc Challenge：評估需要推理的小學水平多項選擇題，展示模型解決複雜推理任務的能力。
• Winogrande：通過句子完成任務評估常識推理能力，展示模型理解上下文和解決歧義的能力。

延遲基準

100輸入/300輸出；tok/s：

🔗 鏈接

• 平臺：app.thestage.ai
• 訂閱更新：TheStageAI X
• 聯繫郵箱：contact@thestage.ai

📄 許可證

本項目採用Apache-2.0許可證。