Snowflake Arctic Instruct

🚀 雪花北極星模型（Snowflake Arctic）

雪花北極星（Snowflake Arctic）是一款由雪花人工智能研究團隊從頭開始預訓練的密集混合專家（Dense-MoE）混合變壓器架構模型。本項目提供了基礎版本和指令微調版本的模型檢查點，採用Apache-2.0許可證，可自由用於研究、原型開發和產品中。

🚀 快速開始

雪花北極星模型由雪花人工智能研究團隊預訓練，提供基礎和指令微調兩個版本的模型檢查點。你可以通過以下鏈接獲取模型：

• Arctic-Base
• Arctic-Instruct

有關雪花北極星的最新詳細信息（包括教程等），請參考我們的GitHub倉庫：

• https://github.com/Snowflake-Labs/snowflake-arctic

你還可以通過 Streamlit應用 進行即時演示體驗。

✨ 主要特性

• 自由使用：基於Apache-2.0許可證發佈，可自由用於研究、原型和產品。
• 豐富資源：博客文章提供了模型的詳細信息和相關資源鏈接，如自定義MoE模型訓練、高質量訓練數據生成等。
• 多版本支持：提供基礎版本和指令微調版本，滿足不同場景需求。

📦 安裝指南

安裝依賴庫

北極星模型目前通過transformers庫的自定義代碼功能支持，使用時需在AutoTokenizer和AutoModelForCausalLM調用中添加trust_remote_code=True。建議使用transformers 4.39及以上版本：

pip install transformers>=4.39.0

北極星模型還利用了DeepSpeed的多項功能，需要安裝DeepSpeed 0.14.2或更高版本：

pip install deepspeed>=0.14.2

💻 使用示例

基礎用法

由於模型規模較大，建議使用雲服務提供商的單8xH100實例，如AWS p5.48xlarge、Azure ND96isr_H100_v5等。

以下是使用DeepSpeed提供的FP8量化進行推理的示例代碼：

import os
# 啟用hf_transfer以加快檢查點下載
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from deepspeed.linear.config import QuantizationConfig

tokenizer = AutoTokenizer.from_pretrained(
    "Snowflake/snowflake-arctic-instruct",
    trust_remote_code=True
)
quant_config = QuantizationConfig(q_bits=8)

model = AutoModelForCausalLM.from_pretrained(
    "Snowflake/snowflake-arctic-instruct",
    trust_remote_code=True,
    low_cpu_mem_usage=True,
    device_map="auto",
    ds_quantization_config=quant_config,
    max_memory={i: "150GiB" for i in range(8)},
    torch_dtype=torch.bfloat16)


content = "5x + 35 = 7x - 60 + 10. Solve for x"
messages = [{"role": "user", "content": content}]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")

outputs = model.generate(input_ids=input_ids, max_new_tokens=256)
print(tokenizer.decode(outputs[0]))

更多示例

北極星的GitHub頁面提供了更多推理代碼片段和示例：

• 純HF示例：https://github.com/Snowflake-Labs/snowflake-arctic/blob/main/inference
• 使用vLLM的教程：https://github.com/Snowflake-Labs/snowflake-arctic/tree/main/inference/vllm

📚 詳細文檔

更多關於北極星模型的詳細信息，包括架構、訓練過程、數據等，請參考我們的博客文章 Snowflake Arctic: The Best LLM for Enterprise AI — Efficiently Intelligent, Truly Open 以及我們的系列手冊 see our series of cookbooks。

🔧 技術細節

北極星模型結合了一個100億參數的密集變壓器模型和一個殘差128x366億參數的MoE MLP，總參數達到4800億，活動參數為170億，採用top-2門控機制選擇。

📄 許可證

本項目採用Apache-2.0許可證。

模型信息