Bielik 4.5B V3.0 Instruct FP8 Dynamic

🚀 Bielik-4.5B-v3.0-Instruct-FP8-Dynamic

本模型是通過將 Bielik-4.5B-v3.0-Instruct 的權重和激活值量化為 FP8 數據類型得到的，可用於 vLLM >= 0.5.0 或 SGLang 進行推理。量化過程使用了 AutoFP8 技術，該優化將每個參數的比特數從 16 位減少到 8 位，使磁盤大小和 GPU 內存需求大約降低了 50%。僅對 Transformer 塊內線性算子的權重和激活值進行量化，採用對稱的逐張量量化方法，即使用單個線性縮放映射來表示量化後權重和激活值的 FP8 表示形式。

📄 技術報告：https://arxiv.org/abs/2505.02550

FP8 計算支持英偉達計算能力大於 8.9 的 GPU（如 Ada Lovelace、Hopper）。

⚠️ 重要提示

請注意，量化模型的響應質量可能會降低，並且可能會出現幻覺現象！

🚀 快速開始

✨ 主要特性

• 本模型將 Bielik-4.5B-v3.0-Instruct 進行量化，降低了磁盤大小和 GPU 內存需求。
• 支持 vLLM >= 0.5.0 或 SGLang 進行推理。
• 採用 AutoFP8 量化技術，僅對 Transformer 塊內線性算子的權重和激活值進行量化。

📦 安裝指南

文檔未提及具體安裝步驟，可參考相關依賴庫（如 vLLM、SGLang 等）的官方文檔進行安裝。

💻 使用示例

基礎用法（使用 vLLM）

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic"

sampling_params = SamplingParams(temperature=0.2, top_p=0.95, max_tokens=4096)

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "system", "content": "Jeste≈õ pomocnym asystentem Bielik."},
    {"role": "user", "content": "Kim był Mikołaj Kopernik i z czego zasłynął?"},
]

prompts = tokenizer.apply_chat_template(messages, tokenize=False)

llm = LLM(model=model_id, max_model_len=4096)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM 還支持 OpenAI 兼容服務，更多詳細信息請參考 文檔。

高級用法（使用 SGLang Runtime）

首先啟動 SGLang Runtime 服務器：

python -m sglang.launch_server --model-path speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic --port 30000

然後可以發送 HTTP 請求或使用 OpenAI 兼容 API：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "Jeste≈õ pomocnym asystentem Bielik."},
        {"role": "user", "content": "Kim był Mikołaj Kopernik i z czego zasłynął?"},
    ],
    temperature=0,
    max_tokens=4096,
)
print(response)

📚 詳細文檔

模型描述

模型量化負責人

• Remigiusz Kinas^SpeakLeash - 團隊領導、概念設計、校準數據準備、流程創建和量化模型交付。

📄 許可證

本模型使用 Apache 2.0 許可證和 使用條款。

🤝 聯繫我們

如果您有任何問題或建議，請使用討論標籤。如果您想直接聯繫我們，請加入我們的 Discord SpeakLeash。