Bielik 4.5B V3.0 Instruct FP8 Dynamic

🚀 Bielik-4.5B-v3.0-Instruct-FP8-Dynamic

本模型是通过将 Bielik-4.5B-v3.0-Instruct 的权重和激活值量化为 FP8 数据类型得到的，可用于 vLLM >= 0.5.0 或 SGLang 进行推理。量化过程使用了 AutoFP8 技术，该优化将每个参数的比特数从 16 位减少到 8 位，使磁盘大小和 GPU 内存需求大约降低了 50%。仅对 Transformer 块内线性算子的权重和激活值进行量化，采用对称的逐张量量化方法，即使用单个线性缩放映射来表示量化后权重和激活值的 FP8 表示形式。

📄 技术报告：https://arxiv.org/abs/2505.02550

FP8 计算支持英伟达计算能力大于 8.9 的 GPU（如 Ada Lovelace、Hopper）。

⚠️ 重要提示

请注意，量化模型的响应质量可能会降低，并且可能会出现幻觉现象！

🚀 快速开始

✨ 主要特性

• 本模型将 Bielik-4.5B-v3.0-Instruct 进行量化，降低了磁盘大小和 GPU 内存需求。
• 支持 vLLM >= 0.5.0 或 SGLang 进行推理。
• 采用 AutoFP8 量化技术，仅对 Transformer 块内线性算子的权重和激活值进行量化。

📦 安装指南

文档未提及具体安装步骤，可参考相关依赖库（如 vLLM、SGLang 等）的官方文档进行安装。

💻 使用示例

基础用法（使用 vLLM）

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic"

sampling_params = SamplingParams(temperature=0.2, top_p=0.95, max_tokens=4096)

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "system", "content": "Jeste≈õ pomocnym asystentem Bielik."},
    {"role": "user", "content": "Kim był Mikołaj Kopernik i z czego zasłynął?"},
]

prompts = tokenizer.apply_chat_template(messages, tokenize=False)

llm = LLM(model=model_id, max_model_len=4096)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM 还支持 OpenAI 兼容服务，更多详细信息请参考 文档。

高级用法（使用 SGLang Runtime）

首先启动 SGLang Runtime 服务器：

python -m sglang.launch_server --model-path speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic --port 30000

然后可以发送 HTTP 请求或使用 OpenAI 兼容 API：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "Jeste≈õ pomocnym asystentem Bielik."},
        {"role": "user", "content": "Kim był Mikołaj Kopernik i z czego zasłynął?"},
    ],
    temperature=0,
    max_tokens=4096,
)
print(response)

📚 详细文档

模型描述

模型量化负责人

• Remigiusz Kinas^SpeakLeash - 团队领导、概念设计、校准数据准备、流程创建和量化模型交付。

📄 许可证

本模型使用 Apache 2.0 许可证和 使用条款。

🤝 联系我们

如果您有任何问题或建议，请使用讨论标签。如果您想直接联系我们，请加入我们的 Discord SpeakLeash。