Bielik 4.5B V3.0 Instruct

🚀 Bielik-4.5B-v3-Instruct

Bielik-4.5B-v3-Instruct是一个拥有46亿参数的生成式文本模型。它是Bielik-4.5B-v3的指令微调版本。该模型是开放科学/开源项目SpeakLeash与高性能计算（HPC）中心ACK Cyfronet AGH独特合作的成果。它基于SpeakLeash团队精心挑选和处理的波兰语文本语料库进行开发和训练，借助了波兰的大规模计算基础设施，特别是在PLGrid环境中，更确切地说是在ACK Cyfronet AGH高性能计算中心。Bielik-4.5B-v3-Instruct的创建和训练得到了计算资助项目编号PLG/2024/017214和PLG/2025/018338的支持，在Athena和Helios超级计算机上进行，这使得模型能够利用大规模机器学习过程所需的前沿技术和计算资源。因此，该模型在理解和处理波兰语方面表现出色，能够提供准确的响应，并高精度地执行各种语言任务。

📚 技术报告：https://arxiv.org/abs/2505.02550

✨ 主要特性

• 基于波兰语文本语料库开发和训练，对波兰语的理解和处理能力出色。
• 借助大规模计算基础设施和前沿技术，能高精度执行各种语言任务。
• 经过指令微调，能更好地理解和响应用户指令。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model_name = "speakleash/Bielik-4.5B-v3-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."},
    {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
    {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
    {"role": "user", "content": "Która jest najcieplejsza?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = input_ids.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

高级用法

文档未提及高级用法示例，故跳过此部分。

📚 详细文档

模型

SpeakLeash团队正在开发自己的波兰语指令集，该指令集由注释人员不断扩展和完善。其中一部分经过人工验证和修正的指令被用于训练。此外，由于高质量的波兰语指令有限，团队使用Bielik 11B v2.3生成了合成指令并用于训练。训练使用的数据集包含超过1900万条指令，由超过120亿个标记组成。

为了使模型符合用户偏好，团队测试了多种不同的技术：DPO、PPO、KTO、SiMPO。最终采用了DPO-Positive方法，该方法利用了生成的和人工修正的示例，并由元模型进行评分。一个包含超过111,000个不同长度示例的数据集被用于处理响应风格的不同方面。该数据集经过奖励模型的过滤和评估，以选择在所选和拒绝之间具有适当差异水平的指令。DPO-P方法的创新之处在于引入了多轮对话。

Bielik指令模型是使用由Krzysztof Ociepa实现的名为ALLaMo的原创开源框架进行训练的。该框架允许用户以快速高效的方式训练与LLaMA和Mistral架构类似的语言模型。

模型描述

聊天模板

Bielik-4.5B-v3-Instruct使用ChatML作为提示格式。

例如：

prompt = "<s><|im_start|> user\nJakie mamy pory roku?<|im_end|> \n<|im_start|> assistant\n"
completion = "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> \n"

此格式可通过apply_chat_template()方法作为聊天模板使用：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model_name = "speakleash/Bielik-4.5B-v3-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."},
    {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
    {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
    {"role": "user", "content": "Która jest najcieplejsza?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = input_ids.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

通过apply_chat_template格式化后的完整输入对话示例：

<s><|im_start|> system
Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim.<|im_end|> 
<|im_start|> user
Jakie mamy pory roku w Polsce?<|im_end|> 
<|im_start|> assistant
W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> 
<|im_start|> user
Która jest najcieplejsza?<|im_end|>

🔧 技术细节

• 指令集开发：SpeakLeash团队开发波兰语指令集，部分人工验证修正的指令及合成指令用于训练，训练数据集含超1900万条指令、超120亿个标记。
• 微调技术：测试多种技术后采用DPO-Positive方法，利用生成和人工修正示例，经元模型评分，数据集经奖励模型过滤评估。
• 训练框架：使用原创开源框架ALLaMo训练，可快速高效训练类似LLaMA和Mistral架构的语言模型。

📄 许可证

本模型使用Apache 2.0许可证和使用条款。

局限性和偏差

Bielik-4.5B-v3-Instruct只是一个快速演示，表明基础模型可以轻松进行微调以实现令人信服和有前景的性能。它没有任何审核机制。团队期待与社区合作，使模型遵守规则，以便在需要审核输出的环境中部署。

Bielik-4.5B-v3-Instruct可能会产生事实错误的输出，不应依赖它来产生事实准确的数据。该模型在各种公共数据集上进行训练。尽管团队已尽力清理训练数据，但该模型仍有可能生成淫秽、虚假、有偏见或其他冒犯性的输出。

引用

请使用以下格式引用此模型：

@misc{ociepa2025bielikv3smalltechnical,
      title={Bielik v3 Small: Technical Report}, 
      author={Krzysztof Ociepa and Łukasz Flis and Remigiusz Kinas and Krzysztof Wróbel and Adrian Gwoździej},
      year={2025},
      eprint={2505.02550},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2505.02550}, 
}

@misc{Bielik45Bv3i,
    title     = {Bielik-4.5B-v3-Instruct model card},
    author    = {Ociepa, Krzysztof and Flis, Łukasz and Kinas, Remigiusz and Gwoździej, Adrian and Wróbel, Krzysztof and {SpeakLeash Team} and {Cyfronet Team}},
    year      = {2025},
    url       = {https://huggingface.co/speakleash/Bielik-4.5B-v3-Instruct},
    note      = {Accessed: 2025-05-06}, % change this date
    urldate   = {2025-05-06} % change this date
}

模型训练负责人

• Krzysztof Ociepa^SpeakLeash - 团队领导、概念设计、数据准备、流程优化和训练监督
• Łukasz Flis^{Cyfronet AGH} - 协调和监督训练
• Remigiusz Kinas^SpeakLeash - 概念设计、协调强化学习训练、数据准备、基准测试和量化
• Adrian Gwoździej^SpeakLeash - 数据准备和确保数据质量
• Krzysztof Wróbel^SpeakLeash - 基准测试

如果没有整个SpeakLeash团队的奉献和努力，这个模型就不可能创建出来，他们的贡献是无价的。由于许多人的辛勤工作，才有可能收集到大量的波兰语内容，并在开放科学的SpeakLeash项目和高性能计算中心ACK Cyfronet AGH之间建立合作。为模型创建做出贡献的个人包括： Sebastian Kondracki、 Igor Ciuciura、 Szymon Baczyński、 Jacek Chwiła、 Dominika Basaj、 Kuba Sołtys、 Karol Jezierski、 Anna Przybył、 Agnieszka Ratajska、 Witold Wydmański、 Izabela Babis、 Nina Babis。

ACK Cyfronet AGH团队的成员提供了宝贵的支持和专业知识，他们是： Szymon Mazurek、 Marek Magryś、 Mieszko Cholewa 。

团队衷心感谢波兰高性能计算基础设施PLGrid（高性能计算中心：ACK Cyfronet AGH）通过计算资助项目编号PLG/2024/017214和PLG/2025/018338提供计算机设施和支持。

联系我们

如果您有任何问题或建议，请使用讨论标签。如果您想直接联系我们，请加入Discord SpeakLeash。