Bielik 11B V2.3 Instruct

🚀 Bielik-11B-v2.3-Instruct

Bielik-11B-v2.3-Instruct是一个拥有110亿参数的生成式文本模型。它是Bielik-11B-v2.0-Instruct、Bielik-11B-v2.1-Instruct和Bielik-11B-v2.2-Instruct模型的线性合并，而这几个模型又是Bielik-11B-v2的指令微调版本。该模型是开放科学/开源项目SpeakLeash与高性能计算中心ACK Cyfronet AGH独特合作的成果。它基于由SpeakLeash团队精心挑选和处理的波兰语文本语料库进行开发和训练，利用了波兰的大规模计算基础设施，特别是在PLGrid环境中，更确切地说是ACK Cyfronet AGH高性能计算中心。Bielik-11B-v2.3-Instruct的创建和训练得到了计算资助编号PLG/2024/016951的支持，在Athena和Helios超级计算机上进行，这使得它能够使用大规模机器学习过程中必不可少的前沿技术和计算资源。因此，该模型在理解和处理波兰语方面表现出色，能够提供准确的响应，并高精度地执行各种语言任务。

技术报告：https://arxiv.org/abs/2505.02410

聊天竞技场*：https://arena.speakleash.org.pl/

*聊天竞技场是一个用于测试和比较不同人工智能语言模型的平台，用户可以评估它们的性能和质量。

✨ 主要特性

• 多模型合并：由多个Bielik系列模型线性合并而成，融合了多个模型的优势。
• 波兰语优化：基于波兰语文本语料库进行开发和训练，对波兰语的理解和处理能力出色。
• 性能出色：在多个基准测试中表现优异，在波兰语和英语任务中都展现出良好的性能。

📦 安装指南

文档中未提及安装步骤，暂无法提供。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model_name = "speakleash/Bielik-11B-v2.3-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyczerpująco w języku polskim."},
    {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
    {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
    {"role": "user", "content": "Która jest najcieplejsza?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = input_ids.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

高级用法

# Bielik-11B-v2.3-Instruct使用[ChatML](https://github.com/cognitivecomputations/OpenChatML)作为提示格式。
prompt = "<s><|im_start|> user\nJakie mamy pory roku?<|im_end|> \n<|im_start|> assistant\n"
completion = "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> \n"

📚 详细文档

模型信息

量化模型

为了满足不同用户的需求，提供了Bielik-11B-v2.3-Instruct模型的量化版本：

• GGUF - Q4_K_M, Q5_K_M, Q6_K, Q8_0
• GPTQ - 4bit
• FP8 (vLLM, SGLang - Ada Lovelace, Hopper优化)
• GGUF - 实验性 - IQ imatrix IQ1_M, IQ2_XXS, IQ3_XXS, IQ4_XS和校准后的Q4_K_M, Q5_K_M, Q6_K, Q8_0

请注意，量化模型生成的答案质量可能低于完整版本。

聊天模板

Bielik-11B-v2.3-Instruct使用ChatML作为提示格式。

例如：

prompt = "<s><|im_start|> user\nJakie mamy pory roku?<|im_end|> \n<|im_start|> assistant\n"
completion = "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> \n"

这种格式可以通过apply_chat_template()方法作为聊天模板使用。

🔧 技术细节

• 训练数据：SpeakLeash团队正在开发自己的波兰语指令集，并由注释人员不断扩展和完善。部分经过手动验证和修正的指令用于训练。此外，由于高质量的波兰语指令有限，使用Mixtral 8x22B生成了合成指令并用于训练。训练数据集包含超过2000万条指令，由超过100亿个标记组成。
• 改进策略：为了应对指令质量参差不齐导致的模型性能下降问题，引入了以下改进策略：
  • 加权标记级损失：受离线强化学习和C-RLFT的启发。
  • 自适应学习率：受学习率与批量大小关系研究的启发。
  • 掩码提示标记
• 模型对齐：为了使模型与用户偏好对齐，测试了多种技术，最终采用了DPO-Positive方法，利用了生成和手动修正的示例，并由元模型进行评分。使用了包含超过66000个不同长度示例的数据集，通过奖励模型进行过滤和评估，以选择合适的指令。该方法的新颖之处在于引入了多轮对话。
• 训练框架：使用由Krzysztof Ociepa实现的开源框架ALLaMo进行训练，该框架允许用户快速高效地训练与LLaMA和Mistral架构类似的语言模型。
• 模型合并：由Remigiusz Kinas使用mergekit以float16精度将多个模型进行合并。

📄 许可证

该模型使用Apache 2.0许可证和使用条款。

📈 评估结果

Bielik-11B-v2.3-Instruct在多个基准测试中进行了评估，以评估其在各种任务和语言中的性能。

Open PL LLM Leaderboard

结果表明：

• 同类别表现卓越：在参数少于70B的模型中表现优于其他模型，展示了其高效性和有效性。
• 与大型模型竞争：得分65.71，与70B参数范围的模型表现相当，体现了其先进的架构和训练方法。
• 较前版本显著提升：相比前作Bielik-7B-Instruct-v0.1有明显提升。
• 波兰语模型领先：在波兰语模型中处于领先地位，是波兰自然语言处理任务的重要资源。

Open LLM Leaderboard

结果显示：

• 英语任务表现出色：在英语任务上有显著提升，比基础模型提高4分，比Bielik-7B-Instruct-v0.1提高18分。
• 多语言通用性：展示了在波兰语和英语任务中的通用性，体现了指令微调过程的有效性。

波兰MT-Bench

MT-Bench英语

MT-Bench波兰语

关键观察：

• 中型模型表现强劲：得分8.556250，领先于GPT-3.5-turbo等模型，在11B - 70B参数范围的模型中具有竞争力。
• 与大型模型竞争：与参数更多的模型表现接近，在资源受限的任务中具有吸引力。
• 较前版本显著提升：相比Bielik-7B-Instruct-v0.1得分提高近2.5分，展示了模型质量、优化和训练方法的进步。

波兰EQ-Bench

MixEval

结果显示，Bielik-11B-v2.3-Instruct在MixEval基准测试中表现良好，在标准MixEval和MixEval-Hard上的得分分别为72.95和43.20。值得注意的是，在两个指标上都显著优于Mistral-7B-Instruct-v0.2，尽管基于相似的架构，但展示了其改进的能力。

⚠️ 局限性和偏差

Bielik-11B-v2.3-Instruct是一个快速演示，表明基础模型可以轻松微调以实现令人信服和有前景的性能。它没有任何审核机制。期待与社区合作，使模型遵守规则，以便在需要审核输出的环境中部署。该模型可能会产生事实错误的输出，不应依赖它来产生准确的事实数据。它基于各种公共数据集进行训练，尽管在清理训练数据方面付出了很大努力，但仍有可能生成不适当、虚假、有偏见或其他冒犯性的输出。

📖 引用

请使用以下格式引用此模型：

@misc{ociepa2025bielik11bv2technical,
      title={Bielik 11B v2 Technical Report}, 
      author={Krzysztof Ociepa and Łukasz Flis and Krzysztof Wrόbel and Adrian Gwoździej and Remigiusz Kinas},
      year={2025},
      eprint={2505.02410},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.02410}, 
}
@misc{Bielik11Bv21i,
    title     = {Bielik-11B-v2.3-Instruct model card},
    author    = {Ociepa, Krzysztof and Flis, Łukasz and Kinas, Remigiusz and Gwoździej, Adrian and Wrόbel, Krzysztof and {SpeakLeash Team} and {Cyfronet Team}},
    year      = {2024},
    url       = {https://huggingface.co/speakleash/Bielik-11B-v2.3-Instruct},
    note      = {Accessed: 2024-09-16}, % change this date
    urldate   = {2024-09-16} % change this date
}
@misc{ociepa2024bielik7bv01polish,
      title={Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation}, 
      author={Krzysztof Ociepa and Łukasz Flis and Krzysztof Wrόbel and Adrian Gwoździej and Remigiusz Kinas},
      year={2024},
      eprint={2410.18565},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.18565}, 
}

👥 模型训练负责人

• Krzysztof Ociepa^SpeakLeash - 团队领导、概念设计、数据准备、流程优化和训练监督
• Łukasz Flis^{Cyfronet AGH} - 协调和监督训练
• Remigiusz Kinas^SpeakLeash - 概念设计和协调DPO训练、数据准备
• Adrian Gwoździej^SpeakLeash - 数据准备和确保数据质量
• Krzysztof Wrόbel^SpeakLeash - 基准测试

该模型的创建离不开整个SpeakLeash团队的奉献和努力，他们的贡献是无价的。由于许多人的辛勤工作，才能够收集大量的波兰语内容，并建立了开放科学SpeakLeash项目与高性能计算中心ACK Cyfronet AGH之间的合作。为模型创建做出贡献的个人： Sebastian Kondracki、 Igor Ciuciura、 Pawel Kiszczak、 Szymon Baczyński、 Jacek Chwila、 Maria Filipkowska、 Jan Maria Kowalski、 Karol Jezierski、 Kacper Milan、 Jan Sowa、 Len Krawczyk、 Marta Seidler、 Agnieszka Ratajska、 Krzysztof Koziarek、 Szymon Pepliński、 Zuzanna Dabić、 Filip Bogacz、 Agnieszka Kosiak、 Izabela Babis、 Nina Babis。

ACK Cyfronet AGH团队的成员提供了宝贵的支持和专业知识： Szymon Mazurek、 Marek Magryś、 Mieszko Cholewa。

📞 联系我们

如果您有任何问题或建议，请使用讨论标签。如果您想直接联系我们，请加入我们的Discord SpeakLeash。