Bielik 4.5B V3.0 Instruct

🚀 Bielik-4.5B-v3-Instruct

Bielik-4.5B-v3-Instruct是一個擁有46億參數的生成式文本模型。它是Bielik-4.5B-v3的指令微調版本。該模型是開放科學/開源項目SpeakLeash與高性能計算（HPC）中心ACK Cyfronet AGH獨特合作的成果。它基於SpeakLeash團隊精心挑選和處理的波蘭語文本語料庫進行開發和訓練，藉助了波蘭的大規模計算基礎設施，特別是在PLGrid環境中，更確切地說是在ACK Cyfronet AGH高性能計算中心。Bielik-4.5B-v3-Instruct的創建和訓練得到了計算資助項目編號PLG/2024/017214和PLG/2025/018338的支持，在Athena和Helios超級計算機上進行，這使得模型能夠利用大規模機器學習過程所需的前沿技術和計算資源。因此，該模型在理解和處理波蘭語方面表現出色，能夠提供準確的響應，並高精度地執行各種語言任務。

📚 技術報告：https://arxiv.org/abs/2505.02550

✨ 主要特性

• 基於波蘭語文本語料庫開發和訓練，對波蘭語的理解和處理能力出色。
• 藉助大規模計算基礎設施和前沿技術，能高精度執行各種語言任務。
• 經過指令微調，能更好地理解和響應用戶指令。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model_name = "speakleash/Bielik-4.5B-v3-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."},
    {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
    {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
    {"role": "user", "content": "Która jest najcieplejsza?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = input_ids.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

高級用法

文檔未提及高級用法示例，故跳過此部分。

📚 詳細文檔

模型

SpeakLeash團隊正在開發自己的波蘭語指令集，該指令集由註釋人員不斷擴展和完善。其中一部分經過人工驗證和修正的指令被用於訓練。此外，由於高質量的波蘭語指令有限，團隊使用Bielik 11B v2.3生成了合成指令並用於訓練。訓練使用的數據集包含超過1900萬條指令，由超過120億個標記組成。

為了使模型符合用戶偏好，團隊測試了多種不同的技術：DPO、PPO、KTO、SiMPO。最終採用了DPO-Positive方法，該方法利用了生成的和人工修正的示例，並由元模型進行評分。一個包含超過111,000個不同長度示例的數據集被用於處理響應風格的不同方面。該數據集經過獎勵模型的過濾和評估，以選擇在所選和拒絕之間具有適當差異水平的指令。DPO-P方法的創新之處在於引入了多輪對話。

Bielik指令模型是使用由Krzysztof Ociepa實現的名為ALLaMo的原創開源框架進行訓練的。該框架允許用戶以快速高效的方式訓練與LLaMA和Mistral架構類似的語言模型。

模型描述

聊天模板

Bielik-4.5B-v3-Instruct使用ChatML作為提示格式。

例如：

prompt = "<s><|im_start|> user\nJakie mamy pory roku?<|im_end|> \n<|im_start|> assistant\n"
completion = "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> \n"

此格式可通過apply_chat_template()方法作為聊天模板使用：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model_name = "speakleash/Bielik-4.5B-v3-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."},
    {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
    {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
    {"role": "user", "content": "Która jest najcieplejsza?"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = input_ids.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

通過apply_chat_template格式化後的完整輸入對話示例：

<s><|im_start|> system
Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim.<|im_end|> 
<|im_start|> user
Jakie mamy pory roku w Polsce?<|im_end|> 
<|im_start|> assistant
W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.<|im_end|> 
<|im_start|> user
Która jest najcieplejsza?<|im_end|>

🔧 技術細節

• 指令集開發：SpeakLeash團隊開發波蘭語指令集，部分人工驗證修正的指令及合成指令用於訓練，訓練數據集含超1900萬條指令、超120億個標記。
• 微調技術：測試多種技術後採用DPO-Positive方法，利用生成和人工修正示例，經元模型評分，數據集經獎勵模型過濾評估。
• 訓練框架：使用原創開源框架ALLaMo訓練，可快速高效訓練類似LLaMA和Mistral架構的語言模型。

📄 許可證

本模型使用Apache 2.0許可證和使用條款。

侷限性和偏差

Bielik-4.5B-v3-Instruct只是一個快速演示，表明基礎模型可以輕鬆進行微調以實現令人信服和有前景的性能。它沒有任何審核機制。團隊期待與社區合作，使模型遵守規則，以便在需要審核輸出的環境中部署。

Bielik-4.5B-v3-Instruct可能會產生事實錯誤的輸出，不應依賴它來產生事實準確的數據。該模型在各種公共數據集上進行訓練。儘管團隊已盡力清理訓練數據，但該模型仍有可能生成淫穢、虛假、有偏見或其他冒犯性的輸出。

引用

請使用以下格式引用此模型：

@misc{ociepa2025bielikv3smalltechnical,
      title={Bielik v3 Small: Technical Report}, 
      author={Krzysztof Ociepa and Łukasz Flis and Remigiusz Kinas and Krzysztof Wróbel and Adrian Gwoździej},
      year={2025},
      eprint={2505.02550},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2505.02550}, 
}

@misc{Bielik45Bv3i,
    title     = {Bielik-4.5B-v3-Instruct model card},
    author    = {Ociepa, Krzysztof and Flis, Łukasz and Kinas, Remigiusz and Gwoździej, Adrian and Wróbel, Krzysztof and {SpeakLeash Team} and {Cyfronet Team}},
    year      = {2025},
    url       = {https://huggingface.co/speakleash/Bielik-4.5B-v3-Instruct},
    note      = {Accessed: 2025-05-06}, % change this date
    urldate   = {2025-05-06} % change this date
}

模型訓練負責人

• Krzysztof Ociepa^SpeakLeash - 團隊領導、概念設計、數據準備、流程優化和訓練監督
• Łukasz Flis^{Cyfronet AGH} - 協調和監督訓練
• Remigiusz Kinas^SpeakLeash - 概念設計、協調強化學習訓練、數據準備、基準測試和量化
• Adrian Gwoździej^SpeakLeash - 數據準備和確保數據質量
• Krzysztof Wróbel^SpeakLeash - 基準測試

如果沒有整個SpeakLeash團隊的奉獻和努力，這個模型就不可能創建出來，他們的貢獻是無價的。由於許多人的辛勤工作，才有可能收集到大量的波蘭語內容，並在開放科學的SpeakLeash項目和高性能計算中心ACK Cyfronet AGH之間建立合作。為模型創建做出貢獻的個人包括： Sebastian Kondracki、 Igor Ciuciura、 Szymon Baczyński、 Jacek Chwiła、 Dominika Basaj、 Kuba Sołtys、 Karol Jezierski、 Anna Przybył、 Agnieszka Ratajska、 Witold Wydmański、 Izabela Babis、 Nina Babis。

ACK Cyfronet AGH團隊的成員提供了寶貴的支持和專業知識，他們是： Szymon Mazurek、 Marek Magryś、 Mieszko Cholewa 。

團隊衷心感謝波蘭高性能計算基礎設施PLGrid（高性能計算中心：ACK Cyfronet AGH）通過計算資助項目編號PLG/2024/017214和PLG/2025/018338提供計算機設施和支持。

聯繫我們

如果您有任何問題或建議，請使用討論標籤。如果您想直接聯繫我們，請加入Discord SpeakLeash。