Snakmodel 7b Instruct

🚀 SnakModel

SnakModel是一款專為丹麥語設計的70億參數模型。它基於Llama 2架構，在大量丹麥語語料上進行預訓練和微調，能有效處理丹麥語相關任務，為丹麥語自然語言處理提供強大支持。

🚀 快速開始

以下是一個使用apply_chat_template的代碼片段，展示瞭如何加載分詞器和模型，以及如何生成內容。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "NLPnorth/snakmodel-7b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Hvor ligger IT Universitet?"
messages = [
    {"role": "system", "content": "Du er Snakmodel, skabt af IT-Universitetet i København. Du er en hjælpsom assistent."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=20
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

✨ 主要特性

• 專為丹麥語設計：基於Llama 2架構，在豐富的丹麥語語料上進行預訓練和微調，對丹麥語的處理能力更強。
• 多種版本：提供指令微調版本和基礎版本，每個模型還包含中間檢查點。
• 遵循特定模板：輸入遵循[INST] {instruction} [/INST]模板，便於使用。

📚 詳細文檔

模型詳情

• 模型開發者：丹麥哥本哈根信息技術大學（IT University of Copenhagen）的NLPnorth研究小組。
• 變體：SnakModel有指令微調版和基礎版，每個模型在模型修訂下包含中間檢查點。
• 輸入：僅支持文本輸入，指令需遵循[INST] {instruction} [/INST]模板。
• 輸出：僅輸出文本。
• 模型架構：SnakModel是一個基於Transformer的自迴歸語言模型。指令微調版本使用監督微調（SFT）來實現丹麥語指令跟隨。
• 模型日期：SnakModel於2024年1月至2024年9月期間進行訓練。
• 許可證：該模型遵循原始的Llama 2許可協議。
• 研究論文：計劃於2025年第一季度發佈。

預期用途與限制

• 預期用例：SnakModel專為丹麥語設計，指令微調版本適用於類似助手的聊天場景。指令微調版遵循Llama 2（聊天）指令模板，指令需封裝在特殊標記中，即[INST] {instruction} [/INST]。
• 限制：SnakModel變體在丹麥語數據上進行微調，因此在其他語言中的使用超出了範圍。儘管SnakModel在丹麥語方面比其他基於Llama 2的模型更熟練，但仍經常生成事實錯誤的輸出。在部署模型之前，請務必仔細評估和權衡這些因素，並遵守原始的Llama 2許可協議。

硬件和軟件

• 訓練因素：SnakModel在私有基礎設施上進行訓練，使用一個節點，包含四個NVIDIA A100 - PCIe 40GB GPU。該節點配備AMD Epyc 7662 128核處理器和1TB RAM。
• 碳足跡：總訓練時間為8928 GPU小時，平均碳效率為0.122kg CO2eq / kWh。根據機器學習影響計算器，這相當於排放了272.3kg CO2eq。

訓練數據

• 概述：SnakModel在包含3.5億個文檔和136億個單詞的多樣化丹麥語語料庫上進行連續預訓練。指令微調版本進一步在370萬個丹麥語指令 - 答案對上進行微調。
• 數據新鮮度：預訓練數據的截止日期為2024年1月。

評估結果

引用

@inproceedings{zhang-etal-2025-snakmodel,
    title = "{SnakModel}: {Lessons} Learned from Training an Open {Danish} Large Language Model",
    author = {Zhang, Mike  and
      M{\"u}ller-Eberstein, Max  and
      Bassignana, Elisa  and
      Goot, Rob van der},
    editor = "Johansson, Richard  and
      Stymne, Sara",
    booktitle = "Proceedings of the Joint 25th Nordic Conference on Computational Linguistics and 11th Baltic Conference on Human Language Technologies (NoDaLiDa/Baltic-HLT 2025)",
    month = mar,
    year = "2025",
    address = "Tallinn, Estonia",
    publisher = "University of Tartu Library",
    url = "https://aclanthology.org/2025.nodalida-1.80/",
    pages = "812--825",
    ISBN = "978-9908-53-109-0",
    abstract = "We present SnakModel, a Danish large language model (LLM) based on Llama2-7B, which we continuously pre-train on 13.6B Danish words, and further tune on 3.7M Danish instructions. As best practices for creating LLMs for smaller language communities have yet to be established, we examine the effects of early modeling and training decisions on downstream performance throughout the entire training pipeline, including (1) the creation of a strictly curated corpus of Danish text from diverse sources; (2) the language modeling and instruction-tuning training process itself, including the analysis of intermediate training dynamics, and ablations across different hyperparameters; (3) an evaluation on eight language and culturally-specific tasks. Across these experiments SnakModel achieves the highest overall performance, outperforming multiple contemporary Llama2-7B-based models. By making SnakModel, the majority of our pre-training corpus, and the associated code available under open licenses, we hope to foster further research and development in Danish Natural Language Processing, and establish training guidelines for languages with similar resource constraints."
}

📄 許可證

本模型遵循原始的Llama 2許可協議。