MKLLM 7B Instruct

🚀 MKLLM-7B-Instruct

MKLLM-7B是一款面向馬其頓語的開源大語言模型。該模型基於出色的Mistral-7B-v0.1模型構建，通過在馬其頓語和英語混合文本上進行持續預訓練得到。 訓練過程中使用了約3億個標記的語料庫，重複訓練2個週期。儘管與其他類似項目相比，這個規模可能較小，但最終得到的模型在理解和處理馬其頓語方面表現出色。

這是MKLLM-7B的指令微調版本。它以MKLLM-7B為基礎，使用axolotl工具，採用chatml對話格式進行了全面的指令訓練。

我們在一組翻譯成馬其頓語的基準測試中，將該模型與Meta的Llama3-8B-Instruct和Mistral的Mistral-7B-Instruct-v0.3進行了對比。結果顯示，MKLLM-7B在其類別中表現優於這兩個領先模型。 此外，這些基準測試主要側重於理解能力，並未衡量生成能力和流暢度。在這些方面，我們認為MKLLM-7B-Instruct的性能差異更大，因為它生成的馬其頓語文本更加連貫。 基準測試使用的工具可參考：https://github.com/N13T/mk-llm-eval

🚀 快速開始

為了利用指令訓練的優勢，你的提示應遵循chatml格式：

<|im_start|>system
與好奇的用戶和人工智能助手之間的對話。助手為用戶的問題提供有用、詳細和友好的回答。<|im_end|>
<|im_start|>user
哪顆行星被稱為“紅色行星”？<|im_end|>
<|im_start|>assistant
火星<|im_end|> 

這個提示可以作為聊天模板使用，這意味著你可以使用tokenizer.apply_chat_template()方法來格式化消息：

messages = [
    {"role": "system", "content": "與好奇的用戶和人工智能助手之間的對話。助手為用戶的問題提供有用、詳細和友好的回答。"},
    {"role": "user", "content": "哪顆行星被稱為“紅色行星”？"}
]
gen_input = tokenizer.apply_chat_template(messages, 
                                          tokenize=True,
                                          return_dict=True,
                                          return_tensors="pt",
                                          add_generation_prompt=True).to("cuda")
with torch.no_grad():
  generated_ids = model.generate(**gen_input, max_new_tokens=150,
                                                do_sample=True,
                                                temperature=0.1,
                                                repetition_penalty=1.1,
                                 )
print(tokenizer.decode(generated_ids[0][prompt["input_ids"].shape[1]:], skip_special_tokens=False))

✨ 主要特性

• 開源模型：MKLLM-7B是面向馬其頓語的開源大語言模型，基於Mistral-7B-v0.1模型持續預訓練得到。
• 指令微調：該版本經過指令微調，使用axolotl工具和chatml對話格式進行訓練。
• 性能出色：在馬其頓語基準測試中，表現優於Meta的Llama3-8B-Instruct和Mistral的Mistral-7B-Instruct-v0.3。
• 生成連貫：在生成馬其頓語文本時更加連貫。

🔧 技術細節

• 基礎模型：Mistral-7B-v0.1
• 訓練數據：約3億個標記的語料庫，包含馬其頓語和英語文本，重複訓練2個週期。
• 訓練工具：axolotl
• 對話格式：chatml

📄 許可證

本項目採用CC BY-NC-SA 4.0許可證。

⚠️ 重要提示

MKLLM-7B-Instruct可能會產生幻覺並輸出事實性錯誤的內容。由於訓練數據集較小，在討論馬其頓語主題時，這種情況尤為明顯。