Maestrale Chat V0.3 Beta

🚀 馬埃斯特rale聊天測試版 ༄

馬埃斯特rale聊天測試版是一款專為意大利語設計的語言模型，基於Mistral - 7b進行持續預訓練和微調，能為用戶提供高質量的意大利語對話服務。

🚀 快速開始

本模型使用ChatML提示格式，以下是使用示例：

<|im_start|>system
Sei un assistente utile.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下是Python代碼示例，展示如何使用該模型：

from transformers import (
    AutoTokenizer, 
    AutoModelForCausalLM, 
    GenerationConfig,
    TextStreamer
)
import torch

tokenizer = AutoTokenizer.from_pretrained("mii-llm/maestrale-chat-v0.3-beta")
model = AutoModelForCausalLM.from_pretrained("mii-llm/maestrale-chat-v0.3-beta", load_in_8bit=True, device_map="auto")

gen = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    repetition_penalty=1.2,
    top_k=50,
    top_p=0.95,
    max_new_tokens=500,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)

streamer = TextStreamer(tokenizer, skip_prompt=True)

messages = [
    {"role": "system", "content": "Sei un assistente utile."},
    {"role": "user", "content": "{prompt}"}
]

with torch.no_grad():
    temp = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = tokenizer(temp, return_tensors="pt").to("cuda")

    _ = model.generate(
        **inputs,
        streamer=streamer,
        generation_config=gen
    )

✨ 主要特性

• 語言模型：基於Mistral - 7b專為意大利語打造，在精心策劃的大規模高質量意大利語語料庫上進行持續預訓練。
• 微調：在對話/指令上進行了三個週期的SFT微調。
• KTO對齊：與KTO對齊。
• v0.3版本特性：
  • 支持函數調用。
  • 減少默認系統提示，避免浪費令牌（預對齊）。

📚 詳細文檔

模型描述

該模型是針對意大利語的Mistral - 7b語言模型，在特定的大規模高質量意大利語語料庫上進行了持續預訓練，並進行了三個週期的SFT微調，同時與KTO對齊。v0.3版本增加了函數調用功能，並對默認系統提示進行了優化。

📄 許可證

本模型使用CC - BY - NC - 4.0許可證。

模型信息表格

提示信息

⚠️ 重要提示

這是一個測試版本，並不“安全”。

💡 使用建議

如果你想為項目做出貢獻，請點擊此處進行捐贈，這將有助於我們構建更好的數據集和模型。

本模型由@efederici和@mferraretto開發。