Maestrale Chat V0.4 Beta

🚀 Maestrale chat beta ༄

Maestrale chat beta 是一款專為意大利語設計的語言模型，通過在精心策劃的大規模高質量語料庫上進行持續預訓練，並結合了SFT和DPO微調技術，在多個任務上展現出了良好的性能。它能處理多種複雜的任務，如生成Mermaid思維導圖、SQL查詢語句和文章等。

✨ 主要特性

• 語言模型：基於Mistral - 7b的意大利語模型，在精心挑選的大規模高質量意大利語語料庫上進行持續預訓練，並與 occiglot 合併。
• 微調：在170萬個對話/指令上進行了2個輪次的SFT微調。
• DPO對齊：在多個數據集上使用DPO進行對齊。
• v0.4版本更新：
  • 新增Agent功能。
  • 提高了回答的真實性。
  • 增強了數學和推理能力。
  • 支持Mermaid思維導圖。
  • 提供更多拉丁語翻譯、詩歌等內容。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示安裝指南相關內容。

💻 使用示例

基礎用法

from transformers import (
    AutoTokenizer, 
    AutoModelForCausalLM, 
    GenerationConfig,
    TextStreamer
)
import torch

tokenizer = AutoTokenizer.from_pretrained("mii-llm/maestrale-chat-v0.4-beta")
model = AutoModelForCausalLM.from_pretrained("mii-llm/maestrale-chat-v0.4-beta", load_in_8bit=True, device_map="auto")

gen = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    repetition_penalty=1.2,
    top_k=50,
    top_p=0.95,
    max_new_tokens=500,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)

streamer = TextStreamer(tokenizer, skip_prompt=True)

messages = [
    {"role": "system", "content": "Sei un assistente utile."},
    {"role": "user", "content": "{prompt}"}
]

with torch.no_grad():
    temp = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = tokenizer(temp, return_tensors="pt").to("cuda")

    _ = model.generate(
        **inputs,
        streamer=streamer,
        generation_config=gen
    )

高級用法

生成Mermaid思維導圖

messages = [
  {"role": "system", "content": "Fornisci una mindmap Mermaid sull'argomento in input."},
  {"role": "user", "content": "Argomento: [argomento]"}
]

生成SQL查詢語句

schema = "[db schema]"
messages = [
  {"role": "system", "content": f"Sei un assistente SQL e il tuo compito è convertire la domanda dell'utente in codice SQL valido rispetto allo schema del database fornito.\n\nSchema:\n```sql\n{schema}\n```"},
  {"role": "user", "content": "Conta il numero di X prodotti dall'azienda Y"}
]

根據標題和索引生成文章

messages = [
  {"role": "system", "content": "Sei un assistente utile."},
  {"role": "user", "content": (
    "Scrivi un articolo a partire dal titolo e dall'indice dei contenuti.\n\n"
    "Titolo: [titolo]\n\n"
    "Indice:\n\n"
    "1. Introduzione\n"
    "2. [heading]\n"
    "..."
  )}
]

📚 詳細文檔

模型得分

預期用途和限制

這是一個測試版本，模型相對安全，可以拒絕回答有害問題。

📄 許可證

本模型採用CC - BY - NC - 4.0許可證。

模型信息