Maestrale Chat V0.3 Beta

🚀 マエストラーレチャットベータ ༄

@efederici と @mferraretto による作品

このモデルは、イタリア語用のMistral - 7bをベースに、選りすぐりの大規模高品質コーパスでイタリア語向けに事前学習を続け、さらにSFTを3エポック行ったものです。また、KTOに沿って調整されています。

✨ 主な機能

v0.3の新機能

• 関数呼び出し機能
• トークンの浪費を避けるため、デフォルトのシステムプロンプトを削減（事前調整）

モデルの特徴

• 言語モデル：イタリア語用のMistral - 7bを使用し、選りすぐりの大規模高品質コーパスでイタリア語向けに事前学習を続けています。
• ファインチューニング：会話や命令に対して3エポックのSFTを行っています。
• KTO：KTOに沿って調整されています。

このモデルはChatMLプロンプト形式を使用しています。

<|im_start|>system
Sei un assistente utile.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📦 インストール

このセクションでは、必要なライブラリのインストールについては省略しています。通常、transformers ライブラリをインストールする必要があります。

💻 使用例

基本的な使用法

from transformers import (
    AutoTokenizer, 
    AutoModelForCausalLM, 
    GenerationConfig,
    TextStreamer
)
import torch

tokenizer = AutoTokenizer.from_pretrained("mii-llm/maestrale-chat-v0.3-beta")
model = AutoModelForCausalLM.from_pretrained("mii-llm/maestrale-chat-v0.3-beta", load_in_8bit=True, device_map="auto")

gen = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    repetition_penalty=1.2,
    top_k=50,
    top_p=0.95,
    max_new_tokens=500,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)

streamer = TextStreamer(tokenizer, skip_prompt=True)

messages = [
    {"role": "system", "content": "Sei un assistente utile."},
    {"role": "user", "content": "{prompt}"}
]

with torch.no_grad():
    temp = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = tokenizer(temp, return_tensors="pt").to("cuda")

    _ = model.generate(
        **inputs,
        streamer=streamer,
        generation_config=gen
    )

📚 ドキュメント

使用目的と制限事項

このモデルはベータ版であり、安全ではありません。

📄 ライセンス

このモデルはCC - BY - NC - 4.0ライセンスの下で提供されています。