Minueza 32M UltraChat

🚀 Minueza-32M-UltraChat：3200万パラメータのチャットモデル

Minueza-32M-UltraChatは、3200万のパラメータを持つチャットモデルです。特定のベースモデルとデータセットを使用してトレーニングされ、さまざまなタスクでの使用が可能です。

🚀 クイックスタート

基本情報

• ベースモデル：Felladrin/Minueza-32M-Base
• データセット：[ChatML] HuggingFaceH4/ultrachat_200k
• ライセンス：Apache License 2.0
• 他のML形式での利用可能性：
  • GGUF：Felladrin/gguf-Minueza-32M-UltraChat
  • ONNX：Felladrin/onnx-Minueza-32M-UltraChat

推奨プロンプト形式

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

推奨推論パラメータ

do_sample: true
temperature: 0.65
top_p: 0.55
top_k: 35
repetition_penalty: 1.176

💻 使用例

基本的な使用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-UltraChat")

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and friendly assistant. Your goal is to understand and respond to user inquiries with clarity. Your interactions are always respectful, helpful, and focused on delivering the most accurate information to the user.",
    },
    {
        "role": "user",
        "content": "Hey! Got a question for you!",
    },
    {
        "role": "assistant",
        "content": "Sure! What's it?",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

🔧 技術詳細

トレーニング方法

このモデルは、SFTTrainerを使用して以下の設定でトレーニングされました。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはApache License 2.0の下で提供されています。