Minueza 32M UltraChat

🚀 Minueza-32M-UltraChat：一個擁有3200萬參數的聊天模型

Minueza-32M-UltraChat是一款具有3200萬參數的聊天模型，它基於特定的基礎模型，使用了豐富的數據集進行訓練，能夠為用戶提供多樣化的文本生成服務，適用於多種自然語言處理場景。

🚀 快速開始

推薦的提示格式

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

推薦的推理參數

do_sample: true
temperature: 0.65
top_p: 0.55
top_k: 35
repetition_penalty: 1.176

✨ 主要特性

• 基礎模型：基於 Felladrin/Minueza-32M-Base 構建。
• 數據集：使用了 [ChatML] HuggingFaceH4/ultrachat_200k 數據集進行訓練。
• 許可證：採用 Apache License 2.0 許可證。
• 其他機器學習格式支持：
  • GGUF 格式：Felladrin/gguf-Minueza-32M-UltraChat
  • ONNX 格式：Felladrin/onnx-Minueza-32M-UltraChat

💻 使用示例

基礎用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-UltraChat")

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and friendly assistant. Your goal is to understand and respond to user inquiries with clarity. Your interactions are always respectful, helpful, and focused on delivering the most accurate information to the user.",
    },
    {
        "role": "user",
        "content": "Hey! Got a question for you!",
    },
    {
        "role": "assistant",
        "content": "Sure! What's it?",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

🔧 技術細節

訓練方式

該模型使用 SFTTrainer 進行訓練，具體設置如下：

📚 詳細文檔

Open LLM Leaderboard評估結果

詳細結果可查看 此處

📄 許可證

本模型採用 Apache License 2.0 許可證。