Minueza 32M UltraChat

🚀 Minueza-32M-UltraChat：一个拥有3200万参数的聊天模型

Minueza-32M-UltraChat是一款具有3200万参数的聊天模型，它基于特定的基础模型，使用了丰富的数据集进行训练，能够为用户提供多样化的文本生成服务，适用于多种自然语言处理场景。

🚀 快速开始

推荐的提示格式

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

推荐的推理参数

do_sample: true
temperature: 0.65
top_p: 0.55
top_k: 35
repetition_penalty: 1.176

✨ 主要特性

• 基础模型：基于 Felladrin/Minueza-32M-Base 构建。
• 数据集：使用了 [ChatML] HuggingFaceH4/ultrachat_200k 数据集进行训练。
• 许可证：采用 Apache License 2.0 许可证。
• 其他机器学习格式支持：
  • GGUF 格式：Felladrin/gguf-Minueza-32M-UltraChat
  • ONNX 格式：Felladrin/onnx-Minueza-32M-UltraChat

💻 使用示例

基础用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-UltraChat")

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and friendly assistant. Your goal is to understand and respond to user inquiries with clarity. Your interactions are always respectful, helpful, and focused on delivering the most accurate information to the user.",
    },
    {
        "role": "user",
        "content": "Hey! Got a question for you!",
    },
    {
        "role": "assistant",
        "content": "Sure! What's it?",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

🔧 技术细节

训练方式

该模型使用 SFTTrainer 进行训练，具体设置如下：

📚 详细文档

Open LLM Leaderboard评估结果

详细结果可查看 此处

📄 许可证

本模型采用 Apache License 2.0 许可证。