Minueza 32M Chat

🚀 Minueza-32M-Chat：一个拥有3200万参数的聊天模型

Minueza-32M-Chat是一个参数规模为3200万的聊天模型，它基于特定的基础模型，使用了丰富的数据集进行训练，在文本生成任务上有一定的表现。

🚀 快速开始

推荐的提示格式

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

推荐的推理参数

do_sample: true
temperature: 0.65
top_p: 0.55
top_k: 35
repetition_penalty: 1.176

使用示例

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Chat")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers the user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

✨ 主要特性

• 基础模型：基于 Felladrin/Minueza-32M-Base 构建。
• 多数据集训练：在监督微调（SFT）和直接偏好优化（DPO）阶段使用了多个数据集，包括 databricks/databricks-dolly-15k、euclaise/reddit-instruct-curated 等。
• 多格式支持：支持 GGUF 和 ONNX 等其他机器学习格式，可在 Felladrin/gguf-Minueza-32M-Chat 和 Felladrin/onnx-Minueza-32M-Chat 查看。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Chat")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers the user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

📚 详细文档

训练使用的数据集

监督微调（SFT）阶段使用的数据集

• [ChatML] databricks/databricks-dolly-15k
• [ChatML] euclaise/reddit-instruct-curated
• [ChatML] THUDM/webglm-qa
• [ChatML] starfishmedical/webGPT_x_dolly
• [ChatML] LDJnr/Capybara
• [ChatML] Open-Orca/SlimOrca-Dedup
• [ChatML] HuggingFaceH4/ultrachat_200k
• [ChatML] nvidia/HelpSteer
• [ChatML] sablo/oasst2_curated
• [ChatML] CohereForAI/aya_dataset

直接偏好优化（DPO）阶段使用的数据集

• [ChatML] argilla/distilabel-capybara-dpo-7k-binarized
• [ChatML] argilla/distilabel-intel-orca-dpo-pairs
• [ChatML] argilla/ultrafeedback-binarized-preferences
• [ChatML] sablo/oasst2_dpo_pairs_en
• [ChatML] NeuralNovel/Neural-DPO

训练设置

监督微调

直接偏好优化

评估结果

Open LLM Leaderboard评估结果 详细结果可查看 此处

🔧 技术细节

文档未提供具体技术细节，暂不展示。

📄 许可证

本模型使用 Apache License 2.0 许可证。