Minueza 32M Chat

🚀 Minueza-32M-Chat：一個擁有3200萬參數的聊天模型

Minueza-32M-Chat是一個參數規模為3200萬的聊天模型，它基於特定的基礎模型，使用了豐富的數據集進行訓練，在文本生成任務上有一定的表現。

🚀 快速開始

推薦的提示格式

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

推薦的推理參數

do_sample: true
temperature: 0.65
top_p: 0.55
top_k: 35
repetition_penalty: 1.176

使用示例

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Chat")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers the user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

✨ 主要特性

• 基礎模型：基於 Felladrin/Minueza-32M-Base 構建。
• 多數據集訓練：在監督微調（SFT）和直接偏好優化（DPO）階段使用了多個數據集，包括 databricks/databricks-dolly-15k、euclaise/reddit-instruct-curated 等。
• 多格式支持：支持 GGUF 和 ONNX 等其他機器學習格式，可在 Felladrin/gguf-Minueza-32M-Chat 和 Felladrin/onnx-Minueza-32M-Chat 查看。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Chat")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers the user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.65,
    top_k=35,
    top_p=0.55,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

📚 詳細文檔

訓練使用的數據集

監督微調（SFT）階段使用的數據集

• [ChatML] databricks/databricks-dolly-15k
• [ChatML] euclaise/reddit-instruct-curated
• [ChatML] THUDM/webglm-qa
• [ChatML] starfishmedical/webGPT_x_dolly
• [ChatML] LDJnr/Capybara
• [ChatML] Open-Orca/SlimOrca-Dedup
• [ChatML] HuggingFaceH4/ultrachat_200k
• [ChatML] nvidia/HelpSteer
• [ChatML] sablo/oasst2_curated
• [ChatML] CohereForAI/aya_dataset

直接偏好優化（DPO）階段使用的數據集

• [ChatML] argilla/distilabel-capybara-dpo-7k-binarized
• [ChatML] argilla/distilabel-intel-orca-dpo-pairs
• [ChatML] argilla/ultrafeedback-binarized-preferences
• [ChatML] sablo/oasst2_dpo_pairs_en
• [ChatML] NeuralNovel/Neural-DPO

訓練設置

監督微調

直接偏好優化

評估結果

Open LLM Leaderboard評估結果 詳細結果可查看 此處

🔧 技術細節

文檔未提供具體技術細節，暫不展示。

📄 許可證

本模型使用 Apache License 2.0 許可證。