Minueza 32M Base

🚀 Minueza-32M-Base

Minueza-32M-Base是一个拥有3200万参数的基础模型，它基于大量英文文本语料从头开始训练。该模型适用于在移动网页浏览器上运行，能在无GPU的机器上快速运行，还可作为使用ChatML格式进行微调的基础模型。

🚀 快速开始

Minueza-32M-Base是一个基础模型，你可以通过以下代码运行它：

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Base")

prompt = "The best way to improve your health is"

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.72,
    top_p=0.73,
    top_k=50,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

✨ 主要特性

• 多格式支持：该模型提供了Safetensors、GGUF和ONNX等多种格式。
• 多种微调版本：同时发布了多个微调版本，如Minueza-32M-UltraChat、Minueza-32M-Chat、Minueza-32Mx2-Chat等。
• 特定场景适用性：旨在通过Transformers.js在移动网页浏览器上运行，也能在无GPU的机器上快速运行。
• 支持ChatML格式：可作为使用ChatML格式进行微调的基础模型，包含两个额外的特殊标记 (<|im_start|> 和 <|im_end|>)，并以 <|im_end|> 作为默认的结束标记。

📦 安装指南

文档未提及具体安装步骤，可参考Hugging Face相关文档进行安装。

💻 使用示例

基础用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Base")

prompt = "The best way to improve your health is"

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.72,
    top_p=0.73,
    top_k=50,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

高级用法

文档未提及高级用法示例，可根据具体任务对模型进行应用特定的微调。

📚 详细文档

数据集

该模型在以下非合成数据集的子集上进行训练：

• Skylion007/openwebtext
• c4
• wikimedia/wikipedia - 20231101.simple
• tiiuae/falcon-refinedweb
• izumi-lab/open-text-books
• togethercomputer/RedPajama-Data-V2
• databricks/databricks-dolly-15k
• euclaise/reddit-instruct-curated
• CohereForAI/aya_dataset - original english annotations

这些子集交错组合，形成了约6.5亿个标记的最终训练语料库。

模型架构

这是一个采用Mistral架构的Transformer模型，在2048个标记的上下文窗口上进行训练。

预训练使用了以下超参数和框架：

超参数

框架

评估结果

详细结果可查看此处

🔧 技术细节

该模型是一个基于Mistral架构的Transformer模型，在2048个标记的上下文窗口上进行训练。预训练使用了特定的超参数和框架，如学习率为5e-05，优化器为Adam等。

📄 许可证

该模型遵循Apache License 2.0许可协议。

⚠️ 重要提示

这只是一个基础模型，对于你的任务，可能需要按照上述建议进行特定应用的微调。此外，该模型在互联网文本数据上进行训练，这些数据可能包含偏差、冒犯性或不适当的内容，并且可能产生不正确或不相关的响应。由于未进行评估，请谨慎使用。

💡 使用建议

可根据具体任务对模型进行应用特定的微调，以获得更好的性能。同时，在使用过程中注意数据的质量和安全性。