Tinymistral 6x248M Instruct

🚀 M4-ai/TinyMistral-6x248M-Instruct模型卡片

本模型是一个基于专家混合（Mixture of Experts, MoE）架构微调的语言模型，通过LazyMergekit框架巧妙融合多个模型，在各类指令任务中表现出色，为开发者和研究者提供强大的文本生成支持。

🚀 快速开始

安装依赖

!pip install -qU transformers bitsandbytes accelerate

代码示例

from transformers import AutoTokenizer
import transformers
import torch

model = "M4-ai/TinyMistral-6x248M-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

✨ 主要特性

• 专家混合架构：基于Mixture of Experts (MoE) 架构，集合多个模型的优势，各专家模型在不同领域各有所长，从技术软件开发到多语言文本生成。
• 微调优化：使用hercules-v1.0数据集进行微调，显著提升模型在指令任务上的性能。
• 广泛适用性：适用于多种任务，如技术解释、教育内容生成、政策分析以及跨学科问题解决。

📚 详细文档

模型详情

模型描述

M4-ai/TinyMistral-6x248M-Instruct是基于专家混合（MoE）架构微调的语言模型。它通过LazyMergekit框架将多个模型巧妙组合。基础预训练混合模型包含多个版本的TinyMistral模型，每个专家模型专注于不同领域，从技术软件开发到多语言文本生成。此微调版本通过hercules-v1.0数据集提升了模型在指令任务上的性能，适用于需要指导、解释和分析的各种应用场景。

预期用途

该模型专为需要复杂语言模型来理解和生成指令性文本的开发者和研究人员设计。适用于多种任务，包括但不限于技术解释、教育内容、政策分析以及跨学科问题解决，如计算机科学、历史和自然科学。用户在处理敏感话题时应注意模型的局限性和潜在偏差。

训练数据

模型使用hercules-v1.0数据集进行微调，该数据集是teknium/openhermes数据集的增强版本。Hercules-v1.0包含更新的数据源，如ise-uiuc/Magicoder-Evol-Instruct-110K、jondurbin/airoboros-3.2和WizardLM/WizardLM_evol_instruct_V2_196k，以及数学、化学、物理和生物学等专业数据集。数据集已清理，去除了RLHF拒绝和airoboros-3.2中潜在的有毒内容，但仍可能有少量敏感内容。

局限性和偏差

尽管对训练数据进行了清理，但与任何大语言模型一样，仍存在偏差和有害内容的潜在风险。用户在使用模型时应谨慎，特别是在可能放大现有偏差或使敏感内容暴露的应用场景中。不建议在需要严格内容审核的场景中使用，或供无法批判性过滤或评估模型输出的用户使用。

评估

使用推理API时观察到性能下降，因此不建议使用此方式。用户应遵循基础模型卡片中提供的推荐推理参数以优化性能。

免责声明

模型在hercules-v1.0数据集上进行了微调，该数据集包含来自已知有毒示例来源的内容。使用M4-ai/TinyMistral-6x248M-Instruct的用户必须承认并同意以下内容：

• 数据集可能包含“有毒”/“有害”内容、亵渎性语言和敏感材料。
• 内容不一定反映开发者的信仰或观点。
• 用户必须遵守当地关于言论自由和内容使用的法律。
• 用户对数据集和模型的下载和使用承担全部责任，并使开发者免于所有责任。

贡献者

感谢@jtatman、@aloobun、@Felladrin和@Locutusque对本模型的贡献。

📄 许可证

本模型采用Apache-2.0许可证。