Tinymistral 6x248M Instruct

🚀 M4-ai/TinyMistral-6x248M-Instruct模型卡片

本模型是一個基於專家混合（Mixture of Experts, MoE）架構微調的語言模型，通過LazyMergekit框架巧妙融合多個模型，在各類指令任務中表現出色，為開發者和研究者提供強大的文本生成支持。

🚀 快速開始

安裝依賴

!pip install -qU transformers bitsandbytes accelerate

代碼示例

from transformers import AutoTokenizer
import transformers
import torch

model = "M4-ai/TinyMistral-6x248M-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

✨ 主要特性

• 專家混合架構：基於Mixture of Experts (MoE) 架構，集合多個模型的優勢，各專家模型在不同領域各有所長，從技術軟件開發到多語言文本生成。
• 微調優化：使用hercules-v1.0數據集進行微調，顯著提升模型在指令任務上的性能。
• 廣泛適用性：適用於多種任務，如技術解釋、教育內容生成、政策分析以及跨學科問題解決。

📚 詳細文檔

模型詳情

模型描述

M4-ai/TinyMistral-6x248M-Instruct是基於專家混合（MoE）架構微調的語言模型。它通過LazyMergekit框架將多個模型巧妙組合。基礎預訓練混合模型包含多個版本的TinyMistral模型，每個專家模型專注於不同領域，從技術軟件開發到多語言文本生成。此微調版本通過hercules-v1.0數據集提升了模型在指令任務上的性能，適用於需要指導、解釋和分析的各種應用場景。

預期用途

該模型專為需要複雜語言模型來理解和生成指令性文本的開發者和研究人員設計。適用於多種任務，包括但不限於技術解釋、教育內容、政策分析以及跨學科問題解決，如計算機科學、歷史和自然科學。用戶在處理敏感話題時應注意模型的侷限性和潛在偏差。

訓練數據

模型使用hercules-v1.0數據集進行微調，該數據集是teknium/openhermes數據集的增強版本。Hercules-v1.0包含更新的數據源，如ise-uiuc/Magicoder-Evol-Instruct-110K、jondurbin/airoboros-3.2和WizardLM/WizardLM_evol_instruct_V2_196k，以及數學、化學、物理和生物學等專業數據集。數據集已清理，去除了RLHF拒絕和airoboros-3.2中潛在的有毒內容，但仍可能有少量敏感內容。

侷限性和偏差

儘管對訓練數據進行了清理，但與任何大語言模型一樣，仍存在偏差和有害內容的潛在風險。用戶在使用模型時應謹慎，特別是在可能放大現有偏差或使敏感內容暴露的應用場景中。不建議在需要嚴格內容審核的場景中使用，或供無法批判性過濾或評估模型輸出的用戶使用。

評估

使用推理API時觀察到性能下降，因此不建議使用此方式。用戶應遵循基礎模型卡片中提供的推薦推理參數以優化性能。

免責聲明

模型在hercules-v1.0數據集上進行了微調，該數據集包含來自已知有毒示例來源的內容。使用M4-ai/TinyMistral-6x248M-Instruct的用戶必須承認並同意以下內容：

• 數據集可能包含“有毒”/“有害”內容、褻瀆性語言和敏感材料。
• 內容不一定反映開發者的信仰或觀點。
• 用戶必須遵守當地關於言論自由和內容使用的法律。
• 用戶對數據集和模型的下載和使用承擔全部責任，並使開發者免於所有責任。

貢獻者

感謝@jtatman、@aloobun、@Felladrin和@Locutusque對本模型的貢獻。

📄 許可證

本模型採用Apache-2.0許可證。