Minueza 32M Base

🚀 Minueza-32M-Base

Minueza-32M-Base是一個擁有3200萬參數的基礎模型，它基於大量英文文本語料從頭開始訓練。該模型適用於在移動網頁瀏覽器上運行，能在無GPU的機器上快速運行，還可作為使用ChatML格式進行微調的基礎模型。

🚀 快速開始

Minueza-32M-Base是一個基礎模型，你可以通過以下代碼運行它：

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Base")

prompt = "The best way to improve your health is"

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.72,
    top_p=0.73,
    top_k=50,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

✨ 主要特性

• 多格式支持：該模型提供了Safetensors、GGUF和ONNX等多種格式。
• 多種微調版本：同時發佈了多個微調版本，如Minueza-32M-UltraChat、Minueza-32M-Chat、Minueza-32Mx2-Chat等。
• 特定場景適用性：旨在通過Transformers.js在移動網頁瀏覽器上運行，也能在無GPU的機器上快速運行。
• 支持ChatML格式：可作為使用ChatML格式進行微調的基礎模型，包含兩個額外的特殊標記 (<|im_start|> 和 <|im_end|>)，並以 <|im_end|> 作為默認的結束標記。

📦 安裝指南

文檔未提及具體安裝步驟，可參考Hugging Face相關文檔進行安裝。

💻 使用示例

基礎用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Base")

prompt = "The best way to improve your health is"

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.72,
    top_p=0.73,
    top_k=50,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

高級用法

文檔未提及高級用法示例，可根據具體任務對模型進行應用特定的微調。

📚 詳細文檔

數據集

該模型在以下非合成數據集的子集上進行訓練：

• Skylion007/openwebtext
• c4
• wikimedia/wikipedia - 20231101.simple
• tiiuae/falcon-refinedweb
• izumi-lab/open-text-books
• togethercomputer/RedPajama-Data-V2
• databricks/databricks-dolly-15k
• euclaise/reddit-instruct-curated
• CohereForAI/aya_dataset - original english annotations

這些子集交錯組合，形成了約6.5億個標記的最終訓練語料庫。

模型架構

這是一個採用Mistral架構的Transformer模型，在2048個標記的上下文窗口上進行訓練。

預訓練使用了以下超參數和框架：

超參數

框架

評估結果

詳細結果可查看此處

🔧 技術細節

該模型是一個基於Mistral架構的Transformer模型，在2048個標記的上下文窗口上進行訓練。預訓練使用了特定的超參數和框架，如學習率為5e-05，優化器為Adam等。

📄 許可證

該模型遵循Apache License 2.0許可協議。

⚠️ 重要提示

這只是一個基礎模型，對於你的任務，可能需要按照上述建議進行特定應用的微調。此外，該模型在互聯網文本數據上進行訓練，這些數據可能包含偏差、冒犯性或不適當的內容，並且可能產生不正確或不相關的響應。由於未進行評估，請謹慎使用。

💡 使用建議

可根據具體任務對模型進行應用特定的微調，以獲得更好的性能。同時，在使用過程中注意數據的質量和安全性。