Minueza 32M Base

🚀 Minueza-32M-Base

Minueza-32M-Baseは、英語の大規模なテキストコーパスでゼロから学習された3200万のパラメータを持つ基礎モデルです。このモデルは、さまざまなタスクでの使用や、さらなる微調整のベースとして利用することができます。

🚀 クイックスタート

Minueza-32M-Baseは、以下の形式で利用可能です。

• Safetensors
• GGUF
• ONNX

また、いくつかの微調整バージョンとともにリリースされています。

• Minueza-32M-UltraChat：単一の会話データセットで学習されています。
• Minueza-32M-Chat：複数の会話データセットの混合で学習されています。
• Minueza-32Mx2-Chat：会話データセットを交互に使用して学習された疎なエキスパート混合モデルです。
• その他...

✨ 主な機能

このモデルは、以下の目的で作成されました。

• Transformers.jsを介してモバイルウェブブラウザで実行する。
• GPUを持たないマシンで高速に実行する。
• ChatML形式を使用した微調整のベースとして機能する。このため、2つの追加の特殊トークン (<|im_start|> と <|im_end|>) があり、<|im_end|> がデフォルトのEOSトークンとして使用されます。ChatMLは命令モデルと会話モデルの両方で機能が優れているため、すべての微調整がChatMLパターンに従って行われる場合、他のユーザーはマージの作成の容易さから恩恵を受ける可能性があります。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Minueza-32M-Base")

prompt = "The best way to improve your health is"

output = generate(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.72,
    top_p=0.73,
    top_k=50,
    repetition_penalty=1.176,
)

print(output[0]["generated_text"])

高度な使用法

このモデルは基本モデルであり、特定のタスクに対しては上記のようにアプリケーション固有の微調整を行うことが推奨されます。また、このモデルはインターネットのテキストデータで学習されており、バイアス、攻撃的または不適切な内容が含まれる可能性があり、誤ったまたは関連性のない応答を生成する可能性があります。評価は行われていないため、注意して使用してください。

📚 ドキュメント

データセット

このモデルは、以下の非合成データセットのサブセットで学習されました。

• Skylion007/openwebtext
• c4
• wikimedia/wikipedia - 20231101.simple
• tiiuae/falcon-refinedweb
• izumi-lab/open-text-books
• togethercomputer/RedPajama-Data-V2
• databricks/databricks-dolly-15k
• euclaise/reddit-instruct-curated
• CohereForAI/aya_dataset - original english annotations

これらのサブセットは、約6億5000万トークンの最終学習コーパスを形成するために交互に配置されました。

モデルアーキテクチャ

これはMistralアーキテクチャを持つトランスフォーマーモデルで、2048トークンのコンテキストウィンドウで学習されました。

事前学習は、以下のハイパーパラメータとフレームワークを使用して行われました。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、Apache License 2.0の下でライセンスされています。