Tinymistral 6x248M Instruct

🚀 M4-ai/TinyMistral-6x248M-Instruct モデルカード

このモデルは、Mixture of Experts (MoE) アーキテクチャに基づく言語モデルです。様々なドメインでの指示に対応したテキスト生成が可能で、多くのタスクに利用できます。

🚀 クイックスタート

M4-ai/TinyMistral-6x248M-Instruct は、指示に基づくテキスト生成が必要な開発者や研究者向けに設計されています。以下のコード例を参考に、モデルを使い始めることができます。

!pip install -qU transformers bitsandbytes accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "M4-ai/TinyMistral-6x248M-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

✨ 主な機能

• 多様なドメイン対応：技術的な説明、教育コンテンツ、政策分析など、幅広い分野のタスクに対応しています。
• 指示に基づくテキスト生成：指示に沿ったテキストを理解し、生成することができます。

📦 インストール

以下のコマンドを使って、必要なライブラリをインストールできます。

!pip install -qU transformers bitsandbytes accelerate

💻 使用例

基本的な使用法

# モデルとトークナイザーのロード
from transformers import AutoTokenizer
import transformers
import torch

model = "M4-ai/TinyMistral-6x248M-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

# プロンプトの設定
messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# テキスト生成
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

📚 ドキュメント

モデル詳細

モデルの説明

M4-ai/TinyMistral-6x248M-Instruct は、Mixture of Experts (MoE) アーキテクチャに基づくファインチューニングされた言語モデルです。LazyMergekitフレームワークを使って様々なモデルが組み合わされています。ベースの事前学習モデルには、TinyMistralモデルのいくつかのバージョンが含まれており、各エキスパートは技術的なソフトウェア開発から多言語テキスト生成まで、様々なドメインに特化しています。このファインチューニングされたバージョンは、hercules-v1.0データセットを利用して、指示に関するタスクでのモデルの性能を向上させることを目的としています。

想定される用途

M4-ai/TinyMistral-6x248M-Instruct は、指示に基づくプロンプトに対してテキストを理解し、生成できる高度な言語モデルが必要な開発者や研究者向けに設計されています。このモデルは、技術的な説明、教育コンテンツ、政策分析、コンピュータサイエンス、歴史、自然科学などの分野を越えた問題解決など、様々なタスクに適しています。ユーザーは、特に敏感なトピックを扱う場合、モデルの制限と潜在的なバイアスに注意する必要があります。

学習データ

このモデルは、teknium/openhermesデータセットの拡張版であるhercules-v1.0データセットを使ってファインチューニングされました。Hercules-v1.0には、ise-uiuc/Magicoder-Evol-Instruct-110K、jondurbin/airoboros-3.2、WizardLM/WizardLM_evol_instruct_V2_196kなどの更新されたデータソースや、数学、化学、物理学、生物学の専門データセットが含まれています。データセットは、airoboros-3.2からRLHF拒否と潜在的に有害なコンテンツを削除するためにクリーニングされています。ただし、ユーザーはデータの一部に敏感なコンテンツが含まれている可能性があることを認識しておく必要があります。

このモデルには、ChatMLプロンプトフォーマットを使用できます。

制限とバイアス

学習データをクリーニングする努力がなされていますが、他の大規模言語モデルと同様に、バイアスや有害なコンテンツが存在する可能性があります。ユーザーは、特に既存のバイアスを拡大する可能性のあるアプリケーションや、敏感なコンテンツにユーザーを晒す可能性のあるアプリケーションでモデルを利用する際には、注意と裁量を行使する必要があります。このモデルは、厳格なコンテンツモデレーションが必要なシナリオや、モデルの出力を批判的にフィルタリングまたは評価できないユーザーには推奨されません。

評価

推論APIを使用すると性能が低下することが観察されているため、この使用方法は推奨されません。代わりに、ベースモデルカードに記載されている推奨推論パラメータに従って、性能を最適化する必要があります。

免責事項

このモデルは、既知の有害なコンテンツが含まれるソースからのデータを含むhercules-v1.0データセットを使ってファインチューニングされています。M4-ai/TinyMistral-6x248M-Instructのユーザーは、以下のことを承認し同意する必要があります。

• データセットには「有害な」コンテンツ、不適切な言葉、敏感な素材が含まれている可能性があります。
• コンテンツは必ずしも開発者の信念や意見を反映しているわけではありません。
• ユーザーは、自由表現とコンテンツの使用に関する地方法律に準拠する必要があります。
• ユーザーは、データセットとモデルのダウンロードと利用に関するすべての責任を負い、開発者をすべての責任から免責します。

貢献者

このモデルへの貢献に感謝します。@jtatman、@aloobun、@Felladrin、@Locutusque

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。