Phixtral 2x2 8

🚀 phixtral-2x2_8

phixtral-2x2_8は、2つのmicrosoft/phi-2モデルを用いて作成された最初のミックスチャーオブエキスパート（MoE）です。mistralai/Mixtral-8x7B-v0.1のアーキテクチャにインスパイアされており、各エキスパート個々よりも優れた性能を発揮します。

このSpaceを使って試すことができます。

🚀 クイックスタート

phixtral-2x2_8の概要や評価、使用方法などをご紹介します。

✨ 主な機能

• 2つのmicrosoft/phi-2モデルを用いたMoEアーキテクチャ。
• 各エキスパート個々よりも優れた性能を発揮。

🏆 評価

評価は、Nous suite上でLLM AutoEvalを使用して行われました。

他のモデルとの比較は、YALL - Yet Another LLM Leaderboardを確認してください。

🧩 設定

このモデルは、mergekitライブラリのカスタムバージョン（mixtralブランチ）を使用して作成されており、以下の設定が使用されています。

base_model: cognitivecomputations/dolphin-2_6-phi-2
gate_mode: cheap_embed
experts:
  - source_model: cognitivecomputations/dolphin-2_6-phi-2
    positive_prompts: [""]
  - source_model: lxuechen/phi-2-dpo
    positive_prompts: [""]

💻 使用例

基本的な使用法

こちらは、無料のT4 GPU上でPhixtralを4ビット精度で実行するためのColabノートブックです。

!pip install -q --upgrade transformers einops accelerate bitsandbytes

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "phixtral-2x2_8"
instruction = '''
    def print_prime(n):
        """
        Print all primes between 1 and n
        """
'''

torch.set_default_device("cuda")

# Load the model and tokenizer
model = AutoModelForCausalLM.from_pretrained(
    f"mlabonne/{model_name}", 
    torch_dtype="auto", 
    load_in_4bit=True, 
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(
    f"mlabonne/{model_name}", 
    trust_remote_code=True
)

# Tokenize the input string
inputs = tokenizer(
    instruction, 
    return_tensors="pt", 
    return_attention_mask=False
)

# Generate text using the model
outputs = model.generate(**inputs, max_length=200)

# Decode and print the output
text = tokenizer.batch_decode(outputs)[0]
print(text)

高度な使用法

mistralai/Mixtral-8x7B-v0.1にインスパイアされ、config.jsonファイルでnum_experts_per_tokとnum_local_expertsを指定することができます（デフォルトでは両方とも2）。この設定はconfiguration.pyで自動的に読み込まれます。

vince62sは、modeling_phi.pyファイルでMoE推論コードを実装しています。特に、MoEクラスを参照してください。

🤝 謝辞

推論コードとエキスパート数の動的設定に関して、vince62sに特別な感謝を申し上げます。彼はとても忍耐強く、すべてのデバッグを手伝ってくれました。

mergekitライブラリとMoE for clownsの実装に関して、Charles Goddardに感謝します。

微調整されたphi-2モデルに関して、ehartfordとlxuechenに感謝します。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細はこちらをご覧ください。