Mixtral 8x22B V0.1

🚀 Mixtral-8x22B モデルカード

Mixtral-8x22B 大規模言語モデル (LLM) は、事前学習された生成型の疎なエキスパート混合モデルです。

このモデルの詳細については、リリースブログ記事をご覧ください。

🚀 クイックスタート

モデルの実行

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x22B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

デフォルトでは、transformers はモデルを完全精度でロードします。そのため、HFエコシステムで提供している最適化を通じて、モデルを実行するためのメモリ要件をさらに削減することに興味があるかもしれません。

✨ 主な機能

このリポジトリには、vLLM でのモデルのサービングや、Hugging Face の transformers ライブラリと互換性のある重みが含まれています。これは、元の Mixtral torrent release に基づいていますが、ファイル形式とパラメータ名は異なります。

⚠️ 重要提示

⚠️ 重要提示

Mixtral-8x22B は事前学習されたベースモデルであり、モデレーションメカニズムはありません。

⚠️ 重要提示

個人情報の処理方法について詳しく知りたい場合は、プライバシーポリシーをご覧ください。

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

チームメンバー

Albert Jiang, Alexandre Sablayrolles, Alexis Tacnet, Antoine Roux, Arthur Mensch, Audrey Herblin-Stoop, Baptiste Bout, Baudouin de Monicault, Blanche Savary, Bam4d, Caroline Feldman, Devendra Singh Chaplot, Diego de las Casas, Eleonore Arcelin, Emma Bou Hanna, Etienne Metzger, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Harizo Rajaona, Jean-Malo Delignon, Jia Li, Justus Murke, Louis Martin, Louis Ternon, Lucile Saulnier, Lélio Renard Lavaud, Margaret Jennings, Marie Pellat, Marie Torelli, Marie-Anne Lachaux, Nicolas Schuhl, Patrick von Platen, Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak, Teven Le Scao, Thibaut Lavril, Timothée Lacroix, Théophile Gervet, Thomas Wang, Valera Nemychnikova, William El Sayed, William Marshall

サポート言語

• fr
• it
• de
• es
• en

タグ

• moe