Mixtral 8x22B V0.1

🚀 Mixtral-8x22B大語言模型

Mixtral-8x22B大語言模型（LLM）是一個預訓練的生成式稀疏專家混合模型。它能為用戶提供強大的語言生成能力，在多種自然語言處理任務中發揮重要作用。

🚀 快速開始

運行模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x22B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

默認情況下，transformers庫會以全精度加載模型。因此，你可能希望通過我們在HF生態系統中提供的優化方法，進一步降低運行模型的內存需求。

✨ 主要特性

• 多語言支持：支持法語、意大利語、德語、西班牙語和英語等多種語言。
• 專家混合模型：是預訓練的生成式稀疏專家混合模型。

📚 詳細文檔

若需瞭解該模型的完整詳細信息，請閱讀我們的發佈博客文章。

🔧 技術細節

警告

此倉庫包含的權重與使用 vLLM 服務該模型以及Hugging Face的 transformers 庫兼容。它基於原始的Mixtral 種子發佈，但文件格式和參數名稱不同。

注意事項

Mixtral-8x22B是一個預訓練的基礎模型，因此沒有任何審核機制。

隱私提示

如果你想了解更多關於我們如何處理你的個人數據的信息，請閱讀我們的 隱私政策。

📄 許可證

本項目採用Apache-2.0許可證。

👥 開發團隊

Albert Jiang、Alexandre Sablayrolles、Alexis Tacnet、Antoine Roux、Arthur Mensch、Audrey Herblin - Stoop、Baptiste Bout、Baudouin de Monicault、Blanche Savary、Bam4d、Caroline Feldman、Devendra Singh Chaplot、Diego de las Casas、Eleonore Arcelin、Emma Bou Hanna、Etienne Metzger、Gianna Lengyel、Guillaume Bour、Guillaume Lample、Harizo Rajaona、Jean - Malo Delignon、Jia Li、Justus Murke、Louis Martin、Louis Ternon、Lucile Saulnier、Lélio Renard Lavaud、Margaret Jennings、Marie Pellat、Marie Torelli、Marie - Anne Lachaux、Nicolas Schuhl、Patrick von Platen、Pierre Stock、Sandeep Subramanian、Sophia Yang、Szymon Antoniak、Teven Le Scao、Thibaut Lavril、Timothée Lacroix、Théophile Gervet、Thomas Wang、Valera Nemychnikova、William El Sayed、William Marshall 。