🚀 Mixtral-8x22B大語言模型
Mixtral-8x22B大語言模型(LLM)是一個預訓練的生成式稀疏專家混合模型。它能為用戶提供強大的語言生成能力,在多種自然語言處理任務中發揮重要作用。
🚀 快速開始
運行模型
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "mistralai/Mixtral-8x22B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
默認情況下,transformers庫會以全精度加載模型。因此,你可能希望通過我們在HF生態系統中提供的優化方法,進一步降低運行模型的內存需求。
✨ 主要特性
- 多語言支持:支持法語、意大利語、德語、西班牙語和英語等多種語言。
- 專家混合模型:是預訓練的生成式稀疏專家混合模型。
📚 詳細文檔
若需瞭解該模型的完整詳細信息,請閱讀我們的發佈博客文章。
🔧 技術細節
警告
此倉庫包含的權重與使用 vLLM 服務該模型以及Hugging Face的 transformers 庫兼容。它基於原始的Mixtral 種子發佈,但文件格式和參數名稱不同。
注意事項
Mixtral-8x22B是一個預訓練的基礎模型,因此沒有任何審核機制。
隱私提示
如果你想了解更多關於我們如何處理你的個人數據的信息,請閱讀我們的 隱私政策。
📄 許可證
本項目採用Apache-2.0許可證。
👥 開發團隊
Albert Jiang、Alexandre Sablayrolles、Alexis Tacnet、Antoine Roux、Arthur Mensch、Audrey Herblin - Stoop、Baptiste Bout、Baudouin de Monicault、Blanche Savary、Bam4d、Caroline Feldman、Devendra Singh Chaplot、Diego de las Casas、Eleonore Arcelin、Emma Bou Hanna、Etienne Metzger、Gianna Lengyel、Guillaume Bour、Guillaume Lample、Harizo Rajaona、Jean - Malo Delignon、Jia Li、Justus Murke、Louis Martin、Louis Ternon、Lucile Saulnier、Lélio Renard Lavaud、Margaret Jennings、Marie Pellat、Marie Torelli、Marie - Anne Lachaux、Nicolas Schuhl、Patrick von Platen、Pierre Stock、Sandeep Subramanian、Sophia Yang、Szymon Antoniak、Teven Le Scao、Thibaut Lavril、Timothée Lacroix、Théophile Gervet、Thomas Wang、Valera Nemychnikova、William El Sayed、William Marshall 。