Mistral Nemo Base 2407

🚀 Mistral-Nemo-Base-2407模型卡片

Mistral-Nemo-Base-2407大語言模型（LLM）是一款由Mistral AI和NVIDIA聯合訓練的、具有120億參數的預訓練生成式文本模型，它在性能上顯著超越了現有的同規模或更小規模的模型。

如需瞭解該模型的更多詳細信息，請參考我們的發佈博客文章。

✨ 主要特性

• 開源許可：基於Apache 2許可證發佈。
• 版本多樣：提供預訓練版本和指令微調版本。
• 上下文窗口大：使用128k上下文窗口進行訓練。
• 多語言與代碼數據：在大量的多語言和代碼數據上進行訓練。
• 可替代Mistral 7B：可直接替代Mistral 7B模型。

📚 詳細文檔

模型架構

Mistral Nemo是一個Transformer模型，其架構參數如下：

• 層數：40
• 維度：5120
• 頭維度：128
• 隱藏維度：14436
• 激活函數：SwiGLU
• 頭的數量：32
• 鍵值頭的數量：8（GQA）
• 詞彙表大小：2**17 ≈ 128k
• 旋轉嵌入（theta = 1M）

評估指標

主要基準測試

多語言基準測試（MMLU）

📦 安裝指南

該模型可以在三個不同的框架中使用：

• mistral_inference：詳見此處
• transformers：詳見此處
• NeMo：詳見nvidia/Mistral-NeMo-12B-Base

Mistral Inference

安裝

建議使用mistralai/Mistral-Nemo-Base-2407搭配mistral-inference使用。如需查看HF transformers的代碼片段，請繼續向下滾動。

pip install mistral_inference

下載

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Nemo-v0.1')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Mistral-Nemo-Base-2407", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)

示例

安裝mistral_inference後，你的環境中應該會有mistral-demo命令。

mistral-demo $HOME/mistral_models/Nemo-v0.1

Transformers

⚠️ 重要提示

在發佈新版本之前，你需要從源代碼安裝transformers：

pip install git+https://github.com/huggingface/transformers.git

如果你想使用Hugging Face的transformers庫來生成文本，可以參考以下示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mistral-Nemo-Base-2407"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)
inputs = tokenizer("Hello my name is", return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

💡 使用建議

與之前的Mistral模型不同，Mistral Nemo需要使用較小的溫度參數。我們建議使用0.3的溫度值。

🔧 注意事項

Mistral-Nemo-Base-2407是一個預訓練的基礎模型，因此沒有任何內容審核機制。

開發團隊

Albert Jiang、Alexandre Sablayrolles、Alexis Tacnet、Alok Kothari、Antoine Roux、Arthur Mensch、Audrey Herblin-Stoop、Augustin Garreau、Austin Birky、Bam4d、Baptiste Bout、Baudouin de Monicault、Blanche Savary、Carole Rambaud、Caroline Feldman、Devendra Singh Chaplot、Diego de las Casas、Eleonore Arcelin、Emma Bou Hanna、Etienne Metzger、Gaspard Blanchet、Gianna Lengyel、Guillaume Bour、Guillaume Lample、Harizo Rajaona、Henri Roussez、Hichem Sattouf、Ian Mack、Jean-Malo Delignon、Jessica Chudnovsky、Justus Murke、Kartik Khandelwal、Lawrence Stewart、Louis Martin、Louis Ternon、Lucile Saulnier、Lélio Renard Lavaud、Margaret Jennings、Marie Pellat、Marie Torelli、Marie-Anne Lachaux、Marjorie Janiewicz、Mickaël Seznec、Nicolas Schuhl、Niklas Muhs、Olivier de Garrigues、Patrick von Platen、Paul Jacob、Pauline Buche、Pavan Kumar Reddy、Perry Savas、Pierre Stock、Romain Sauvestre、Sagar Vaze、Sandeep Subramanian、Saurabh Garg、Sophia Yang、Szymon Antoniak、Teven Le Scao、Thibault Schueller、Thibaut Lavril、Thomas Wang、Théophile Gervet、Timothée Lacroix、Valera Nemychnikova、Wendy Shang、William El Sayed、William Marshall

📄 許可證

本項目採用Apache 2.0許可證。如果你想了解更多關於我們如何處理您的個人數據的信息，請閱讀我們的隱私政策。