Devstral Small 2505 8bit

🚀 mlx-community/Devstral-Small-2505-8bit

本項目將模型 mlx-community/Devstral-Small-2505-8bit 從 mistralai/Devstral-Small-2505 轉換為 MLX 格式，使用的是 mlx-lm 版本 0.24.1。

🚀 快速開始

📦 安裝指南

使用以下命令安裝所需的庫：

pip install mlx-lm

💻 使用示例

基礎用法

以下是使用該模型的基本代碼示例：

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Devstral-Small-2505-8bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

📄 許可證

本項目採用 Apache-2.0 許可證。

🔍 其他信息

支持語言

本模型支持以下語言：英語（en）、法語（fr）、德語（de）、西班牙語（es）、葡萄牙語（pt）、意大利語（it）、日語（ja）、韓語（ko）、俄語（ru）、中文（zh）、阿拉伯語（ar）、波斯語（fa）、印尼語（id）、馬來語（ms）、尼泊爾語（ne）、波蘭語（pl）、羅馬尼亞語（ro）、塞爾維亞語（sr）、瑞典語（sv）、土耳其語（tr）、烏克蘭語（uk）、越南語（vi）、印地語（hi）、孟加拉語（bn）。

模型相關提示

⚠️ 重要提示

如果您想了解我們如何處理您的個人數據，請閱讀我們的 隱私政策。

模型信息表格