Devstral Small 2505 8bit

🚀 mlx-community/Devstral-Small-2505-8bit

本项目将模型 mlx-community/Devstral-Small-2505-8bit 从 mistralai/Devstral-Small-2505 转换为 MLX 格式，使用的是 mlx-lm 版本 0.24.1。

🚀 快速开始

📦 安装指南

使用以下命令安装所需的库：

pip install mlx-lm

💻 使用示例

基础用法

以下是使用该模型的基本代码示例：

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Devstral-Small-2505-8bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

📄 许可证

本项目采用 Apache-2.0 许可证。

🔍 其他信息

支持语言

本模型支持以下语言：英语（en）、法语（fr）、德语（de）、西班牙语（es）、葡萄牙语（pt）、意大利语（it）、日语（ja）、韩语（ko）、俄语（ru）、中文（zh）、阿拉伯语（ar）、波斯语（fa）、印尼语（id）、马来语（ms）、尼泊尔语（ne）、波兰语（pl）、罗马尼亚语（ro）、塞尔维亚语（sr）、瑞典语（sv）、土耳其语（tr）、乌克兰语（uk）、越南语（vi）、印地语（hi）、孟加拉语（bn）。

模型相关提示

⚠️ 重要提示

如果您想了解我们如何处理您的个人数据，请阅读我们的 隐私政策。

模型信息表格