Devstral Small 2507 4bit DWQ

🚀 mlx-community/Devstral-Small-2507-4bit-DWQ

本模型 mlx-community/Devstral-Small-2507-4bit-DWQ 是使用 mlx-lm 版本 0.26.0 从 mlx-community/Devstral-Samll-2507-bf16 转换为 MLX 格式的。

🚀 快速开始

📦 安装指南

pip install mlx-lm

💻 使用示例

基础用法

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Devstral-Small-2507-4bit-DWQ")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

📄 许可证

本项目采用 Apache-2.0 许可证。

🔍 其他信息

支持语言

• 英语（en）
• 法语（fr）
• 德语（de）
• 西班牙语（es）
• 葡萄牙语（pt）
• 意大利语（it）
• 日语（ja）
• 韩语（ko）
• 俄语（ru）
• 中文（zh）
• 阿拉伯语（ar）
• 波斯语（fa）
• 印尼语（id）
• 马来语（ms）
• 尼泊尔语（ne）
• 波兰语（pl）
• 罗马尼亚语（ro）
• 塞尔维亚语（sr）
• 瑞典语（sv）
• 土耳其语（tr）
• 乌克兰语（uk）
• 越南语（vi）
• 印地语（hi）
• 孟加拉语（bn）

额外说明

如果您想了解更多关于我们如何处理您的个人数据的信息，请阅读我们的 隐私政策。

模型相关标签

• mlx

模型任务类型

文本生成（text-generation）