Midm 2.0 Mini Instruct Gguf

🚀 Mi:dm 2.0

Mi:dm 2.0 是一款以韩国为中心的 AI 模型，由 KT 运用其专有技术开发。该模型深入内化了韩国社会独特的价值观、认知框架和常识推理，不仅能处理和生成韩语内容，还能体现对韩国社会文化规范和价值观的深刻理解。

🍀 Mi:dm 2.0 模型 | 📄 Mi:dm 2.0 技术报告 | 📝 Mi:dm 2.0 技术博客*

_{*即将发布}

🚀 快速开始

运行代码示例

以下是使用该模型进行对话推理的代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Mini-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers 库的版本应在 4.45.0 或更高。

✨ 主要特性

• 多版本发布：提供 Mi:dm 2.0 Base 和 Mi:dm 2.0 Mini 两个版本，分别适用于不同场景。
• 韩国中心设计：深入理解韩国社会文化，能更好地处理韩语相关任务。
• 多平台支持：可在 Friendli.AI、本地机器等多种平台运行。

📦 安装指南

使用 vLLM 部署

若要使用 vLLM（>=0.8.0）以 OpenAI 兼容的 API 来服务 Mi:dm 2.0，可以运行以下命令：

vllm serve K-intelligence/Midm-2.0-Mini-Instruct

💻 使用示例

在 Friendli.AI 上运行

你可以通过 Friendli.AI 立即试用我们的模型。只需点击 Deploy 然后点击 Friendli Endpoints。

⚠️ 重要提示

在进行第五次聊天交互后，需要登录 Friendli.AI。

在本地机器上运行

我们提供了使用 llama.cpp、LM Studio 和 Ollama 在本地机器上运行 Mi:dm 2.0 的详细说明。更多信息请查看我们的 GitHub。

教程

为了帮助终端用户轻松使用 Mi:dm 2.0，我们在 GitHub 上提供了全面的教程。

📚 详细文档

评估

韩语评估

* 表示 KT 专有评估资源。

英语评估

🔧 技术细节

Mi:dm 2.0 有两个版本发布：

• Mi:dm 2.0 Base：一个具有 115 亿参数的密集模型，旨在平衡模型大小和性能。它通过应用深度扩展（DuS）方法扩展了一个 80 亿规模的模型，适用于既需要性能又需要通用性的实际应用。
• Mi:dm 2.0 Mini：一个轻量级的 23 亿参数密集模型，针对设备端环境和 GPU 资源有限的系统进行了优化。它是通过对基础模型进行剪枝和蒸馏得到的，以便实现紧凑部署。

📄 许可证

Mi:dm 2.0 采用 MIT 许可证。

联系信息

Mi:dm 2.0 技术咨询：midm - llm@kt.com

限制信息

• 两款 Mi:dm 2.0 模型的训练数据主要由英语和韩语组成，不保证对其他语言的理解和生成能力。
• 该模型不保证在需要专业知识的领域（如法律、医学或金融）提供可靠的建议。
• 研究人员已努力从训练数据中排除不道德的内容，如脏话、诋毁性语言、偏见和歧视性语言。然而，尽管做出了这些努力，模型仍可能产生不适当的表达或事实性错误。