Midm 2.0 Base Instruct Gguf

🚀 Mi:dm 2.0

Mi:dm 2.0 是採用 KT 專有技術開發的“以韓國為中心的 AI”模型。該模型深度內化了韓國社會獨特的價值觀、認知框架和常識推理，不僅僅是處理或生成韓語，更體現了對韓國社會社會文化規範和價值觀的深刻理解。

🌟 Mi:dm 2.0 模型 | 📄 Mi:dm 2.0 技術報告 | 📝 Mi:dm 2.0 技術博客*

_{*即將發佈}

🚀 快速開始

新聞動態

• ⏱️ （即將推出！）GGUF 格式的模型文件即將推出，以便更輕鬆地進行本地部署。
• 📅 2025/07/04：在 Hugging Face 上發佈了 Mi:dm 2.0 模型集合。

目錄

• 概述
  • Mi:dm 2.0
  • 快速入門
  • 評估
• 使用方法
  • 在 Friendli.AI 上運行
  • 在本地機器上運行
  • 部署
  • 教程
• 更多信息
  • 侷限性
  • 許可證
  • 聯繫我們

Mi:dm 2.0 簡介

Mi:dm 2.0 有兩個版本發佈：

• Mi:dm 2.0 Base：一個具有 115 億參數的密集模型，旨在平衡模型大小和性能。它通過應用深度擴展（DuS）方法擴展了 80 億規模的模型，適用於需要高性能和多功能的實際應用場景。
• Mi:dm 2.0 Mini：一個輕量級的 23 億參數密集模型，針對設備端環境和 GPU 資源有限的系統進行了優化。它是通過對基礎模型進行剪枝和蒸餾得到的，能夠實現緊湊部署。

⚠️ 重要提示

預訓練和後訓練數據均不包含 KT 用戶數據。

快速入門代碼示例

以下是使用該模型進行對話推理的代碼片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers 庫的版本應在 4.45.0 或更高。

📊 評估

韓語評估

* 表示 KT 專有評估資源。

英語評估

💻 使用示例

在 Friendli.AI 上運行

你可以通過 Friendli.AI 立即試用我們的模型。只需點擊 Deploy 然後點擊 Friendli Endpoints。

⚠️ 重要提示

請注意，在進行第五次聊天交互後，需要登錄 Friendli.AI。

在本地機器上運行

我們提供了使用 llama.cpp、LM Studio 和 Ollama 在本地機器上運行 Mi:dm 2.0 的詳細說明。更多信息請查看我們的 GitHub。

部署

要使用 vLLM(>=0.8.0) 以 OpenAI 兼容的 API 服務 Mi:dm 2.0，請運行以下命令：

vllm serve K-intelligence/Midm-2.0-Base-Instruct

教程

為了幫助最終用戶輕鬆使用 Mi:dm 2.0，我們在 GitHub 上提供了全面的教程。

📚 詳細文檔

侷限性

• 兩個 Mi:dm 2.0 模型的訓練數據主要由英語和韓語組成，不保證對其他語言的理解和生成能力。
• 該模型不能保證在需要專業知識的領域（如法律、醫學或金融）提供可靠的建議。
• 研究人員已努力從訓練數據中排除不道德的內容，如髒話、詆譭性語言、偏見和歧視性語言。然而，儘管做出了這些努力，模型仍可能產生不適當的表達或事實性錯誤。

許可證

Mi:dm 2.0 採用 MIT 許可證。

聯繫我們

Mi:dm 2.0 技術諮詢：midm-llm@kt.com