Midm 2.0 Mini Instruct Gguf

🚀 Mi:dm 2.0

Mi:dm 2.0 是一款以韓國為中心的 AI 模型，由 KT 運用其專有技術開發。該模型深入內化了韓國社會獨特的價值觀、認知框架和常識推理，不僅能處理和生成韓語內容，還能體現對韓國社會文化規範和價值觀的深刻理解。

🍀 Mi:dm 2.0 模型 | 📄 Mi:dm 2.0 技術報告 | 📝 Mi:dm 2.0 技術博客*

_{*即將發佈}

🚀 快速開始

運行代碼示例

以下是使用該模型進行對話推理的代碼片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Mini-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers 庫的版本應在 4.45.0 或更高。

✨ 主要特性

• 多版本發佈：提供 Mi:dm 2.0 Base 和 Mi:dm 2.0 Mini 兩個版本，分別適用於不同場景。
• 韓國中心設計：深入理解韓國社會文化，能更好地處理韓語相關任務。
• 多平臺支持：可在 Friendli.AI、本地機器等多種平臺運行。

📦 安裝指南

使用 vLLM 部署

若要使用 vLLM（>=0.8.0）以 OpenAI 兼容的 API 來服務 Mi:dm 2.0，可以運行以下命令：

vllm serve K-intelligence/Midm-2.0-Mini-Instruct

💻 使用示例

在 Friendli.AI 上運行

你可以通過 Friendli.AI 立即試用我們的模型。只需點擊 Deploy 然後點擊 Friendli Endpoints。

⚠️ 重要提示

在進行第五次聊天交互後，需要登錄 Friendli.AI。

在本地機器上運行

我們提供了使用 llama.cpp、LM Studio 和 Ollama 在本地機器上運行 Mi:dm 2.0 的詳細說明。更多信息請查看我們的 GitHub。

教程

為了幫助終端用戶輕鬆使用 Mi:dm 2.0，我們在 GitHub 上提供了全面的教程。

📚 詳細文檔

評估

韓語評估

* 表示 KT 專有評估資源。

英語評估

🔧 技術細節

Mi:dm 2.0 有兩個版本發佈：

• Mi:dm 2.0 Base：一個具有 115 億參數的密集模型，旨在平衡模型大小和性能。它通過應用深度擴展（DuS）方法擴展了一個 80 億規模的模型，適用於既需要性能又需要通用性的實際應用。
• Mi:dm 2.0 Mini：一個輕量級的 23 億參數密集模型，針對設備端環境和 GPU 資源有限的系統進行了優化。它是通過對基礎模型進行剪枝和蒸餾得到的，以便實現緊湊部署。

📄 許可證

Mi:dm 2.0 採用 MIT 許可證。

聯繫信息

Mi:dm 2.0 技術諮詢：midm - llm@kt.com

限制信息

• 兩款 Mi:dm 2.0 模型的訓練數據主要由英語和韓語組成，不保證對其他語言的理解和生成能力。
• 該模型不保證在需要專業知識的領域（如法律、醫學或金融）提供可靠的建議。
• 研究人員已努力從訓練數據中排除不道德的內容，如髒話、詆譭性語言、偏見和歧視性語言。然而，儘管做出了這些努力，模型仍可能產生不適當的表達或事實性錯誤。