🚀 Midm-2.0-Base-Instruct GGUF模型

Midm-2.0-Base-Instruct GGUF模型是用於文本生成的模型，基於transformers庫，在多方面具有出色表現，能為用戶提供高效的文本生成服務。

🚀 快速開始

以下是使用該模型進行對話推理的代碼片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformers庫的版本應在4.45.0或更高。

✨ 主要特性

• 韓國中心AI模型：Mi:dm 2.0是使用KT專有技術開發的“以韓國為中心的AI”模型，深入內化了韓國社會獨特的價值觀、認知框架和常識推理，能更好地理解和反映韓國社會的社會文化規範和價值觀。
• 多版本發佈：提供Mi:dm 2.0 Base和Mi:dm 2.0 Mini兩個版本，分別適用於不同的應用場景，滿足多樣化的需求。
• 量化優化：採用新的量化方法，選擇性地提高關鍵層的精度，在一定程度上改善了模型在低比特深度下的性能。

📦 安裝指南

本地運行

我們提供了使用llama.cpp、LM Studio和Ollama在本地運行Mi:dm 2.0的詳細說明。更多信息請查看我們的 GitHub。

部署

使用 vLLM (>=0.8.0) 以OpenAI兼容的API來服務Mi:dm 2.0：

vllm serve K-intelligence/Midm-2.0-Base-Instruct

💻 使用示例

在Friendli.AI上運行

你可以通過Friendli.AI立即試用我們的模型。只需點擊Deploy，然後點擊Friendli Endpoints。

⚠️ 重要提示

請注意，在進行第五次聊天交互後，需要登錄Friendli.AI。

在本地機器上運行

我們提供了使用llama.cpp、LM Studio和Ollama在本地機器上運行Mi:dm 2.0的詳細說明。更多信息請查看我們的 GitHub。

📚 詳細文檔

模型生成細節

該模型使用 llama.cpp 在提交版本 21c02174 時生成。

量化超越IMatrix

我一直在試驗一種新的量化方法，該方法選擇性地提高關鍵層的精度，超越了默認IMatrix配置提供的精度。在我的測試中，標準IMatrix量化在低比特深度下表現不佳，尤其是對於專家混合（MoE）模型。為了解決這個問題，我使用llama.cpp中的--tensor-type選項手動將重要層的精度提高。你可以在以下鏈接查看實現： 👉 使用llama.cpp進行層提升

雖然這確實會增加模型文件的大小，但它顯著提高了給定量化級別的精度。

評估

韓語評估

* 表示KT專有的評估資源。

英語評估

教程

為了幫助我們的最終用戶輕鬆使用Mi:dm 2.0，我們在 GitHub 上提供了全面的教程。

🔧 技術細節

量化方法

使用新的量化方法，通過llama.cpp中的--tensor-type選項手動提高關鍵層的精度，以改善模型在低比特深度下的性能。

模型版本

• Mi:dm 2.0 Base：一個115億參數的密集模型，旨在平衡模型大小和性能。它通過應用深度擴展（DuS）方法擴展了一個80億規模的模型，適用於需要性能和通用性的實際應用。
• Mi:dm 2.0 Mini：一個輕量級的23億參數密集模型，針對設備端環境和GPU資源有限的系統進行了優化。它通過剪枝和蒸餾從基礎模型派生而來，以實現緊湊的部署。

📄 許可證

Mi:dm 2.0根據 MIT許可證 授權。

聯繫信息

Mi:dm 2.0技術諮詢：midm-llm@kt.com

限制

• 語言限制：兩個Mi:dm 2.0模型的訓練數據主要由英語和韓語組成，不保證對其他語言的理解和生成能力。
• 專業領域限制：該模型不保證在需要專業知識的領域（如法律、醫學或金融）提供可靠的建議。
• 內容準確性：儘管研究人員努力從訓練數據中排除不道德的內容，但模型仍可能產生不適當的表達或事實不準確的內容。

🚀 如果你覺得這些模型有用

幫助我測試我的 AI驅動的量子網絡監控助手 進行 量子就緒安全檢查： 👉 量子網絡監控

量子網絡監控服務的完整開源代碼可在我的GitHub倉庫（名稱中包含NetworkMonitor的倉庫）中找到：量子網絡監控源代碼。如果你想自己進行量化，還可以找到我用於量化模型的代碼 GGUFModelBuilder。

💬 如何測試： 選擇一個 AI助手類型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginface開源模型)
• TestLLM (僅實驗性CPU)

我正在測試的內容

我正在挑戰小型開源模型在AI網絡監控方面的極限，具體包括：

• 針對即時網絡服務的 函數調用
• 模型可以多小 同時仍能處理：
  • 自動 Nmap安全掃描
  • 量子就緒檢查
  • 網絡監控任務

🟡 TestLLM – 當前的實驗模型（在Hugging Face Docker空間的2個CPU線程上運行llama.cpp）：

• ✅ 零配置設置
• ⏳ 30秒加載時間（推理速度慢，但 無API成本）。由於成本低，沒有令牌限制。
• 🔧 尋求幫助！ 如果你對 邊緣設備AI 感興趣，讓我們合作。