Midm 2.0 Base Instruct Gguf

🚀 Mi:dm 2.0

Mi:dm 2.0 は、KT の独自技術を用いて開発された「韓国を中心とした AI」モデルです。このモデルは、韓国社会独自の価値観、認知フレームワーク、常識推論を深く内包しており、単に韓国語を処理または生成するだけでなく、韓国社会の社会文化規範や価値観への深い理解を反映しています。

🌟 Mi:dm 2.0 モデル | 📄 Mi:dm 2.0 技術レポート | 📝 Mi:dm 2.0 技術ブログ*

_{*近日公開予定}

🚀 クイックスタート

ニュース

• ⏱️ （近日公開！）GGUF 形式のモデルファイルが近日公開され、ローカルデプロイがより簡単になります。
• 📅 2025/07/04：Hugging Face 上で Mi:dm 2.0 モデルコレクションが公開されました。

目次

• 概要
  • Mi:dm 2.0
  • クイックスタート
  • 評価
• 使用方法
  • Friendli.AI 上で実行
  • ローカルマシンで実行
  • デプロイ
  • チュートリアル
• 詳細情報
  • 制限事項
  • ライセンス
  • お問い合わせ

Mi:dm 2.0 の概要

Mi:dm 2.0 は 2 つのバージョンが公開されています。

• Mi:dm 2.0 Base：115 億のパラメータを持つ密なモデルで、モデルサイズと性能のバランスを図っています。80 億規模のモデルを深度拡張（DuS）方法で拡張したもので、高性能と多機能が必要な実際のアプリケーションシーンに適しています。
• Mi:dm 2.0 Mini：23 億のパラメータを持つ軽量な密なモデルで、デバイス端末環境や GPU リソースが限られたシステム向けに最適化されています。ベースモデルを枝刈りと蒸留して作成されており、コンパクトなデプロイが可能です。

⚠️ 重要な注意事項

事前学習と事後学習のデータには、KT ユーザーデータは含まれていません。

クイックスタートのコード例

以下は、このモデルを使用して会話推論を行うコードの断片です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要な注意事項

transformers ライブラリのバージョンは 4.45.0 以上である必要があります。

📊 評価

韓国語評価

* は KT 独自の評価リソースを示します。

英語評価

💻 使用例

Friendli.AI 上で実行

Friendli.AI を通じて、すぐに当社のモデルを試用することができます。Deploy をクリックし、次に Friendli Endpoints をクリックするだけです。

⚠️ 重要な注意事項

5 回目のチャットインタラクション以降は、Friendli.AI にログインする必要があります。

ローカルマシンで実行

当社では、llama.cpp、LM Studio、Ollama を使用して Mi:dm 2.0 をローカルマシンで実行する詳細な説明を提供しています。詳細は、当社の GitHub を参照してください。

デプロイ

GitHub(>=0.8.0) を使用して、OpenAI 互換の API で Mi:dm 2.0 をサービスするには、以下のコマンドを実行します。

vllm serve K-intelligence/Midm-2.0-Base-Instruct

チュートリアル

最終ユーザーが Mi:dm 2.0 を簡単に使用できるように、当社では GitHub 上で包括的なチュートリアルを提供しています。

📚 詳細ドキュメント

制限事項

• 2 つの Mi:dm 2.0 モデルの学習データは主に英語と韓国語で構成されており、他の言語の理解と生成能力は保証されていません。
• このモデルは、専門知識が必要な分野（法律、医学、金融など）で信頼できるアドバイスを提供することは保証されていません。
• 研究者は、学習データから不道徳な内容（汚い言葉、中傷的な言葉、偏見や差別的な言葉）を排除するために努力しています。しかし、これらの努力にもかかわらず、モデルが不適切な表現や事実誤りを生み出す可能性があります。

ライセンス

Mi:dm 2.0 は MIT ライセンス の下で提供されています。

お問い合わせ

Mi:dm 2.0 の技術的な問い合わせは、midm-llm@kt.com までお寄せください。