Midm 2.0 Mini Instruct Gguf

🚀 Mi:dm 2.0

Mi:dm 2.0は、韓国を中心としたAIモデルで、KTが独自技術を用いて開発しました。このモデルは、韓国社会独自の価値観、認知枠組み、常識推論を深く内包しており、韓国語の内容を処理および生成するだけでなく、韓国社会の文化規範や価値観に対する深い理解を体現しています。

🍀 Mi:dm 2.0モデル | 📄 Mi:dm 2.0技術報告 | 📝 Mi:dm 2.0技術ブログ*

_{*近日公開予定}

🚀 クイックスタート

コード実行例

以下は、このモデルを使用した対話推論のコードスニペットです。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Mini-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要な注意事項

transformersライブラリのバージョンは4.45.0以上である必要があります。

✨ 主な機能

• 複数バージョンの提供：Mi:dm 2.0 BaseとMi:dm 2.0 Miniの2つのバージョンを提供し、それぞれ異なるシナリオに適しています。
• 韓国中心の設計：韓国社会文化を深く理解し、韓国語関連のタスクをより適切に処理できます。
• 多プラットフォーム対応：Friendli.AIやローカルマシンなど、様々なプラットフォームで動作します。

📦 インストール

vLLMを使用したデプロイ

vLLM（>=0.8.0）を使用して、OpenAI互換のAPIでMi:dm 2.0をサービスする場合は、以下のコマンドを実行できます。

vllm serve K-intelligence/Midm-2.0-Mini-Instruct

💻 使用例

Friendli.AIでの実行

Friendli.AIを通じて、すぐにこのモデルを試すことができます。Deployをクリックし、次にFriendli Endpointsをクリックするだけです。

⚠️ 重要な注意事項

5回目のチャットインタラクション以降は、Friendli.AIにログインする必要があります。

ローカルマシンでの実行

llama.cpp、LM Studio、Ollamaを使用して、ローカルマシンでMi:dm 2.0を実行する詳細な手順を提供しています。詳細は、GitHubを参照してください。

チュートリアル

エンドユーザーがMi:dm 2.0を簡単に使用できるように、GitHubで包括的なチュートリアルを提供しています。

📚 ドキュメント

評価

韓国語評価

*はKT独自の評価リソースを示します。

英語評価

🔧 技術詳細

Mi:dm 2.0は2つのバージョンがリリースされています。

• Mi:dm 2.0 Base：115億のパラメータを持つ密集モデルで、モデルサイズと性能のバランスを図ることを目的としています。深度拡張（DuS）方法を適用して80億規模のモデルを拡張したもので、性能と汎用性の両方が必要な実際のアプリケーションに適しています。
• Mi:dm 2.0 Mini：軽量な23億パラメータの密集モデルで、デバイス端環境やGPUリソースが限られたシステム向けに最適化されています。基礎モデルの剪定と蒸留によって得られたもので、コンパクトなデプロイを実現します。

📄 ライセンス

Mi:dm 2.0はMITライセンスを採用しています。

連絡先

Mi:dm 2.0の技術相談：midm - llm@kt.com

制限事項

• 2つのMi:dm 2.0モデルの学習データは主に英語と韓国語で構成されており、他の言語の理解と生成能力は保証されていません。
• このモデルは、専門知識を必要とする分野（法律、医学、金融など）で信頼できるアドバイスを提供することは保証されていません。
• 研究者は、学習データから不道徳な内容（汚言穢語、中傷的な言葉、偏見や差別的な言葉など）を排除するために努力しています。しかし、これらの努力にもかかわらず、モデルが不適切な表現や事実誤りを生成する可能性があります。