Midm 2.0 Base Instruct GGUF

🚀 Midm-2.0-Base-Instruct GGUF モデル

Midm-2.0-Base-Instruct GGUFモデルは、テキスト生成に特化したモデルです。このモデルは、特定のアプローチで生成され、量子化の改善や高精度なテキスト生成が可能です。

🚀 クイックスタート

以下は、このモデルを使って会話推論を実行するコードスニペットです。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "K-intelligence/Midm-2.0-Base-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "KT에 대해 소개해줘"

# message for inference
messages = [
    {"role": "system", 
     "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

⚠️ 重要提示

transformersライブラリはバージョン4.45.0以上が必要です。

✨ 主な機能

• 韓国中心のAIモデル：KTの独自技術を用いて開発された、韓国社会の価値観や常識的推論を深く取り入れたモデルです。
• 2種類のバージョン提供：115億パラメータのBaseモデルと、23億パラメータのMiniモデルがあり、それぞれ異なるニーズに対応しています。
• 新しい量子化アプローチ：キーレイヤーの精度を選択的に向上させる量子化アプローチを採用し、精度を向上させています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

上記のクイックスタートのコードが基本的な使用例です。

高度な使用法

以下のコマンドを使って、vLLMを用いてMi:dm 2.0をOpenAI互換APIでサーブすることができます。

vllm serve K-intelligence/Midm-2.0-Base-Instruct

📚 ドキュメント

モデル生成詳細

このモデルは、llama.cppを使って、コミット21c02174で生成されました。

量子化の改善

標準のIMatrix量子化は、低ビット深度では性能が低下する傾向があります。この問題を解決するために、llama.cppの--tensor-typeオプションを使って、重要なレイヤーの精度を手動で上げています。
👉 Layer bumping with llama.cpp

評価

韓国語評価

英語評価

使用方法

Friendli.AIでの実行

Friendli.AIを使って、すぐにこのモデルを試すことができます。DeployをクリックしてからFriendli Endpointsをクリックしてください。

⚠️ 重要提示

5回目のチャットインタラクション以降は、Friendli.AIにログインする必要があります。

ローカルマシンでの実行

llama.cpp、LM Studio、Ollamaを使ってMi:dm 2.0をローカルマシンで実行する詳細な説明を提供しています。詳細はgithubを確認してください。

デプロイメント

vLLM(>=0.8.0)を使って、OpenAI互換APIでMi:dm 2.0をサーブするには、以下のコマンドを実行します。

vllm serve K-intelligence/Midm-2.0-Base-Instruct

チュートリアル

Mi:dm 2.0を簡単に使えるようにするための包括的なチュートリアルをgithubに用意しています。

🔧 技術詳細

このモデルは、transformersライブラリを使って開発されています。量子化の改善には、llama.cppの--tensor-typeオプションを使っています。

📄 ライセンス

Mi:dm 2.0は、MITライセンスの下で提供されています。

その他の情報

制限事項

• 両方のMi:dm 2.0モデルの学習データは主に英語と韓国語で構成されているため、他の言語の理解や生成は保証されていません。
• このモデルは、法律、医学、金融などの専門知識を必要とする分野での信頼できるアドバイスを提供することは保証されていません。
• 研究者は、学習データから不道徳な内容（暴言、侮辱、偏見、差別的な言語など）を排除する努力をしていますが、それでも不適切な表現や事実誤りを生成する可能性があります。

お問い合わせ

Mi:dm 2.0の技術的な問い合わせは、midm-llm@kt.comまでお送りください。