Mmedlm

🚀 MMedLM

MMedLMは、医学分野の多言語言語モデル構築に向けた公式モデルウェイトです。多言語の医療データに対応し、高い性能を発揮します。

🚀 クイックスタート

MMedLMは、70億パラメータを持つ多言語医療基礎モデルです。InternLMをベースに、総合的な多言語医療コーパスであるMMedCでさらに事前学習されており、医療分野の知識が強化されています。

モデルの読み込み

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMedLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMedLM", torch_dtype=torch.float16, trust_remote_code=True)

⚠️ 重要提示

これは命令微調整を行っていない基礎モデルです。また、最新バージョンのtransformersを使用するとエラーが発生することが判明しています。transformers==4.28.1を使用することをお勧めします。

✨ 主な機能

• 多言語対応: 英語、中国語、日本語、フランス語、ロシア語、スペイン語などの多言語に対応しています。
• 医療分野の知識強化: MMedCでの事前学習により、医療分野の知識が強化されています。

📦 インストール

モデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMedLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMedLM", torch_dtype=torch.float16, trust_remote_code=True)

input_text = "医療に関する質問"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(output_text)

📚 ドキュメント

最新情報

• [2024.2.21] プレプリント論文がArXivに公開されました。詳細はこちらをご覧ください。
• [2024.2.20] MMedLMとMMedLM 2をリリースしました。MMedCでの自己回帰的な継続学習により、これらのモデルは他のすべてのオープンソースモデルと比較して優れた性能を達成し、MMedBenchではGPT-4に匹敵する性能を発揮します。
• [2023.2.20] MMedCをリリースしました。これは255億トークンを含む多言語医療コーパスです。
• [2023.2.20] MMedBenchをリリースしました。これは根拠付きの新しい多言語医療選択式質問応答ベンチマークです。ランキングはこちらで確認できます。

MMedBenchでの評価

さらに事前学習されたMMedLM 2は、異なる言語にわたる医療分野で素晴らしい性能を発揮します。

• GPTとGeminiは、APIを通じてゼロショット設定で評価されています。
• オープンソースモデルは、MMedBenchのトレーニングセットで学習を行った後に評価されています。

🔧 技術詳細

モデルはMMedCで以下のハイパーパラメータでさらに事前学習されています。

• 反復回数: 15000
• グローバルバッチサイズ: 512
• カットオフ長: 2048
• 学習率: 2e-5

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

お問い合わせ

ご質問があれば、qiupengcheng@pjlab.org.cnまでお気軽にお問い合わせください。

引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}