Mmed Llama 3 8B

🚀 MMedLM

MMedLMは、「Towards Building Multilingual Language Model for Medicine」の公式モデルウェイトを提供するプロジェクトです。このモデルは、医療分野における多言語対応の自然言語処理に役立ちます。

💻Githubリポジトリ 🖨️arXiv論文

🚀 クイックスタート

このリポジトリには、80億パラメータを持つ多言語医療基礎モデルであるMMed-Llama 3が含まれています。MMed-Llama 3はLlama 3をベースに構築され、包括的な多言語医療コーパスであるMMedCでさらに事前学習されています。この事前学習により、モデルの医療分野の知識が強化されています。

モデルは以下のハイパーパラメータでMMedC上でさらに事前学習されました：

• イテレーション数: 15000
• グローバルバッチサイズ: 512
• カットオフ長: 8192
• 学習率: 2e-5

モデルは以下のようにロードできます：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

⚠️ 重要提示

これは命令微調整を受けていない基礎モデルです。

✨ 主な機能

• 多言語対応：英語、中国語、日本語、フランス語、ロシア語、スペイン語など、複数の言語に対応しています。
• 医療分野の知識強化：MMedCコーパスでの事前学習により、医療分野の知識が強化されています。

📦 インストール

このモデルを使用するには、上記のコード例を参考に、必要なライブラリをインストールしてモデルをロードしてください。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

📚 ドキュメント

ニュース

• [2024.2.21] プレプリント論文がArXivに公開されました。詳細はこちらから。
• [2024.2.20] MMedLM と MMedLM 2 をリリースしました。MMedC上での自己回帰的な継続学習により、これらのモデルは他のすべてのオープンソースモデルに比べて優れた性能を達成し、MMedBenchではGPT-4に匹敵する結果を得ています。
• [2023.2.20] MMedC をリリースしました。これは255億トークンを含む多言語医療コーパスです。
• [2023.2.20] MMedBench をリリースしました。これは根拠付きの新しい多言語医療選択式質問応答ベンチマークです。リーダーボードはこちらから確認できます。

MMedBenchでの評価

事前学習されたMMedLM 2は、異なる言語にわたる医療分野で優れた性能を発揮します。

• GPTとGeminiは、APIを通じてゼロショット設定で評価されています。
• オープンソースモデルは、MMedBenchのトレーニングセットで学習を行った後に評価されています。

📄 ライセンス

このプロジェクトはLlama 3のライセンスに基づいています。

📞 連絡先

何か質問があれば、qiupengcheng@pjlab.org.cnまでお問い合わせください。

📖 引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}