Mmed Llama 3 8B EnIns

🚀 MMedLM

「Towards Building Multilingual Language Model for Medicine」の公式モデルウェイトです。

💻Github Repo 🖨️arXiv Paper

🚀 クイックスタート

このリポジトリには、MMed-Llama 3-8BをベースにしたMMed-Llama 3-8B-EnInsが含まれています。我々は、一般的に使用される英語のベンチマークで既存のモデルと公平な比較を行うために、英語の命令微調整データセット（PMC-LLaMAから）でモデルをさらに微調整しました。

MMed-Llama 3-8B-EnInsは、QAタスクに焦点を当てた英語の医療SFTデータセットであるpmc_llama_instructionsでのみトレーニングされています。したがって、このモデルの多言語入力に対する応答能力は依然として限られています。

モデルは以下のように読み込むことができます。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns", torch_dtype=torch.float16)

• 推論形式はLlama 3-Instructに似ており、推論コードはこちらで確認できます。
• 選択肢付きの質問応答タスクでは、以下の命令を使用することをおすすめします。

from model import MedS_Llama3 # https://github.com/MAGIC-AI4Med/MedS-Ins/blob/main/Inference/model.py
sdk_api = MedS_Llama3(model_path="Henrychur/MMed-Llama-3-8B-EnIns", gpu_id=0)
INSTRUCTION = "Given a question and a list of options, select the correct answer from the options directly."
input_ = "Question: A mother brings her 3-week-old infant to the pediatrician's office because she is concerned about his feeding habits. He was born without complications and has not had any medical problems up until this time. However, for the past 4 days, he has been fussy, is regurgitating all of his feeds, and his vomit is yellow in color. On physical exam, the child's abdomen is minimally distended but no other abnormalities are appreciated. Which of the following embryologic errors could account for this presentation?\nOptions: A: Abnormal migration of ventral pancreatic bud\tB: Complete failure of proximal duodenum to recanalize\tC: Abnormal hypertrophy of the pylorus\tD: Failure of lateral body folds to move ventrally and fuse in the midline\t"
results = sdk_api.chat([], input_, INSTRUCTION)
print(results)

✨ 主な機能

• 多言語対応：英語、中国語、日本語、フランス語、ロシア語、スペイン語などの複数の言語に対応しています。
• 医療分野への特化：医療分野のタスクに特化したモデルで、医療データセットでトレーニングされています。
• 高性能：一般的な英語のベンチマークで優れた性能を発揮します。

📦 インストール

このセクションでは、モデルのインストール方法について説明します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns", torch_dtype=torch.float16)

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns", torch_dtype=torch.float16)

高度な使用法

from model import MedS_Llama3 # https://github.com/MAGIC-AI4Med/MedS-Ins/blob/main/Inference/model.py
sdk_api = MedS_Llama3(model_path="Henrychur/MMed-Llama-3-8B-EnIns", gpu_id=0)
INSTRUCTION = "Given a question and a list of options, select the correct answer from the options directly."
input_ = "Question: A mother brings her 3-week-old infant to the pediatrician's office because she is concerned about his feeding habits. He was born without complications and has not had any medical problems up until this time. However, for the past 4 days, he has been fussy, is regurgitating all of his feeds, and his vomit is yellow in color. On physical exam, the child's abdomen is minimally distended but no other abnormalities are appreciated. Which of the following embryologic errors could account for this presentation?\nOptions: A: Abnormal migration of ventral pancreatic bud\tB: Complete failure of proximal duodenum to recanalize\tC: Abnormal hypertrophy of the pylorus\tD: Failure of lateral body folds to move ventrally and fuse in the midline\t"
results = sdk_api.chat([], input_, INSTRUCTION)
print(results)

📚 ドキュメント

ニュース

• [2024.2.21] 我々の先行版論文がArXivに公開されました。詳細はこちらをご覧ください。
• [2024.2.20] MMedLMとMMedLM 2を公開しました。MMedCでの自己回帰的な継続トレーニングにより、これらのモデルは他のすべてのオープンソースモデルと比較して優れた性能を達成し、MMedBenchではGPT - 4に匹敵する性能を発揮します。
• [2023.2.20] MMedCを公開しました。これは255億トークンを含む多言語医療コーパスです。
• [2023.2.20] MMedBenchを公開しました。これは根拠付きの新しい多言語医療選択肢付き質問応答ベンチマークです。リーダーボードはこちらで確認できます。

一般的な英語ベンチマークでの評価

さらに事前学習されたMMed-Llama3は、異なる英語ベンチマークで医療分野において優れた性能を発揮します。

📄 ライセンス

このモデルはllama3ライセンスの下で提供されています。

🔧 技術詳細

データセット

• Henrychur/MMedC
• axiong/pmc_llama_instructions

サポート言語

• 英語
• 中国語
• 日本語
• フランス語
• ロシア語
• スペイン語

ベースモデル

Henrychur/MMed-Llama-3-8B

ライブラリ名

transformers

📞 お問い合わせ

何か質問があれば、qiupengcheng@pjlab.org.cnまでお気軽にご連絡ください。

📚 引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}