M3D LaMed Llama 2 7B

🚀 M3D: 多モーダル大規模言語モデルによる3D医療画像解析の進化

M3Dは、3D医療解析用の多モーダル大規模言語モデルに関する先駆的かつ包括的な一連の研究です。以下の要素を含んでいます。

• M3D-Data：最大規模のオープンソース3D医療データセットで、120Kの画像-テキストペアと662Kの命令-応答ペアから構成されています。
• M3D-LaMed：M3D-CLIPで事前学習されたビジョンエンコーダを備えた汎用的な多モーダルモデルで、画像-テキスト検索、レポート生成、ビジュアル質問応答、位置特定、セグメンテーションなどのタスクを実行できます。
• M3D-Bench：8つのタスクをカバーする最も包括的な自動評価ベンチマークです。

論文 | データ | コード

🚀 クイックスタート

ここでは、Hugging Faceをベースにして簡単にモデルを使用することができます。

import numpy as np
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import simple_slice_viewer as ssv
import SimpleITK as sikt

device = torch.device('cuda') # 'cpu', 'cuda'
dtype = torch.bfloat16 # or bfloat16, float16, float32

model_name_or_path = 'GoodBaiBai88/M3D-LaMed-Llama-2-7B'
proj_out_num = 256

# 3D医療画像を準備する:
# 1. 画像の形状を1*32*256*256に処理する必要があります。リサイズなどの方法を検討してください。
# 2. 画像を0-1に正規化する必要があります。最小-最大正規化を検討してください。
# 3. 画像形式を.npyに変換する必要があります。
# 4. 2D画像で学習していませんが、理論的には2D画像を1*32*256*256の形状に補間して入力することができます。
image_path = "./Data/data/examples/example_01.npy"

model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path,
    torch_dtype=dtype,
    device_map='auto',
    trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(
    model_name_or_path,
    model_max_length=512,
    padding_side="right",
    use_fast=False,
    trust_remote_code=True
)

model = model.to(device=device)

# question = "Can you provide a caption consists of findings for this medical image?"
question = "What is liver in this image? Please output the segmentation mask."
# question = "What is liver in this image? Please output the box."

image_tokens = "<im_patch>" * proj_out_num
input_txt = image_tokens + question
input_id = tokenizer(input_txt, return_tensors="pt")['input_ids'].to(device=device)

image_np = np.load(image_path)
image_pt = torch.from_numpy(image_np).unsqueeze(0).to(dtype=dtype, device=device)

# generation = model.generate(image_pt, input_id, max_new_tokens=256, do_sample=True, top_p=0.9, temperature=1.0)
generation, seg_logit = model.generate(image_pt, input_id, seg_enable=True, max_new_tokens=256, do_sample=True, top_p=0.9, temperature=1.0)

generated_texts = tokenizer.batch_decode(generation, skip_special_tokens=True)
seg_mask = (torch.sigmoid(seg_logit) > 0.5) * 1.0

print('question', question)
print('generated_texts', generated_texts[0])

image = sikt.GetImageFromArray(image_np)
ssv.display(image)
seg = sikt.GetImageFromArray(seg_mask.cpu().numpy()[0])
ssv.display(seg)

✨ 主な機能

• M3D-Data：最大規模のオープンソース3D医療データセットを提供します。
• M3D-LaMed：多様な医療画像関連タスクを実行できる多モーダルモデルです。
• M3D-Bench：包括的な自動評価ベンチマークを提供します。

📄 ライセンス

本プロジェクトはApache-2.0ライセンスの下で公開されています。

🔔 お知らせ

以前のGoodBaiBai88/M3D-LaMed-Llama-2-7Bモデルにはセグメンテーションタスクで問題があることが判明しました。この問題を修正し、近日中に新しいモデルを再リリースします。