CheXagent-2-3bオープンソース医療AIモデル - 無料で胸部X線画像の解読と分析をサポート

ホーム

Chexagent 2 3b

StanfordAIMIによって開発

CheXagentは胸部X線読影に特化した基礎モデルで、医療画像解析を支援することを目的としています。

画像生成テキスト

Transformers

その他#胸部X線読影 #医療画像解析 #マルチモーダルモデル

ダウンロード数 28.72k

リリース時間 : 4/29/2024

モデル概要

CheXagentは胸部X線画像の読影と分析のために特別に設計されたマルチモーダル基礎モデルで、医学画像を理解し関連する診断アドバイスを提供できます。

モデル特徴

医学画像理解

胸部X線画像の医学的特徴を解析・理解できる

マルチモーダル処理

画像とテキスト入力を同時に処理し、画像と診断アドバイスを統合する

医療診断支援

医療専門家に診断参考意見を提供する

モデル能力

胸部X線画像分析

医学画像読影

診断アドバイス生成

マルチモーダル推論

使用事例

医療診断

胸部異常検出

X線画像中の肺炎、気胸などの異常を識別

放射線科医の診断効率向上を支援

診断レポート生成

X線画像に基づき自動的に予備診断レポートを生成

医師の文書作業時間を削減

医学教育

医学画像教育

X線読影を学ぶ医学生を支援する教育ツールとして

即時フィードバックと説明を提供

🚀 CheXagent

CheXagentは、胸部レントゲン画像の解釈を目的とした基礎モデルです。このモデルは、胸部レントゲン画像の分析に役立ち、医療分野での診断支援に貢献します。

🚀 クイックスタート

モデルのリリース情報

[2024年4月29日]：モデルがHugging Faceで公開されました。

コードによる使用例

import io

import requests
import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

# step 1: Setup constant
model_name = "StanfordAIMI/CheXagent-2-3b"
dtype = torch.bfloat16
device = "cuda"

# step 2: Load Processor and Model
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", trust_remote_code=True)
model = model.to(dtype)
model.eval()

# step 3: Inference
query = tokenizer.from_list_format([*[{'image': path} for path in paths], {'text': prompt}])
conv = [{"from": "system", "value": "You are a helpful assistant."}, {"from": "human", "value": query}]
input_ids = tokenizer.apply_chat_template(conv, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids.to(device), do_sample=False, num_beams=1, temperature=1., top_p=1., use_cache=True,
    max_new_tokens=512
)[0]
response = tokenizer.decode(output[input_ids.size(1):-1])

📄 ライセンス

このプロジェクトは、CC BY-NC 4.0ライセンスの下で公開されています。

✏️ 引用

@article{chexagent-2024,
  title={CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation},
  author={Chen, Zhihong and Varma, Maya and Delbrouck, Jean-Benoit and Paschali, Magdalini and Blankemeier, Louis and Veen, Dave Van and Valanarasu, Jeya Maria Jose and Youssef, Alaa and Cohen, Joseph Paul and Reis, Eduardo Pontes and Tsai, Emily B. and Johnston, Andrew and Olsen, Cameron and Abraham, Tanishq Mathew and Gatidis, Sergios and Chaudhari, Akshay S and Langlotz, Curtis},
  journal={arXiv preprint arXiv:2401.12208},
  url={https://arxiv.org/abs/2401.12208},
  year={2024}
}

📝 論文 • 🤗 Hugging Face • 🧩 Github • 🪄 プロジェクト