CheXagent-8bオープンソースAIモデル - 医療分野の胸部X線写真の専門的解釈を無料で支援

Home

Chexagent 8b

Developed by StanfordAIMI

CheXagentは胸部レントゲンの解釈に使用される基礎モデルで、医療分野における胸部レントゲン画像の専門的な解釈を支援します。

画像生成テキスト

Transformers

#胸部レントゲン解釈 #医療画像分析 #マルチモーダル生成

Downloads 1,020

Release Time : 12/15/2023

Model Overview

CheXagentは胸部レントゲン画像分析に特化した基礎モデルで、コードを呼び出すことで画像の専門的な解釈と記述の生成を実現できます。

Model Features

専門的な医療画像解釈

胸部レントゲン画像に特化して設計され、専門的な医学的解釈と記述を生成できます。

マルチモーダル処理能力

視覚と言語の処理能力を組み合わせ、画像を理解してテキスト記述を生成できます。

医療分野向け最適化

医療分野の特定のニーズに合わせて最適化され、専門的な医学用語や概念を扱うことができます。

Model Capabilities

胸部レントゲン画像分析

医療画像記述生成

特定の解剖学的構造の識別

医学的異常検出

Use Cases

医療診断補助

胸腔内液貯留検出

胸部レントゲン画像を分析し、胸腔内液貯留などの異常を識別して記述します。

サンプル画像の胸腔内液貯留の状況を正確に識別して記述できます。

気道分析

画像内の気道構造を分析して記述します。

指示に基づいて専門的な気道の記述を生成できます。

医学教育

画像教育補助

医学生にレントゲン画像の専門的な解釈と説明を提供します。

🚀 CheXagent

CheXagentは、胸部レントゲン画像の解釈を行うためのモデルです。このモデルは、胸部レントゲン画像の分析に役立ち、医学分野における診断支援などの用途に利用できます。

🚀 クイックスタート

[12/15/2023]：モデルがHugging Faceで公開されました。

💻 使用例

基本的な使用法

import io

import requests
import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor, GenerationConfig

# step 1: Setup constant
device = "cuda"
dtype = torch.float16

# step 2: Load Processor and Model
processor = AutoProcessor.from_pretrained("StanfordAIMI/CheXagent-8b", trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained("StanfordAIMI/CheXagent-8b")
model = AutoModelForCausalLM.from_pretrained("StanfordAIMI/CheXagent-8b", torch_dtype=dtype, trust_remote_code=True)

# step 3: Fetch the images
image_path = "https://upload.wikimedia.org/wikipedia/commons/3/3b/Pleural_effusion-Metastatic_breast_carcinoma_Case_166_%285477628658%29.jpg"
images = [Image.open(io.BytesIO(requests.get(image_path).content)).convert("RGB")]

# step 4: Generate the Findings section
prompt = f'Describe "Airway"'
inputs = processor(images=images, text=f" USER: <s>{prompt} ASSISTANT: <s>", return_tensors="pt").to(device=device, dtype=dtype)
output = model.generate(**inputs, generation_config=generation_config)[0]
response = processor.tokenizer.decode(output, skip_special_tokens=True)

📄 ライセンス

@article{chexagent-2024,
  title={CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation},
  author={Chen, Zhihong and Varma, Maya and Delbrouck, Jean-Benoit and Paschali, Magdalini and Blankemeier, Louis and Veen, Dave Van and Valanarasu, Jeya Maria Jose and Youssef, Alaa and Cohen, Joseph Paul and Reis, Eduardo Pontes and Tsai, Emily B. and Johnston, Andrew and Olsen, Cameron and Abraham, Tanishq Mathew and Gatidis, Sergios and Chaudhari, Akshay S and Langlotz, Curtis},
  journal={arXiv preprint arXiv:2401.12208},
  url={https://arxiv.org/abs/2401.12208},
  year={2024}
}