PULSE 7B

🚀 PULSE-7B

PULSE-7Bは、心電図（ECG）画像の解釈に特化したマルチモーダル大規模言語モデル（MLLM）です。このモデルは、多様なデータソースに基づく幅広いECG関連タスクを処理する能力を持ち、臨床現場での診断支援に大きな役割を果たすことが期待されています。

🚀 クイックスタート

関連リンク

• 🌐 プロジェクトページ: https://aimedlab.github.io/PULSE/
• 📄 論文: https://arxiv.org/abs/2410.19008
• 🧑‍💻 コード: https://github.com/AIMedLab/PULSE
• 👩‍⚕️ ECGInstruct（トレーニングデータセット）: https://huggingface.co/datasets/PULSE-ECG/ECGInstruct
• ⚖️ ECGBench（テストデータセット）: https://huggingface.co/datasets/PULSE-ECG/ECGBench

✨ 主な機能

私たちは、ECG画像の解釈に特化したマルチモーダル大規模言語モデル（MLLM）であるPULSE-7Bを紹介します。100万以上の命令微調整サンプルを含む包括的なECGInstructデータセットを活用して、PULSE-7Bは多様なデータソースからの幅広いECG関連タスクを処理するように設計されています。従来のECG解釈方法は、生の生理学的信号に依存し、特定の心臓疾患に限定されることが多いのに対し、PULSE-7Bは印刷されたECG画像とデジタルECG画像の両方を堅牢に解釈できるため、生の信号へのアクセスが制限される資源が限られた環境で特に価値があります。また、9つのデータセットにまたがる4つの主要なタスクを含むベンチマークであるECGBenchの導入とともに、私たちの実験は、PULSE-7Bが新たな最先端の性能を確立し、一般的なMLLMを平均15％から30％の精度向上で上回っていることを示しています。このモデルは、ECG画像の解釈を大幅に進歩させる可能性を示し、臨床現場でより汎用的で正確なツールを提供します。

ECGBenchにおけるPULSE-7Bの全体的な性能

🔧 技術詳細

ドメイン内性能

ドメイン外性能

📚 ドキュメント

ケーススタディ

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

引用

この研究が役立った場合、以下のように論文を引用してください。

@article{liu2024teach,
  title={Teach Multimodal LLMs to Comprehend Electrocardiographic Images},
  author={Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang},
  journal={arXiv preprint arXiv:2410.19008},
  year={2024}
}