Libra V1.0 3b

🚀 ライブラモデルカード

小型の放射線科レポート生成用マルチモーダル言語モデルで、「Libra」と同じトレーニング戦略を採用しています。胸部X線の経時的な比較を行い、詳細な所見セクションを生成することができます。

🚀 クイックスタート

このドキュメントでは、Libraモデルの概要、アーキテクチャ、トレーニング方法、制限事項、および推奨される使用ガイドラインについて説明します。

✨ 主な機能

• 小型のマルチモーダル言語モデル：放射線科レポート生成に特化した小型のマルチモーダル言語モデルです。
• 経時的な比較：胸部X線の経時的な比較を行い、詳細な所見セクションを生成することができます。
• 主要コンポーネントの統合：RAD-DINO、Llama-3.2-3B-Instruct、Temporal Alignment Connector (TAC) を統合しています。

📚 ドキュメント

概要

放射線科レポート生成用の小型マルチモーダル言語モデルで、Libra と同じトレーニング戦略に従っています。このモデルは、経時的な比較（例えば、現在の胸部X線と以前のものを比較する）を行い、詳細な 所見 セクションを生成することができます。Libraは以下の主要コンポーネントを統合しています。

• RAD-DINO：医療画像データセットで事前学習されたビジョンエンコーダで、胸部X線から堅牢な特徴を抽出します。
• Llama-3.2-3B-Instruct：30億パラメータの言語モデル（Llama-3.2に基づく）。Llama 3.2の命令調整済みのテキスト専用モデルは、多言語対話ユースケース、エージェント型の検索や要約タスクに最適化されています。
• Temporal Alignment Connector (TAC)：複数の時点の特徴を融合し、経時的な比較を可能にするカスタムアダプターです。

このモデルカードでは、Libraのアーキテクチャ、トレーニング方法、制限事項、および推奨される使用ガイドラインの概要を提供します。

論文とリソース

Libraの方法論、理論的基礎、およびパフォーマンスベンチマークに関する詳細情報については、以下のリソースを参照してください。

• プロジェクトウェブサイト：Libra v1.0
• 論文：arXiv:2411.19378
• コードリポジトリ：X-iZhang/Libra (GitHub)

また、弊社のSpacesデモもご覧ください！

トレーニング戦略

Libraは二段階のプロセスでトレーニングされています。

1. 経時的な特徴アライメント
   • TACをトレーニングして、異なる時点（現在と以前の胸部X線）の特徴を効果的に融合およびアライメントします。
   • 注目すべき変化（例えば、陰影の出現や進行、デバイスやラインの変化）を捉えることに焦点を当てています。
2. 放射線科レポート生成のための微調整
   • 言語モデル部分を、胸部X線画像と放射線科レポートのペアの大規模データセットで微調整します。
   • 所見 セクションの生成に重点を置き、特に経時的な記述子を組み込んでいます。

想定される用途

Libraは主に、臨床医、研究者、および医学生が胸部X線レポートを生成する際の支援として設計されています。主な用途は以下の通りです。

• 臨床決定支援：放射線科医が精錬できるドラフト所見を提供します。
• 教育ツール：放射線科研修医のトレーニングのための例示的な解釈と経時的な変化を示します。
• 研究：自動レポート生成と医療画像における経時的な特徴学習に関する研究を促進します。

⚠️ 重要提示

最終的な臨床決定を行う前に、資格のある放射線科医または医療専門家が出力をレビューする必要があります。

制限事項と推奨事項

1. データバイアス：モデルのパフォーマンスは、代表されていない人口統計学的グループやまれな病態に対しては信頼性が低くなる可能性があります。
2. 臨床監視：常に医療専門家が結果を検証するようにしてください。Libraは専門的な判断の代替品ではありません。
3. 経時的な不正確さ：TACが経時的なアライメントに焦点を当てているにもかかわらず、微妙なまたはまれな変化が見落とされる可能性があります。
4. 汎化性：トレーニング中に見られなかった胸部X線のタイプや状態に対するLibraのパフォーマンスは制限される可能性があります。

倫理的な考慮事項

• 患者のプライバシー：データが完全に匿名化され、HIPAA/GDPR（または関連するプライバシー規制）に準拠していることを確認してください。
• 責任ある使用：Libraの出力を慎重に展開してください。エラーがないことは保証されていません。
• 説明責任：ユーザーと組織は、臨床的な正確性と安全性を検証する責任を負う必要があります。

引用方法 ✒️

学術または研究の文脈でLibraを使用する場合は、以下のように引用してください。

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免責事項

このツールは研究および教育目的のみを対象としています。臨床使用のためにFDA承認またはCEマークが付与されていません。ユーザーは、臨床的な決定については資格のある医療専門家に相談する必要があります。

📄 ライセンス

Apache-2.0