Sci Five Radsum23

🚀 レントゲン検査レポートのインプレッションセクション生成器 🏥

このモデルは、ACL 2023で開催されたBioNLPワークショップのタスク1B: レントゲン検査レポートの要約におけるSINAIチームの取り組みの成果物です。このタスクの目的は、自動レントゲン検査レポート要約システムの開発を促進し、提供されたデータに7つの異なるモダリティと解剖学的部位を組み込むことでその適用性を拡大することです。我々は、一般ドメインと生物医学ドメイン固有の公開された事前学習モデルの力を活用した「シーケンス-to-シーケンス」学習により、レントゲン検査のインプレッション生成を自動化することを提案しています。このリポジトリでは、Sci-Five baseを微調整して得られた最良のパフォーマンスを発揮するシステムにアクセスできます。Sci-Five baseは、生物医学文献の文脈で最適化するためにさらに20万ステップ学習されたT5モデルです。

🚀 クイックスタート

このモデルは、レントゲン検査レポートのインプレッションセクションの自動生成に使用できます。以下の手順で使用を開始できます。

✨ 主な機能

• 一般ドメインと生物医学ドメイン固有の事前学習モデルを活用した「シーケンス-to-シーケンス」学習によるインプレッション自動生成。
• Sci-Five baseを微調整した最良のパフォーマンスを発揮するシステム。

📚 ドキュメント

結果

公式の評価結果により、一般ドメインのシステムを生物医学文献に適応させることは、レントゲン検査レポート要約タスクの微調整に有益であることが証明されています。以下の表は、公式評価中にこのモデルが得た公式スコアをまとめたものです。チームの順位はこちらで確認できます。

システムの詳細説明論文と引用

システムの詳細な説明が記載された論文は、第22回生物医学言語処理ワークショップの会議録に掲載されています。

BibTeX引用:

@inproceedings{chizhikova-etal-2023-sinai,
    title = "{SINAI} at {R}ad{S}um23: Radiology Report Summarization Based on Domain-Specific Sequence-To-Sequence Transformer Model",
    author = "Chizhikova, Mariia  and
      Diaz-Galiano, Manuel  and
      Urena-Lopez, L. Alfonso  and
      Martin-Valdivia, M. Teresa",
    booktitle = "The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.bionlp-1.53",
    pages = "530--534",
    abstract = "This paper covers participation of the SINAI team in the shared task 1B: Radiology Report Summarization at the BioNLP workshop held on ACL 2023. Our proposal follows a sequence-to-sequence approach which leverages pre-trained multilingual general domain and monolingual biomedical domain pre-trained language models. The best performing system based on domain-specific model reached 33.96 F1RadGraph score which is the fourth best result among the challenge participants. This model was made publicly available on HuggingFace. We also describe an attempt of Proximal Policy Optimization Reinforcement Learning that was made in order to improve the factual correctness measured with F1RadGraph but did not lead to satisfactory results.",
}

📄 ライセンス

このプロジェクトはAFL-3.0ライセンスの下で提供されています。