Sci Five Radsum23

🚀 放射學報告印象部分生成器 🏥

本模型是西奈（SINAI）團隊參加 2023 年 ACL 會議上生物自然語言處理（BioNLP）研討會 任務 1B：放射學報告摘要生成 的成果。該任務旨在推動自動放射學報告摘要系統的發展，並通過在提供的數據中納入七種不同的模態和解剖結構來拓展其適用性。我們提議利用“序列到序列”學習來自動生成放射學印象，這種學習方法藉助了公開可用的預訓練模型的能力，包括通用領域和生物醫學領域特定的模型。本倉庫提供了我們性能最佳的系統，該系統是對 Sci-Five base 進行微調得到的，Sci-Five base 是一個 T5 模型，為了在生物醫學文獻的背景下進行優化，額外訓練了 200k 步。

✨ 主要特性

• 參與生物醫學自然語言處理研討會的放射學報告摘要生成任務，利用“序列到序列”學習自動生成放射學印象。
• 基於公開可用的預訓練模型，包括通用領域和生物醫學領域特定的模型進行微調。
• 提供性能最佳的系統，基於對 Sci-Five base 模型的微調。

📦 安裝指南

文檔未提供相關安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供相關代碼示例，故跳過此章節。

📚 詳細文檔

結果

官方評估結果證明，將通用領域系統應用於生物醫學文獻，對後續放射學報告摘要生成任務的微調有益。下表總結了該模型在官方評估中獲得的官方分數。團隊排名可在 此處 查看。

系統描述論文及引用

詳細描述系統的論文發表在 第 22 屆生物醫學自然語言處理研討會會議記錄 上。

BibTeX 引用：

@inproceedings{chizhikova-etal-2023-sinai,
    title = "{SINAI} at {R}ad{S}um23: Radiology Report Summarization Based on Domain-Specific Sequence-To-Sequence Transformer Model",
    author = "Chizhikova, Mariia  and
      Diaz-Galiano, Manuel  and
      Urena-Lopez, L. Alfonso  and
      Martin-Valdivia, M. Teresa",
    booktitle = "The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.bionlp-1.53",
    pages = "530--534",
    abstract = "This paper covers participation of the SINAI team in the shared task 1B: Radiology Report Summarization at the BioNLP workshop held on ACL 2023. Our proposal follows a sequence-to-sequence approach which leverages pre-trained multilingual general domain and monolingual biomedical domain pre-trained language models. The best performing system based on domain-specific model reached 33.96 F1RadGraph score which is the fourth best result among the challenge participants. This model was made publicly available on HuggingFace. We also describe an attempt of Proximal Policy Optimization Reinforcement Learning that was made in order to improve the factual correctness measured with F1RadGraph but did not lead to satisfactory results.",
}

🔧 技術細節

文檔未提供相關技術實現細節，故跳過此章節。

📄 許可證

本項目採用 AFL-3.0 許可證。