PEGASUS PET Impression

🚀 基於大語言模型的PET報告自動個性化印象生成 📄✍

本項目利用大語言模型實現PET報告的自動個性化印象生成，解決了人工撰寫PET報告印象耗時費力的問題，能夠快速、準確地根據PET報告的檢查結果生成個性化的臨床印象，提高了PET報告的生成效率。

🚀 快速開始

模型使用示例

finetuned_model = "xtie/PEGASUS-PET-impression"
tokenizer = AutoTokenizer.from_pretrained(finetuned_model) 
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()

findings_info =
"""
Description: PET CT WHOLE BODY
Radiologist: James
Findings:
Head/Neck: xxx Chest: xxx Abdomen/Pelvis: xxx Extremities/Musculoskeletal: xxx
Indication:
The patient is a 60-year old male with a history of xxx
"""

inputs = tokenizer(findings_info.replace('\n', ' '),
                  padding="max_length",
                  truncation=True,
                  max_length=1024,
                  return_tensors="pt")
input_ids = inputs.input_ids.to("cuda")
attention_mask = inputs.attention_mask.to("cuda")
outputs = model.generate(input_ids,
                        attention_mask=attention_mask,
                        max_new_tokens=512, 
                        num_beam_groups=1,
                        num_beams=4, 
                        do_sample=False,
                        diversity_penalty=0.0,
                        num_return_sequences=1, 
                        length_penalty=2.0,
                        no_repeat_ngram_size=3,
                        early_stopping=True
                        )
# get the generated impressions
output_str = tokenizer.decode(outputs,
                              skip_special_tokens=True) 

性能指標

如需詳細的評估結果，請參考我們的論文。

✨ 主要特性

• 微調後的大語言模型可根據PET檢查結果提供具有臨床實用價值的個性化印象。
• 據我們所知，這是首次嘗試實現全身PET報告印象生成的自動化。

📚 詳細文檔

📑 模型描述

這是一個經過微調的PEGASUS模型，用於總結PET報告中的檢查結果。

如需查看我們為PET報告總結微調的大語言模型（LLM），請訪問以下鏈接：

• BERT2BERT - PET
• BART - PET
• BioBART - PET
• PEGASUS - PET
• T5v1.1 - PET
• Clinical - T5 - PET
• Flan - T5 - PET
• GPT2 - XL - PET
• OPT - 1.3B - PET
• LLaMA - LoRA - PET
• Alpaca - LoRA - PET

📑 摘要

目的：確定微調後的大語言模型（LLM）是否能夠為全身PET報告生成準確的個性化印象。

材料和方法：使用教師強制算法，在PET報告語料庫上訓練了12種語言模型，以報告檢查結果為輸入，臨床印象為參考。額外的輸入標記對閱片醫生的身份進行編碼，使模型能夠學習醫生特定的報告風格。我們的語料庫包含了2010年至2022年從我們機構收集的37370份回顧性PET報告。為了確定最佳的LLM，將30種評估指標與兩名核醫學（NM）醫生的質量評分進行基準對比，選擇最匹配的指標對應的模型進行專家評估。在部分數據中，由三名NM醫生根據6個質量維度和總體效用評分（5分制）對模型生成的印象和原始臨床印象進行評估。每位醫生審查了12份自己的報告和12份其他醫生的報告。使用自助重採樣進行統計分析。

結果：在所有評估指標中，經過領域適應的BARTScore和PEGASUSScore與醫生偏好的Spearman's ρ相關性最高（分別為0.568和0.563）。基於這些指標，微調後的PEGASUS模型被選為最佳LLM。當醫生審查以自己風格生成的PEGASUS印象時，89%被認為具有臨床可接受性，平均效用評分為4.08/5。醫生認為這些個性化印象在總體效用上與其他醫生口述的印象相當（4.03，P = 0.41）。

結論：PEGASUS生成的個性化印象具有臨床實用價值，凸顯了其加快PET報告速度的潛力。

閱讀完整論文

🖥️ 硬件

模型在NVIDIA A100 GPU上進行訓練。

📦 額外資源

• 微調基礎模型：Google的PEGASUS Large
• 訓練和推理代碼庫：GitHub倉庫

作者信息

作者：Xin Tie, Muheon Shin, Ali Pirasteh, Nevein Ibrahim, Zachary Huemann, Sharon M. Castellino, Kara Kelly, John Garrett, Junjie Hu, Steve Y. Cho, Tyler J. Bradshaw