Clinicalt5 PET Impression

🚀 使用大語言模型為PET報告自動生成個性化診斷意見 📄✍

本項目利用大語言模型，實現了為PET報告自動生成個性化診斷意見的功能，有效提升了PET報告的生成效率和準確性。

🚀 快速開始

代碼示例

finetuned_model = "xtie/ClinicalT5-PET-impression"
tokenizer = AutoTokenizer.from_pretrained(finetuned_model) 
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()

findings_info =
"""
Description: PET CT WHOLE BODY
Radiologist: James
Findings:
Head/Neck: xxx Chest: xxx Abdomen/Pelvis: xxx Extremities/Musculoskeletal: xxx
Indication:
The patient is a 60-year old male with a history of xxx
"""

inputs = tokenizer(findings_info.replace('\n', ' '),
                  padding="max_length",
                  truncation=True,
                  max_length=1024,
                  return_tensors="pt")
input_ids = inputs.input_ids.to("cuda")
attention_mask = inputs.attention_mask.to("cuda")
outputs = model.generate(input_ids,
                        attention_mask=attention_mask,
                        max_new_tokens=512, 
                        num_beam_groups=1,
                        num_beams=4, 
                        do_sample=False,
                        diversity_penalty=0.0,
                        num_return_sequences=1, 
                        length_penalty=2.0,
                        no_repeat_ngram_size=3,
                        early_stopping=True
                        )
# get the generated impressions
output_str = tokenizer.decode(outputs,
                              skip_special_tokens=True) 

✨ 主要特性

• 微調後的大語言模型能夠根據PET檢查結果提供具有臨床實用價值的個性化診斷意見。
• 據我們所知，這是首次嘗試為全身PET報告實現診斷意見生成自動化。

📚 詳細文檔

📑 模型描述

這是一個經過微調的Clinical - T5模型，用於總結PET報告中的檢查結果。

你可以查看我們為PET報告總結任務微調的大語言模型（LLMs）：

• BERT2BERT - PET
• BART - PET
• BioBART - PET
• PEGASUS - PET
• T5v1.1 - PET
• Clinical - T5 - PET
• Flan - T5 - PET
• GPT2 - XL - PET
• OPT - 1.3B - PET
• LLaMA - LoRA - PET
• Alpaca - LoRA - PET

📑 摘要

目的：確定微調後的大語言模型（LLMs）是否能夠為全身PET報告生成準確的個性化診斷意見。

材料與方法：使用教師強制算法，在PET報告語料庫上訓練了十二個語言模型，以報告檢查結果作為輸入，臨床診斷意見作為參考。一個額外的輸入標記對閱片醫生的身份進行編碼，使模型能夠學習醫生特定的報告風格。我們的語料庫包含了從2010年到2022年從我們機構收集的37370份回顧性PET報告。為了確定最佳的大語言模型，將30個評估指標與兩名核醫學（NM）醫生的質量評分進行基準對比，選擇與醫生評分最一致的指標對應的模型進行專家評估。在部分數據中，由三名核醫學醫生根據6個質量維度和一個總體效用評分（5分制）對模型生成的診斷意見和原始臨床診斷意見進行評估。每位醫生審查了12份自己的報告和12份其他醫生的報告。使用自助重採樣進行統計分析。

結果：在所有評估指標中，經過領域適應的BARTScore和PEGASUSScore與醫生偏好的斯皮爾曼ρ相關性最高（分別為0.568和0.563）。基於這些指標，微調後的PEGASUS模型被選為最佳大語言模型。當醫生審查以自己風格生成的PEGASUS診斷意見時，89%被認為在臨床上是可接受的，平均效用評分為4.08/5。醫生認為這些個性化診斷意見在總體效用上與其他醫生口述的診斷意見相當（4.03，P = 0.41）。

結論：PEGASUS生成的個性化診斷意見具有臨床實用性，凸顯了其加快PET報告生成的潛力。

閱讀完整論文

📊 性能指標

如需詳細的評估結果，請參考我們的論文。

• ROUGE - 1：53.2
• ROUGE - 2：30.1
• ROUGE - L：39.4
• BLEU：23.9
• BERTScore：0.743

🖥️ 硬件

模型在NVIDIA A100 GPU上進行訓練。

📦 額外資源

• 微調基礎模型：Clinical T5 - Large
• 訓練和推理代碼庫：GitHub倉庫

作者：Xin Tie, Muheon Shin, Ali Pirasteh, Nevein Ibrahim, Zachary Huemann, Sharon M. Castellino, Kara Kelly, John Garrett, Junjie Hu, Steve Y. Cho, Tyler J. Bradshaw