Biobart PET Impression

🚀 基於大語言模型的PET報告自動個性化印象生成 📄✍

本項目利用大語言模型，實現PET報告的自動個性化印象生成，有效提高PET報告的生成效率，為醫療工作者提供更便捷的工具。

🚀 快速開始

finetuned_model = "xtie/BioBART-PET-impression"
tokenizer = AutoTokenizer.from_pretrained(finetuned_model) 
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()

findings_info =
"""
Description: PET CT WHOLE BODY
Radiologist: James
Findings:
Head/Neck: xxx Chest: xxx Abdomen/Pelvis: xxx Extremities/Musculoskeletal: xxx
Indication:
The patient is a 60-year old male with a history of xxx
"""

inputs = tokenizer(findings_info.replace('\n', ' '),
                  padding="max_length",
                  truncation=True,
                  max_length=1024,
                  return_tensors="pt")
input_ids = inputs.input_ids.to("cuda")
attention_mask = inputs.attention_mask.to("cuda")
outputs = model.generate(input_ids,
                        attention_mask=attention_mask,
                        max_new_tokens=512, 
                        num_beam_groups=1,
                        num_beams=4, 
                        do_sample=False,
                        diversity_penalty=0.0,
                        num_return_sequences=1, 
                        length_penalty=2.0,
                        no_repeat_ngram_size=3,
                        early_stopping=True
                        )
# get the generated impressions
output_str = tokenizer.decode(outputs,
                              skip_special_tokens=True) 

✨ 主要特性

• 微調後的大語言模型可根據PET檢查結果生成具有臨床實用價值的個性化印象。
• 據我們所知，這是首次嘗試實現全身PET報告印象生成的自動化。

📚 詳細文檔

📑 模型描述

這是一個經過微調的BioBART模型，用於總結PET報告中的檢查結果。

你可以通過以下鏈接查看我們為PET報告總結微調的大語言模型（LLM）：

• BERT2BERT - PET
• BART - PET
• BioBART - PET
• PEGASUS - PET
• T5v1.1 - PET
• Clinical - T5 - PET
• Flan - T5 - PET
• GPT2 - XL - PET
• OPT - 1.3B - PET
• LLaMA - LoRA - PET
• Alpaca - LoRA - PET

📑 摘要

目的：確定微調後的大語言模型（LLM）是否能夠為全身PET報告生成準確的個性化印象。

材料與方法：使用教師強制算法，在PET報告語料庫上訓練了12種語言模型，以報告檢查結果為輸入，臨床印象為參考。額外的輸入標記對閱片醫生的身份進行編碼，使模型能夠學習醫生特定的報告風格。我們的語料庫包含了2010年至2022年間從我們機構收集的37370份回顧性PET報告。為了確定最佳的大語言模型，將30種評估指標與兩位核醫學（NM）醫生的質量評分進行了基準對比，選擇與醫生評分最一致的指標對應的模型進行專家評估。在部分數據中，由三位核醫學醫生根據6個質量維度和一個總體效用評分（5分制）對模型生成的印象和原始臨床印象進行評估。每位醫生審查了12份自己的報告和12份其他醫生的報告。使用自助重採樣進行統計分析。

結果：在所有評估指標中，經過領域適應的BARTScore和PEGASUSScore與醫生偏好的Spearman's ρ相關性最高（分別為0.568和0.563）。基於這些指標，微調後的PEGASUS模型被選為最佳大語言模型。當醫生審查以自己風格生成的PEGASUS印象時，89%被認為具有臨床可接受性，平均效用評分為4.08/5。醫生認為這些個性化印象在總體效用上與其他醫生口述的印象相當（4.03，P = 0.41）。

結論：PEGASUS生成的個性化印象具有臨床實用價值，凸顯了其加快PET報告速度的潛力。

閱讀完整論文

📊 性能指標

如需詳細的評估結果，請參考我們的論文。

• ROUGE - 1：51.8
• ROUGE - 2：29.4
• ROUGE - L：38.9
• BLEU：22.5
• BERTScore：0.737

🖥️ 硬件

這些模型在NVIDIA A100 GPU上進行訓練。

📁 額外資源

• 微調基礎模型：BioBART Large
• 訓練和推理代碼庫：GitHub倉庫

作者：Xin Tie、Muheon Shin、Ali Pirasteh、Nevein Ibrahim、Zachary Huemann、Sharon M. Castellino、Kara Kelly、John Garrett、Junjie Hu、Steve Y. Cho、Tyler J. Bradshaw