PEGASUS PET Impression

🚀 基于大语言模型的PET报告自动个性化印象生成 📄✍

本项目利用大语言模型实现PET报告的自动个性化印象生成，解决了人工撰写PET报告印象耗时费力的问题，能够快速、准确地根据PET报告的检查结果生成个性化的临床印象，提高了PET报告的生成效率。

🚀 快速开始

模型使用示例

finetuned_model = "xtie/PEGASUS-PET-impression"
tokenizer = AutoTokenizer.from_pretrained(finetuned_model) 
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()

findings_info =
"""
Description: PET CT WHOLE BODY
Radiologist: James
Findings:
Head/Neck: xxx Chest: xxx Abdomen/Pelvis: xxx Extremities/Musculoskeletal: xxx
Indication:
The patient is a 60-year old male with a history of xxx
"""

inputs = tokenizer(findings_info.replace('\n', ' '),
                  padding="max_length",
                  truncation=True,
                  max_length=1024,
                  return_tensors="pt")
input_ids = inputs.input_ids.to("cuda")
attention_mask = inputs.attention_mask.to("cuda")
outputs = model.generate(input_ids,
                        attention_mask=attention_mask,
                        max_new_tokens=512, 
                        num_beam_groups=1,
                        num_beams=4, 
                        do_sample=False,
                        diversity_penalty=0.0,
                        num_return_sequences=1, 
                        length_penalty=2.0,
                        no_repeat_ngram_size=3,
                        early_stopping=True
                        )
# get the generated impressions
output_str = tokenizer.decode(outputs,
                              skip_special_tokens=True) 

性能指标

如需详细的评估结果，请参考我们的论文。

✨ 主要特性

• 微调后的大语言模型可根据PET检查结果提供具有临床实用价值的个性化印象。
• 据我们所知，这是首次尝试实现全身PET报告印象生成的自动化。

📚 详细文档

📑 模型描述

这是一个经过微调的PEGASUS模型，用于总结PET报告中的检查结果。

如需查看我们为PET报告总结微调的大语言模型（LLM），请访问以下链接：

• BERT2BERT - PET
• BART - PET
• BioBART - PET
• PEGASUS - PET
• T5v1.1 - PET
• Clinical - T5 - PET
• Flan - T5 - PET
• GPT2 - XL - PET
• OPT - 1.3B - PET
• LLaMA - LoRA - PET
• Alpaca - LoRA - PET

📑 摘要

目的：确定微调后的大语言模型（LLM）是否能够为全身PET报告生成准确的个性化印象。

材料和方法：使用教师强制算法，在PET报告语料库上训练了12种语言模型，以报告检查结果为输入，临床印象为参考。额外的输入标记对阅片医生的身份进行编码，使模型能够学习医生特定的报告风格。我们的语料库包含了2010年至2022年从我们机构收集的37370份回顾性PET报告。为了确定最佳的LLM，将30种评估指标与两名核医学（NM）医生的质量评分进行基准对比，选择最匹配的指标对应的模型进行专家评估。在部分数据中，由三名NM医生根据6个质量维度和总体效用评分（5分制）对模型生成的印象和原始临床印象进行评估。每位医生审查了12份自己的报告和12份其他医生的报告。使用自助重采样进行统计分析。

结果：在所有评估指标中，经过领域适应的BARTScore和PEGASUSScore与医生偏好的Spearman's ρ相关性最高（分别为0.568和0.563）。基于这些指标，微调后的PEGASUS模型被选为最佳LLM。当医生审查以自己风格生成的PEGASUS印象时，89%被认为具有临床可接受性，平均效用评分为4.08/5。医生认为这些个性化印象在总体效用上与其他医生口述的印象相当（4.03，P = 0.41）。

结论：PEGASUS生成的个性化印象具有临床实用价值，凸显了其加快PET报告速度的潜力。

阅读完整论文

🖥️ 硬件

模型在NVIDIA A100 GPU上进行训练。

📦 额外资源

• 微调基础模型：Google的PEGASUS Large
• 训练和推理代码库：GitHub仓库

作者信息

作者：Xin Tie, Muheon Shin, Ali Pirasteh, Nevein Ibrahim, Zachary Huemann, Sharon M. Castellino, Kara Kelly, John Garrett, Junjie Hu, Steve Y. Cho, Tyler J. Bradshaw