Clinicalt5 PET Impression

🚀 使用大语言模型为PET报告自动生成个性化诊断意见 📄✍

本项目利用大语言模型，实现了为PET报告自动生成个性化诊断意见的功能，有效提升了PET报告的生成效率和准确性。

🚀 快速开始

代码示例

finetuned_model = "xtie/ClinicalT5-PET-impression"
tokenizer = AutoTokenizer.from_pretrained(finetuned_model) 
model = AutoModelForSeq2SeqLM.from_pretrained(finetuned_model, ignore_mismatched_sizes=True).eval()

findings_info =
"""
Description: PET CT WHOLE BODY
Radiologist: James
Findings:
Head/Neck: xxx Chest: xxx Abdomen/Pelvis: xxx Extremities/Musculoskeletal: xxx
Indication:
The patient is a 60-year old male with a history of xxx
"""

inputs = tokenizer(findings_info.replace('\n', ' '),
                  padding="max_length",
                  truncation=True,
                  max_length=1024,
                  return_tensors="pt")
input_ids = inputs.input_ids.to("cuda")
attention_mask = inputs.attention_mask.to("cuda")
outputs = model.generate(input_ids,
                        attention_mask=attention_mask,
                        max_new_tokens=512, 
                        num_beam_groups=1,
                        num_beams=4, 
                        do_sample=False,
                        diversity_penalty=0.0,
                        num_return_sequences=1, 
                        length_penalty=2.0,
                        no_repeat_ngram_size=3,
                        early_stopping=True
                        )
# get the generated impressions
output_str = tokenizer.decode(outputs,
                              skip_special_tokens=True) 

✨ 主要特性

• 微调后的大语言模型能够根据PET检查结果提供具有临床实用价值的个性化诊断意见。
• 据我们所知，这是首次尝试为全身PET报告实现诊断意见生成自动化。

📚 详细文档

📑 模型描述

这是一个经过微调的Clinical - T5模型，用于总结PET报告中的检查结果。

你可以查看我们为PET报告总结任务微调的大语言模型（LLMs）：

• BERT2BERT - PET
• BART - PET
• BioBART - PET
• PEGASUS - PET
• T5v1.1 - PET
• Clinical - T5 - PET
• Flan - T5 - PET
• GPT2 - XL - PET
• OPT - 1.3B - PET
• LLaMA - LoRA - PET
• Alpaca - LoRA - PET

📑 摘要

目的：确定微调后的大语言模型（LLMs）是否能够为全身PET报告生成准确的个性化诊断意见。

材料与方法：使用教师强制算法，在PET报告语料库上训练了十二个语言模型，以报告检查结果作为输入，临床诊断意见作为参考。一个额外的输入标记对阅片医生的身份进行编码，使模型能够学习医生特定的报告风格。我们的语料库包含了从2010年到2022年从我们机构收集的37370份回顾性PET报告。为了确定最佳的大语言模型，将30个评估指标与两名核医学（NM）医生的质量评分进行基准对比，选择与医生评分最一致的指标对应的模型进行专家评估。在部分数据中，由三名核医学医生根据6个质量维度和一个总体效用评分（5分制）对模型生成的诊断意见和原始临床诊断意见进行评估。每位医生审查了12份自己的报告和12份其他医生的报告。使用自助重采样进行统计分析。

结果：在所有评估指标中，经过领域适应的BARTScore和PEGASUSScore与医生偏好的斯皮尔曼ρ相关性最高（分别为0.568和0.563）。基于这些指标，微调后的PEGASUS模型被选为最佳大语言模型。当医生审查以自己风格生成的PEGASUS诊断意见时，89%被认为在临床上是可接受的，平均效用评分为4.08/5。医生认为这些个性化诊断意见在总体效用上与其他医生口述的诊断意见相当（4.03，P = 0.41）。

结论：PEGASUS生成的个性化诊断意见具有临床实用性，凸显了其加快PET报告生成的潜力。

阅读完整论文

📊 性能指标

如需详细的评估结果，请参考我们的论文。

• ROUGE - 1：53.2
• ROUGE - 2：30.1
• ROUGE - L：39.4
• BLEU：23.9
• BERTScore：0.743

🖥️ 硬件

模型在NVIDIA A100 GPU上进行训练。

📦 额外资源

• 微调基础模型：Clinical T5 - Large
• 训练和推理代码库：GitHub仓库

作者：Xin Tie, Muheon Shin, Ali Pirasteh, Nevein Ibrahim, Zachary Huemann, Sharon M. Castellino, Kara Kelly, John Garrett, Junjie Hu, Steve Y. Cho, Tyler J. Bradshaw