Blip2 Flan Lora Finetuned Six Epoch

🚀 Transformers模型卡片

本模型卡片介绍了一个基于Transformers的模型，该模型可用于从医学图像生成胸部X光报告。下面将详细介绍模型的各项信息及使用方法。

🚀 快速开始

此代码展示了如何使用经过微调的BLIP - 2模型和LoRA适配器，从医学图像生成胸部X光报告。它加载基础的BLIP - 2模型，应用本仓库的LoRA权重，并在Colab环境中对上传的图像进行推理。

from PIL import Image
from IPython.display import display
import torch
from transformers import Blip2Processor, Blip2ForConditionalGeneration
from google.colab import files
from peft import PeftModel

# 上传图像
uploaded = files.upload()
image_path = list(uploaded.keys())[0]

# 显示图像
image = Image.open(image_path).convert("RGB")
display(image)

# 加载处理器和模型
model_id = "efeozdilek/blip2-flan-lora-finetuned-six-epoch"
processor = Blip2Processor.from_pretrained(model_id)

# 加载基础BLIP - 2并应用LoRA权重
base_model = Blip2ForConditionalGeneration.from_pretrained(
    "Salesforce/blip2-flan-t5-xl",
    device_map="auto",
    torch_dtype=torch.float16
)
model = PeftModel.from_pretrained(base_model, model_id)

# 预处理输入
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(model.device, dtype=torch.float32) for k, v in inputs.items()}

# 生成报告
model.eval()
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=256)
    report = processor.tokenizer.decode(generated_ids[0], skip_special_tokens=True)

print("\n📋 生成的报告:\n", report)

✨ 主要特性

• 基于Transformers库构建，利用了BLIP - 2模型的强大能力。
• 使用LoRA适配器进行微调，可高效地对模型进行个性化调整。
• 能够在Colab环境中方便地进行推理，生成胸部X光报告。

📚 详细文档

模型详情

模型描述

这是一个已发布到Hub的Transformers模型的卡片，此模型卡片是自动生成的。

• 开发者：[待补充更多信息]
• 资助方（可选）：[待补充更多信息]
• 共享者（可选）：[待补充更多信息]
• 模型类型：[待补充更多信息]
• 语言（NLP）：[待补充更多信息]
• 许可证：[待补充更多信息]
• 微调基础模型（可选）：[待补充更多信息]

模型来源（可选）

• 仓库：[待补充更多信息]
• 论文（可选）：[待补充更多信息]
• 演示（可选）：[待补充更多信息]

用途

直接使用

上述代码示例展示了如何直接使用该模型进行胸部X光报告的生成。

下游使用（可选）

[待补充更多信息]

超出适用范围的使用

[待补充更多信息]

偏差、风险和局限性

[待补充更多信息]

建议

用户（包括直接用户和下游用户）应了解该模型的风险、偏差和局限性。关于进一步的建议，有待补充更多信息。

训练详情

训练数据

[待补充更多信息]

训练过程

预处理（可选）

[待补充更多信息]

训练超参数

• 训练机制：[待补充更多信息]

速度、大小、时间（可选）

[待补充更多信息]

评估

测试数据、因素和指标

测试数据

[待补充更多信息]

因素

[待补充更多信息]

指标

[待补充更多信息]

结果

[待补充更多信息]

总结

模型检查（可选）

[待补充更多信息]

环境影响

可以使用Lacoste等人（2019）提出的机器学习影响计算器来估算碳排放。

• 硬件类型：[待补充更多信息]
• 使用时长：[待补充更多信息]
• 云服务提供商：[待补充更多信息]
• 计算区域：[待补充更多信息]
• 碳排放：[待补充更多信息]

技术规格（可选）

模型架构和目标

[待补充更多信息]

计算基础设施

硬件

[待补充更多信息]

软件

[待补充更多信息]

引用（可选）

BibTeX

[待补充更多信息]

APA

[待补充更多信息]

术语表（可选）

[待补充更多信息]

更多信息（可选）

[待补充更多信息]

模型卡片作者（可选）

[待补充更多信息]

模型卡片联系方式

[待补充更多信息]