Blip2 Flan Lora Finetuned Six Epoch

🚀 Transformers模型卡片

本模型卡片介紹了一個基於Transformers的模型，該模型可用於從醫學圖像生成胸部X光報告。下面將詳細介紹模型的各項信息及使用方法。

🚀 快速開始

此代碼展示瞭如何使用經過微調的BLIP - 2模型和LoRA適配器，從醫學圖像生成胸部X光報告。它加載基礎的BLIP - 2模型，應用本倉庫的LoRA權重，並在Colab環境中對上傳的圖像進行推理。

from PIL import Image
from IPython.display import display
import torch
from transformers import Blip2Processor, Blip2ForConditionalGeneration
from google.colab import files
from peft import PeftModel

# 上傳圖像
uploaded = files.upload()
image_path = list(uploaded.keys())[0]

# 顯示圖像
image = Image.open(image_path).convert("RGB")
display(image)

# 加載處理器和模型
model_id = "efeozdilek/blip2-flan-lora-finetuned-six-epoch"
processor = Blip2Processor.from_pretrained(model_id)

# 加載基礎BLIP - 2並應用LoRA權重
base_model = Blip2ForConditionalGeneration.from_pretrained(
    "Salesforce/blip2-flan-t5-xl",
    device_map="auto",
    torch_dtype=torch.float16
)
model = PeftModel.from_pretrained(base_model, model_id)

# 預處理輸入
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(model.device, dtype=torch.float32) for k, v in inputs.items()}

# 生成報告
model.eval()
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=256)
    report = processor.tokenizer.decode(generated_ids[0], skip_special_tokens=True)

print("\n📋 生成的報告:\n", report)

✨ 主要特性

• 基於Transformers庫構建，利用了BLIP - 2模型的強大能力。
• 使用LoRA適配器進行微調，可高效地對模型進行個性化調整。
• 能夠在Colab環境中方便地進行推理，生成胸部X光報告。

📚 詳細文檔

模型詳情

模型描述

這是一個已發佈到Hub的Transformers模型的卡片，此模型卡片是自動生成的。

• 開發者：[待補充更多信息]
• 資助方（可選）：[待補充更多信息]
• 共享者（可選）：[待補充更多信息]
• 模型類型：[待補充更多信息]
• 語言（NLP）：[待補充更多信息]
• 許可證：[待補充更多信息]
• 微調基礎模型（可選）：[待補充更多信息]

模型來源（可選）

• 倉庫：[待補充更多信息]
• 論文（可選）：[待補充更多信息]
• 演示（可選）：[待補充更多信息]

用途

直接使用

上述代碼示例展示瞭如何直接使用該模型進行胸部X光報告的生成。

下游使用（可選）

[待補充更多信息]

超出適用範圍的使用

[待補充更多信息]

偏差、風險和侷限性

[待補充更多信息]

建議

用戶（包括直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。關於進一步的建議，有待補充更多信息。

訓練詳情

訓練數據

[待補充更多信息]

訓練過程

預處理（可選）

[待補充更多信息]

訓練超參數

• 訓練機制：[待補充更多信息]

速度、大小、時間（可選）

[待補充更多信息]

評估

測試數據、因素和指標

測試數據

[待補充更多信息]

因素

[待補充更多信息]

指標

[待補充更多信息]

結果

[待補充更多信息]

總結

模型檢查（可選）

[待補充更多信息]

環境影響

可以使用Lacoste等人（2019）提出的機器學習影響計算器來估算碳排放。

• 硬件類型：[待補充更多信息]
• 使用時長：[待補充更多信息]
• 雲服務提供商：[待補充更多信息]
• 計算區域：[待補充更多信息]
• 碳排放：[待補充更多信息]

技術規格（可選）

模型架構和目標

[待補充更多信息]

計算基礎設施

硬件

[待補充更多信息]

軟件

[待補充更多信息]

引用（可選）

BibTeX

[待補充更多信息]

APA

[待補充更多信息]

術語表（可選）

[待補充更多信息]

更多信息（可選）

[待補充更多信息]

模型卡片作者（可選）

[待補充更多信息]

模型卡片聯繫方式

[待補充更多信息]