blip2 - flan - lora - finetuned - six - epoch オープンソースモデル - 実用的な機能がまだ発見待ち！無料で利用できるので、早速探検しましょう！

ホーム

Blip2 Flan Lora Finetuned Six Epoch

efeozdilekによって開発

このモデルはtransformersライブラリに基づくモデルで、具体的な用途や機能はさらなる情報が必要です。

大規模言語モデル

Transformers

#自然言語処理 #マルチタスク学習 #事前学習モデル

ダウンロード数 19

リリース時間 : 5/16/2025

モデル概要

このモデルの具体的な機能や用途は明記されていませんが、自然言語処理、コンピュータビジョン、または他の機械学習タスクに使用される可能性があります。

モデル特徴

transformersライブラリベース

このモデルはtransformersライブラリで構築されており、効率的な事前学習とファインチューニングの能力を持っている可能性があります。

モデル能力

自然言語処理

コンピュータビジョン

音声認識

使用事例

自然言語処理

テキスト分類

感情分析、トピック分類などのテキスト分類に使用できます。

コンピュータビジョン

画像分類

物体認識、シーン認識などの画像分類に使用できます。

🚀 モデルIDのモデルカード

このモデルは、Hub上に公開されたtransformersモデルです。このモデルカードは自動生成されています。

📚 ドキュメント

モデルの説明

これは、Hub上に公開された🤖 transformersモデルのモデルカードです。このモデルカードは自動生成されています。

開発者: [詳細情報が必要]
資金提供元 [オプション]: [詳細情報が必要]
共有者 [オプション]: [詳細情報が必要]
モデルの種類: [詳細情報が必要]
言語 (NLP): [詳細情報が必要]
ライセンス: [詳細情報が必要]
ファインチューニング元のモデル [オプション]: [詳細情報が必要]

モデルのソース [オプション]

リポジトリ: [詳細情報が必要]
論文 [オプション]: [詳細情報が必要]
デモ [オプション]: [詳細情報が必要]

💻 使用例

直接利用

このコードは、LoRAアダプターを使用してファインチューニングされたBLIP - 2モデルを用いて、医用画像から胸部X線レポートを生成する方法を示しています。ベースのBLIP - 2モデルをロードし、このリポジトリのLoRAウェイトを適用し、Colab環境でアップロードされた画像に対して推論を行います。

from PIL import Image
from IPython.display import display
import torch
from transformers import Blip2Processor, Blip2ForConditionalGeneration
from google.colab import files
from peft import PeftModel

# Upload image
uploaded = files.upload()
image_path = list(uploaded.keys())[0]

# Display image
image = Image.open(image_path).convert("RGB")
display(image)

# Load processor and model
model_id = "efeozdilek/blip2-flan-lora-finetuned-six-epoch"
processor = Blip2Processor.from_pretrained(model_id)

# Load base BLIP-2 and apply LoRA weights
base_model = Blip2ForConditionalGeneration.from_pretrained(
    "Salesforce/blip2-flan-t5-xl",
    device_map="auto",
    torch_dtype=torch.float16
)
model = PeftModel.from_pretrained(base_model, model_id)

# Preprocess input
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(model.device, dtype=torch.float32) for k, v in inputs.items()}

# Generate report
model.eval()
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=256)
    report = processor.tokenizer.decode(generated_ids[0], skip_special_tokens=True)

print("\n📋 Generated Report:\n", report)