Brainblip

🚀 BrainBLIP

BrainBLIPは、テキストから画像を生成するデータセットの学習において、自然言語に重点を置き、コンテキスト用の最小限のタグを追加しながら、より自然なキャプションを生成するように微調整されたモデルです。

🚀 クイックスタート

このモデルはまだ本番環境での使用には不適切で、学習の初期段階にあります。自己責任で使用してください。

from transformers import AutoProcessor, BlipForConditionalGeneration
from PIL import Image

processor = AutoProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("braintacles/brainblip").to("cuda")

image_path_or_url = r"https://imagePath_or_url.jpg"
raw_image = Image.open(requests.get(image_path_or_url, stream=True).raw) if image_path_or_url.startswith("http") else Image.open(image_path_or_url)

inputs = processor(raw_image, return_tensors="pt").to("cuda")
out = model.generate(**inputs, min_length=40, max_new_tokens=75, num_beams=5, repetition_penalty=1.40)
caption = processor.decode(out[0], skip_special_tokens=True)
print(caption)

📚 ドキュメント

学習データ

このデータのすべてのキャプションは、GPT4の時折の助けを借りながら、私自身が手作業で作成しました。 以下の方々が大量の時間を費やして一部のデータのキャプションを手作業で作成してくれたことに、心から感謝申し上げます。

• Temporarium
• HailoKnight

📄 ライセンス

このモデルはBSD 3条項ライセンスの下で提供されています。