Turkish Llava Med Pipeline V1.5 Mistral 7b

🚀 トルコ語版LLaVA - Medパイプライン (v1.5 - Mistral 7B)

このモデルは、Microsoftによって開発されたLLaVA - Med v1.5 (Mistral 7B) アーキテクチャに基づいており、トルコ語のサポートを備え、医療画像に対する視覚的な質問応答（VQA）を行うように特化しています。

✨ 主な機能

• 画像ベースの分析（X線、MRなど）
• トルコ語の質問対応
• トルコ語の回答生成（翻訳レイヤー付き）
• Hugging Face上のデモインターフェースサポート（Gradio）

🚀 クイックスタート

スターターColabノートブック : https://colab.research.google.com/drive/1HsWo9g18r1EfKFMh0RcgZgrotoIIcThK?usp=sharing

from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
import torch

model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
import torch

model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")

高度な使用法

# 高度な使用法は、Starter Colab Notebookを参照してください。
# 詳細はこちら: https://colab.research.google.com/drive/1HsWo9g18r1EfKFMh0RcgZgrotoIIcThK?usp=sharing
from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
import torch

model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")

📚 詳細ドキュメント

質問例

画像: 胸部X線写真
質問: "この画像に心臓肥大はありますか？"
回答: "はい、この画像には心臓肥大（心拡大）の所見があります。"

開発者: @nezahatkorkmaz
モデルオリジナル: microsoft/llava-med-v1.5-mistral-7b

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。