Dermatech Qwen2 VL 2B

🚀 DermaTech Qwen 2 VL LoRAモデル

このモデルは、Qwen/Qwen2-VL-2B-Instruct をLow-Rank Adaptation (LoRA) を用いて、専門的な皮膚科診断用に微調整したバージョンです。皮膚状態の画像を分析し、皮膚科医の専門知識に似た洞察に富んだ診断説明を提供するように設計されています。このモデルは、DermaTechプロジェクト (GitHubリポジトリ) の重要なコンポーネントです。

✨ 主な機能

このモデルは、テキスト生成、画像からテキストへの変換、視覚的質問応答、マルチモーダル処理などの機能を備えています。

📚 ドキュメント

モデルの説明

ベースモデルであるQwen 2 VLは、大量のテキストと画像のペアのデータセットで事前学習された強力なマルチモーダルモデルです。このLoRA適応は、1500の画像 - テキストペアの精選されたデータセット（画像は様々な皮膚状態を表し、テキストは対応する専門家の診断を提供）で学習することで、皮膚科に特化した機能を備えています。このターゲット指向の学習により、スキンケア分析の文脈でより正確で関連性の高い応答が可能になります。

学習手順

• ベースモデル：Qwen/Qwen2-VL-2B-Instruct
• 学習データセット：皮膚科の状態に関連する1500の画像 - テキストペアのカスタムデータセット (Dermatech_vlm.json)
• 微調整方法：LoRA (Low-Rank Adaptation)
• オプティマイザ：学習率比16.00のLoRA+
• 学習率スケジュール：Cosine Decay
• バッチサイズ：デバイスごとに2、勾配累積4で有効バッチサイズ8
• 学習ステップ：618
• 学習エポック：4（コサイン減衰スケジュールにより早期に学習が完了）
• ハードウェア：単一のGPU (cuda:0) で学習
• 学習損失：0.5477
• 学習時間：約9分

モデルはcheckpoint - 205から再開し、checkpoint - 618で保存されました。

想定される用途と制限

このモデルは、DermaTechプロジェクトの一部として、研究およびプロトタイピング目的で使用されることを想定しています。皮膚状態の予備的な評価を支援し、情報を提供するように設計されていますが、専門的な医療アドバイスの代替品とは見なされません。 正確な診断と治療計画については、常に資格のある皮膚科医に相談してください。

モデルの性能は、学習データのサイズと多様性によって制限される可能性があります。すべての皮膚状態を正確に診断できるわけではなく、その出力は慎重に解釈する必要があります。

評価結果

正式な評価はまだ行われていませんが、初期の結果では、学習データに対して有望な性能を示しています。未見のデータに対する汎化能力と精度を評価するために、さらなるテストとベンチマークが行われます。

💻 使用例

基本的な使用法

from transformers import Qwen2VLForConditionalGeneration, Qwen2VLProcessor, GenerationConfig

# モデルとプロセッサをロード
model = Qwen2VLForConditionalGeneration.from_pretrained("Rewatiramans/Dermatech-Qwen2-VL-2B") 
processor = Qwen2VLProcessor.from_pretrained("Rewatiramans/Dermatech-Qwen2-VL-2B")

# 画像をロードして処理
... 

# 入力を準備
...

# テキストを生成
generation_config = GenerationConfig(do_sample=True, temperature=0.7) # 必要に応じてパラメータを調整
outputs = model.generate(**inputs, generation_config=generation_config)

# 出力をデコード
generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0]
print(generated_text)

📄 ライセンス

このモデルを研究で使用する場合は、DermaTechプロジェクトと元のQwen 2 VLモデルを引用してください。

🔗 コンタクト

モデルまたはDermaTechプロジェクトに関する問い合わせは、[your_email_address] までお問い合わせください。