Llava Roco 8bit

🚀 BabyDoctor

BabyDoctorは、CLiPとLLaMA 2の機能を統合したマルチモーダル大規模言語モデル（MLLM）です。このモデルは、テキストの理解と生成、画像の理解が可能で、X線、超音波、MRI、CTスキャンなどの放射線画像を医学用語で解釈するようにファインチューニングされています。

🚀 クイックスタート

BabyDoctorモデルの結果を再現し、独自のデータでモデルを実行するための手順は、BabyDoctorリポジトリに記載されています。

✨ 主な機能

BabyDoctorは、最適化されたトランスフォーマーアーキテクチャとビジョンエンコーダを組み合わせた自己回帰型言語モデルを使用しています。ファインチューニングされたバージョンは、教師ありファインチューニング（SFT）、低ランク適応（LoRA）、量子化LoRA（QLoRA）を活用して、医学分野での特化度を向上させています。

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• リポジトリ: BabyDoctorリポジトリ
• デモ: デモビデオ

用途

直接的な利用

BabyDoctorは英語での研究用途を想定しています。主に医療および健康分野のアシスタント型チャットに設計されており、放射線画像の解釈と分析を提供します。

下流の利用

BabyDoctorの潜在的な用途には、医療および健康分野の研究、学術プロジェクト、非本番環境でのアプリケーションなどが含まれますが、これらに限定されません。

想定外の利用

BabyDoctorは、適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法で、英語以外の言語で、またはBabyDoctorの許容使用ポリシーおよびライセンス契約で禁止されている他の方法で使用してはなりません。このモデルは本番環境でのユーザー向けのユースケースにはまだ対応しておらず、さらなるチューニングが必要です。

バイアス、リスク、制限

BabyDoctorは有用な医療および健康関連のアドバイスを提供することを目指していますが、専門的な医療アドバイスの代替とは見なされません。医学や健康の分野には、正確にカバーされていない部分がある可能性があります。このモデルは個人的な健康記録や特定の患者情報にアクセスできず、そのアドバイスは医療専門家との相談の代替にはなりません。

トレーニングの詳細

トレーニングデータ

BabyDoctorは、LLaVA - Instruct - 80KとRoco - Instruct - 65Kのデータセットを使用してトレーニングされました。これらはそれぞれ命令に従うデータセットと医学関連のデータセットです。事前学習およびファインチューニングのデータセットには、Metaのユーザーデータは含まれていません。事前学習データのカットオフは2022年9月ですが、一部のチューニングデータは2023年7月までの最新のものです。

トレーニング手順

前処理

このモデルは、LLaMA 2 - 7B ChatとCLiPを使用して2Tトークンと1 - 100Mの画像で事前学習されました。その後、LLaVAがCLiPをLLaMa 2に投影し、合成GPT - 4命令に従うデータでトレーニングされます。最後に、BabyDoctorは放射線画像を解釈するようにファインチューニングされました。

トレーニングハイパーパラメータ

• ベースLLM: LLaMA - 2 - 7B - Chat
• ベースビジョンエンコーダ: CLiP - L
• 事前学習データ: LCS - 558K
• 事前学習スケジュール: 1e
• ファインチューニングデータ1: LLaVA - Instruct - 80K
• ファインチューニングスケジュール1: lora（低ランクドメイン適応）1エポック
• ファインチューニングデータ2: roco - instruct - 65k
• ファインチューニングスケジュール: 量子化lora（qlora）1エポック4ビット

速度、サイズ、時間

トレーニングには、Lambda Labsの1xA10クラウドGPUを使用して8時間かかりました。

評価

テストデータ、要因、指標

放射線画像を解釈するという特定の目的から、BabyDoctorはLLaMA 2モデルほど幅広いタスクで評価されていません。

推奨事項

ユーザー（直接的なユーザーと下流のユーザーの両方）は、このモデルの制限と想定される用途を認識すべきです。BabyDoctorが生成する情報を専門的な医療アドバイスの代替と見なしてはなりません。

引用

BibTeX:

@misc{photomz2023,
  author = {Markus Zhang, Vir Chau},
  title = {BabyDoctor},
  year = {2023},
  howpublished = {\url{https://github.com/photomz/BabyDoctor}},
  note = {GitHub}
}

APA:

@misc{photomz2023,
  author = {{Zhang, M.} and {Chau, V.}},
  title = {BabyDoctor},
  year = {2023},
  howpublished = {\url{https://github.com/photomz/BabyDoctor}},
  note = {GitHub}
}

GitHubのissueを提出して、私たちに連絡してください！

📄 ライセンス

Academic Free License 3.0（AFL - 3.0）