Medalpaca 13b

🚀 MedAlpaca 13b

医療分野のタスクに特化した大規模言語モデルで、質問応答や医療対話タスクの向上を目指します。

🚀 クイックスタート

このドキュメントでは、medalpaca-13bモデルの詳細な説明、使用方法、制限事項について解説します。

✨ 主な機能

• 医療分野の質問応答タスクに特化した大規模言語モデルです。
• 質問応答や医療対話タスクの性能向上を目指しています。

📚 ドキュメント

🔍 モデルの説明

🏗️ アーキテクチャ

medalpaca-13bは、医療分野のタスクに特化して微調整された大規模言語モデルです。このモデルはLLaMA（Large Language Model Meta AI）をベースに構築されており、130億のパラメータを持っています。主な目的は、質問応答や医療対話タスクの性能向上です。

📊 学習データ

このプロジェクトの学習データは、様々なソースから収集されました。

1. Ankiフラッシュカード：カードの表面から自動的に質問を生成し、裏面から回答を取得しました。
2. Wikidoc：Wikidocから医療の質問と回答のペアを生成しました。関連する見出しの段落を抽出し、Chat - GPT 3.5を使用して見出しから質問を生成し、対応する段落を回答として使用しました。このデータセットはまだ開発中であり、約70％の質問と回答のペアが事実に基づいていると考えられています。
3. StackExchange：StackExchangeから質問と回答のペアを抽出し、5つのカテゴリ（Academia、Bioinformatics、Biology、Fitness、Health）の上位評価の質問を取得しました。
4. ChatDoctor：ChatDoctorのデータセットを使用しました。このデータセットは20万の質問と回答のペアから構成されており、https://github.com/Kent0n - Li/ChatDoctor で入手可能です。

💻 使用例

基本的な使用法

特定のデータセットでモデルの性能を評価するには、Hugging Face Transformersライブラリの組み込み評価スクリプトを使用できます。詳細については、評価ガイドを参照してください。

推論については、Hugging Face Transformersライブラリを使用して、質問応答や医療対話などの推論タスクにこのモデルを使用できます。以下は、質問応答タスクでモデルを使用する例です。

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-13b", tokenizer="medalpaca/medalpaca-13b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

⚠️ 制限事項

• このモデルは医療分野の範囲外では効果的に機能しない可能性があります。
• 学習データは主に医学生の知識レベルを対象としているため、専門医のニーズに対応する際に制限が生じる可能性があります。
• このモデルは実世界のアプリケーションでテストされていないため、現在の有効性と精度は不明です。決して医師の意見の代替として使用してはならず、研究ツールとしてのみ扱うべきです。

📄 ライセンス

このモデルはCCライセンスの下で提供されています。