Medalpaca 7b

🚀 MedAlpaca 7b

MedAlpaca 7bは、医療分野のタスクに特化して微調整された大規模言語モデルです。医療関連の質問応答や対話タスクの性能向上を目指しています。

🚀 クイックスタート

MedAlpaca 7bを使用するには、Hugging Face Transformersライブラリを利用できます。以下に質問応答タスクの使用例を示します。

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-7b", tokenizer="medalpaca/medalpaca-7b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

✨ 主な機能

• 医療分野の質問応答や対話タスクに特化した微調整が行われています。
• LLaMAベースの70億パラメータの大規模言語モデルです。

📚 ドキュメント

🔧 モデルの説明

アーキテクチャ

medalpaca-7bは、医療分野のタスクに特化して微調整された大規模言語モデルです。LLaMA（Large Language Model Meta AI）をベースにしており、70億のパラメータを持っています。このモデルの主な目的は、質問応答や医療対話タスクの性能を向上させることです。

学習データ

このプロジェクトの学習データは、様々なソースから収集されました。

1. Ankiのフラッシュカードを使用して、カードの表面から自動的に質問を生成し、裏面から回答を生成しました。
2. Wikidocから医療の質問応答ペアを生成しました。関連する見出しのある段落を抽出し、Chat-GPT 3.5を使用して見出しから質問を生成し、対応する段落を回答として使用しました。このデータセットはまだ開発中であり、これらの質問応答ペアの約70％が事実的に正しいと考えられています。
3. StackExchangeから質問応答ペアを抽出し、Academia、Bioinformatics、Biology、Fitness、Healthの5つのカテゴリから評価の高い質問を選択しました。
4. ChatDoctorから20万の質問応答ペアを含むデータセットを使用しました。このデータセットはhttps://github.com/Kent0n-Li/ChatDoctorで入手可能です。

🔧 モデルの使用方法

特定のデータセットでモデルの性能を評価するには、Hugging Face Transformersライブラリの組み込み評価スクリプトを使用できます。詳細については、評価ガイドを参照してください。

推論については、Hugging Face Transformersライブラリを使用して、質問応答や医療対話などのタスクにモデルを使用できます。

🔧 制限事項

• このモデルは医療分野の範囲外では効果的に機能しない可能性があります。
• 学習データは主に医学生の知識レベルを対象としているため、専門医のニーズに対応する際に制限がある可能性があります。
• このモデルは実世界のアプリケーションでテストされていないため、その有効性と精度は現在不明です。決して医師の意見の代替として使用してはならず、研究ツールとしてのみ扱うべきです。

🔧 Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはCCライセンスの下で提供されています。