Medguanaco 65b GPTQ

🚀 Medguanaco 65b

医療分野の質問応答や対話タスクを改善するために特化した大規模言語モデルです。

🚀 クイックスタート

このセクションでは、Medguanaco 65bモデルの概要と使用方法について説明します。

📚 ドキュメント

🔍 モデルの説明

🏗️ アーキテクチャ

nmitchko/medguanaco-65b-GPTQは、医療分野のタスクに特化して微調整された大規模言語モデルLoRAです。このモデルは、65BパラメータのLLaMAのGuanaco LORAをベースにしています。主な目的は、質問応答や医療対話タスクを改善することです。モデルはLoRAを使用して学習され、メモリ使用量を減らすために8ビットに圧縮されています。

このモデルをロードする手順：

1. transformersを使用してモデルをロードします。

# Some llama or alpaca model 65b
base_model = "nmitchko/medguanaco-65b-GPTQ"
model = LlamaForCausalLM.from_pretrained(
    base_model,    
    load_in_8bit=load_8bit,
    torch_dtype=torch.float16
)

📊 学習データ

このプロジェクトの学習データは、様々なソースから収集されました。まず、Ankiのフラッシュカードを使用して、カードの表面から質問を自動生成し、裏面から回答を取得しました。次に、Wikidocから医療の質問と回答のペアを生成しました。関連する見出しの段落を抽出し、Chat-GPT 3.5を使用して見出しから質問を生成し、対応する段落を回答として使用しました。このデータセットはまだ開発中であり、これらの質問と回答のペアの約70％が事実に基づいていると考えています。さらに、StackExchangeから質問と回答のペアを抽出し、学術、バイオインフォマティクス、生物学、フィットネス、健康の5つのカテゴリから評価の高い質問を選択しました。また、ChatDoctorのデータセット（https://github.com/Kent0n-Li/ChatDoctorにある200,000の質問と回答のペア）も使用しました。

⚠️ 制限事項

このモデルは、医療分野の範囲外では効果的に機能しない可能性があります。学習データは主に医学生の知識レベルを対象としているため、専門医のニーズに対応する際に制限が生じる可能性があります。このモデルは実世界のアプリケーションでテストされていないため、現在の有効性と精度は不明です。このモデルは決して医師の意見の代替品として使用されるべきではなく、研究ツールとしてのみ扱われるべきです。

⚠️ 重要提示

このモデルは医師の意見の代替品として使用されるべきではなく、研究ツールとしてのみ使用する必要があります。

💡 使用建议

このモデルは医療分野に特化しているため、医療関連の質問応答や対話タスクに使用することをおすすめします。