Llama 2 GGML Medical Chatbot

🐍 Llama-2-GGML-Medical-Chatbot 🤖

Llama-2-7B-Chat-GGML-Medical-Chatbot は、Llama-2-7B-Chat-GGML モデルとPDF版の The Gale Encyclopedia of Medicine を使用した医療用チャットボットのリポジトリです。このチャットボットはまだ開発中ですが、患者、医療関係者、研究者にとって貴重なツールになる可能性があります。チャットボットは、医療トピックに関する質問に答えたり、医療記事の要約を提供したり、医療テキストを生成したりすることができます。ただし、このチャットボットは、資格のある医療専門家からの医療アドバイスの代替品ではないことに注意する必要があります。

✨ 主な機能

• Llama-2-7B-Chat-GGML モデルを使用しています。これは、微調整された大規模言語モデル (LLM) です。
  • 名前 - llama-2-7b-chat.ggmlv3.q2_K.bin
  • 量子化方法 - q2_K
  • ビット数 - 2
  • サイズ - 2.87 GB
  • 必要な最大RAM - 5.37 GB
  • 使用例 - 新しいk量子化方法。アテンションのvwテンソルとフィードフォワードのw2テンソルにGGML_TYPE_Q4_Kを使用し、その他のテンソルにGGML_TYPE_Q2_Kを使用します。
  • モデル: モデルについて詳しくは Llama-2-7B-Chat-GGML を参照してください。
• PDF版の The Gale Encyclopedia of Medicine, Volume 1, 2nd Edition, 637-page PDF を使用して学習されています。これは、幅広い医療トピックに関する情報を提供する包括的な医療参考文献です。これにより、チャットボットは様々な医療トピックに関する質問に答えることができます。
• Llama-2 7BとSentence Transformersを使用して開発された高度な医療チャットボットです。Langchain と Chainlit を使用しており、以下の最低要件を満たす強力なCPU搭載のコンピュータで動作します。
  • オペレーティングシステム: Linux、macOS、またはWindows
  • CPU: Intel® Core™ i3
  • RAM: 8 GB
  • ディスク容量: 7 GB
  • GPU: なし (CPUのみ)
• まだ開発中ですが、患者、医療関係者、研究者にとって貴重なツールになる可能性があります。

📦 インストール

クローン

1. Git Bashを開きます。
2. クローンしたいディレクトリの場所にカレントワーキングディレクトリを変更します。
3. git clone と入力し、コピーしたURLを貼り付けます。

git clone https://github.com/ThisIs-Developer/Llama-2-GGML-Medical-Chatbot.git

Enterキーを押して、ローカルクローンを作成します。

パッケージのインストール

pip install -r requirements.txt

実行

chainlit run model.py -w

📚 ドキュメント

⛓️Chainlitバージョン #v1.0.1.dev20230913

⚡Streamlitバージョン #v2.0.1.dev20231230

デモ: 📽️Conversession.vid.mp4->https://cdn-uploads.huggingface.co/production/uploads/64d8c442a4839890b2490db9/iI4t0lhjkCw3dDSvWQ4Jk.mp4

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。