Llama 2 GGML Medical Chatbot

🚀 🐍 Llama-2-GGML醫療聊天機器人 🤖

Llama-2-7B-Chat-GGML醫療聊天機器人 是一個醫療聊天機器人項目倉庫，它使用了 Llama-2-7B-Chat-GGML 模型和《蓋爾醫學百科全書》PDF 資料。該聊天機器人仍在開發中，但它有潛力成為患者、醫療專業人員和研究人員的寶貴工具。此聊天機器人可用於回答醫學主題的問題、提供醫學文章的摘要以及生成醫學文本。不過，需要注意的是，該聊天機器人不能替代合格醫療專業人員提供的醫療建議。

✨ 主要特性

• 使用微調大語言模型：採用了 Llama-2-7B-Chat-GGML 模型，這是一個經過微調的 大語言模型（LLM）。
  • 名稱 - llama-2-7b-chat.ggmlv3.q2_K.bin
  • 量化方法 - q2_K
  • 比特數 - 2
  • 大小 - 2.87 GB
  • 所需最大內存 - 5.37 GB
  • 使用場景 - 新的 k 量化方法。對注意力層的 vw 張量和前饋層的 w2 張量使用 GGML_TYPE_Q4_K，對其他張量使用 GGML_TYPE_Q2_K。
  • 模型：瞭解更多關於 Llama-2-7B-Chat-GGML 模型的信息。
• 基於專業醫學資料訓練：在 《蓋爾醫學百科全書，第 1 卷，第 2 版，637 頁 PDF》 上進行訓練，這是一本全面的醫學參考資料，涵蓋了廣泛的醫學主題。這意味著聊天機器人能夠回答各種醫學主題的問題。
• 運行環境要求：這是一個複雜的醫療聊天機器人，使用 Llama-2 7B 和句子轉換器開發。由 Langchain 和 Chainlit 提供支持，該機器人可在滿足以下最低要求的強大 CPU 計算機上運行：
  • 操作系統：Linux、macOS 或 Windows
  • CPU：英特爾® 酷睿™ i3
  • 內存：8 GB
  • 磁盤空間：7 GB
  • GPU：無 （僅使用 CPU）
• 應用潛力大：雖然仍在開發中，但它有潛力成為患者、醫療專業人員和研究人員的寶貴工具。

📦 安裝指南

1. 打開 Git Bash。
2. 將當前工作目錄更改為你想要克隆項目的位置。
3. 輸入 git clone，然後粘貼你之前複製的 URL。

git clone https://github.com/ThisIs-Developer/Llama-2-GGML-Medical-Chatbot.git

按回車鍵創建本地克隆。 4. 安裝 requirements.txt 中的 pip 包。

pip install -r requirements.txt

💻 使用示例

基礎用法

運行聊天機器人：

chainlit run model.py -w

📚 詳細文檔

⛓️Chainlit 版本（#v1.0.1.dev20230913）

⚡Streamlit 版本（#v2.0.1.dev20231230）

演示視頻：Conversession.vid.mp4

📄 許可證

本項目採用 MIT 許可證。