Llama 2 GGML Medical Chatbot

🚀 🐍 Llama-2-GGML医疗聊天机器人 🤖

Llama-2-7B-Chat-GGML医疗聊天机器人 是一个医疗聊天机器人项目仓库，它使用了 Llama-2-7B-Chat-GGML 模型和《盖尔医学百科全书》PDF 资料。该聊天机器人仍在开发中，但它有潜力成为患者、医疗专业人员和研究人员的宝贵工具。此聊天机器人可用于回答医学主题的问题、提供医学文章的摘要以及生成医学文本。不过，需要注意的是，该聊天机器人不能替代合格医疗专业人员提供的医疗建议。

✨ 主要特性

• 使用微调大语言模型：采用了 Llama-2-7B-Chat-GGML 模型，这是一个经过微调的 大语言模型（LLM）。
  • 名称 - llama-2-7b-chat.ggmlv3.q2_K.bin
  • 量化方法 - q2_K
  • 比特数 - 2
  • 大小 - 2.87 GB
  • 所需最大内存 - 5.37 GB
  • 使用场景 - 新的 k 量化方法。对注意力层的 vw 张量和前馈层的 w2 张量使用 GGML_TYPE_Q4_K，对其他张量使用 GGML_TYPE_Q2_K。
  • 模型：了解更多关于 Llama-2-7B-Chat-GGML 模型的信息。
• 基于专业医学资料训练：在 《盖尔医学百科全书，第 1 卷，第 2 版，637 页 PDF》 上进行训练，这是一本全面的医学参考资料，涵盖了广泛的医学主题。这意味着聊天机器人能够回答各种医学主题的问题。
• 运行环境要求：这是一个复杂的医疗聊天机器人，使用 Llama-2 7B 和句子转换器开发。由 Langchain 和 Chainlit 提供支持，该机器人可在满足以下最低要求的强大 CPU 计算机上运行：
  • 操作系统：Linux、macOS 或 Windows
  • CPU：英特尔® 酷睿™ i3
  • 内存：8 GB
  • 磁盘空间：7 GB
  • GPU：无 （仅使用 CPU）
• 应用潜力大：虽然仍在开发中，但它有潜力成为患者、医疗专业人员和研究人员的宝贵工具。

📦 安装指南

1. 打开 Git Bash。
2. 将当前工作目录更改为你想要克隆项目的位置。
3. 输入 git clone，然后粘贴你之前复制的 URL。

git clone https://github.com/ThisIs-Developer/Llama-2-GGML-Medical-Chatbot.git

按回车键创建本地克隆。 4. 安装 requirements.txt 中的 pip 包。

pip install -r requirements.txt

💻 使用示例

基础用法

运行聊天机器人：

chainlit run model.py -w

📚 详细文档

⛓️Chainlit 版本（#v1.0.1.dev20230913）

⚡Streamlit 版本（#v2.0.1.dev20231230）

演示视频：Conversession.vid.mp4

📄 许可证

本项目采用 MIT 许可证。