Medichat Llama3 8B

🚀 Medichat-Llama3-8B

Medichat-Llama3-8B 基於強大的 LLaMa - 3 架構構建，並在大量健康信息數據集上進行了微調。該模型憑藉其豐富的醫學知識，能夠提供清晰、全面的答案，尤其適合那些尋求深入醫療建議的用戶，能給出準確且有價值的回覆。

✨ 主要特性

• 基於強大的 LLaMa - 3 架構，擁有豐富的醫學知識儲備。
• 在大量健康信息數據集上進行微調，能提供準確、全面的醫療相關回答。
• 相比之前的模型，在特定學科知識和準確性上有顯著提升。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

class MedicalAssistant:
    def __init__(self, model_name="sethuiyer/Medichat-Llama3-8B", device="cuda"):
        self.device = device
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModelForCausalLM.from_pretrained(model_name).to(self.device)
        self.sys_message = ''' 
        You are an AI Medical Assistant trained on a vast dataset of health information. Please be thorough and
        provide an informative answer. If you don't know the answer to a specific medical inquiry, advise seeking professional help.
        '''

    def format_prompt(self, question):
        messages = [
            {"role": "system", "content": self.sys_message},
            {"role": "user", "content": question}
        ]
        prompt = self.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
        return prompt

    def generate_response(self, question, max_new_tokens=512):
        prompt = self.format_prompt(question)
        inputs = self.tokenizer(prompt, return_tensors="pt").to(self.device)
        with torch.no_grad():
            outputs = self.model.generate(**inputs, max_new_tokens=max_new_tokens, use_cache=True)
        answer = self.tokenizer.batch_decode(outputs, skip_special_tokens=True)[0].strip()
        return answer

if __name__ == "__main__":
    assistant = MedicalAssistant()
    question = '''
    Symptoms:
    Dizziness, headache, and nausea.

    What is the differential diagnosis?
    '''
    response = assistant.generate_response(question)
    print(response)

📚 詳細文檔

模型基礎信息

模型構建配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: Undi95/Llama-3-Unholy-8B
    parameters:
      weight: [0.25, 0.35, 0.45, 0.35, 0.25]
      density: [0.1, 0.25, 0.5, 0.25, 0.1]
  - model: Locutusque/llama-3-neural-chat-v1-8b
  - model: ruslanmv/Medical-Llama3-8B-16bit
    parameters:
      weight: [0.55, 0.45, 0.35, 0.45, 0.55]
      density: [0.1, 0.25, 0.5, 0.25, 0.1]
merge_method: dare_ties
base_model: Locutusque/llama-3-neural-chat-v1-8b
parameters:
  int8_mask: true
dtype: bfloat16

與 Dr.Samantha 7B 模型對比

當前模型在特定學科知識和準確性方面相較於之前的 Dr. Samantha 模型有顯著提升。

量化版本

感謝 Quant Factory，該模型的量化版本可在 QuantFactory/Medichat - Llama3 - 8B - GGUF 獲取。

Ollama 使用

此模型現在也可在 Ollama 上使用。你可以在終端中運行命令 ollama run monotykamary/medichat-llama3 來使用它。如果你計算資源有限，可以查看這個 視頻 學習如何在 Google Colab 後端運行該模型。

🔧 技術細節

文檔未提供具體技術細節，暫不展示。

📄 許可證

該模型使用的許可證為 other。