Mmed Llama 3 8B

🚀 MMedLM

MMedLM是“Towards Building Multilingual Language Model for Medicine”論文的官方模型權重，旨在構建醫學領域的多語言語言模型，為醫學研究和應用提供支持。

🚀 快速開始

本倉庫包含MMed - Llama 3，這是一個擁有80億參數的多語言醫學基礎模型。MMed - Llama 3基於Llama 3構建，並在MMedC（一個全面的多語言醫學語料庫）上進行了進一步的預訓練，從而增強了模型在醫學領域的知識。

模型在MMedC上進行進一步預訓練時使用了以下超參數：

• 迭代次數：15000
• 全局批次大小：512
• 截斷長度：8192
• 學習率：2e - 5

可以按以下方式加載模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

⚠️ 重要提示

請注意，這是一個未經指令微調的基礎模型。

✨ 主要特性

多語言支持

支持英文、中文、日文、法文、俄文和西班牙文等多種語言，適用於不同語言背景的醫學應用。

醫學領域知識增強

基於Llama 3，在多語言醫學語料庫MMedC上進一步預訓練，增強了模型在醫學領域的知識。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

📚 詳細文檔

新聞動態

• [2024.2.21] 預印本論文已發佈在ArXiv上，點擊此處查看詳情。
• [2024.2.20] 發佈了MMedLM和MMedLM 2。這些模型在MMedC上進行自迴歸持續訓練，與所有其他開源模型相比表現更優，在MMedBench上甚至可與GPT - 4相媲美。
• [2023.2.20] 發佈了MMedC，這是一個包含255億個標記的多語言醫學語料庫。
• [2023.2.20] 發佈了MMedBench，這是一個新的多語言醫學多項選擇題問答基準，並帶有推理過程。點擊此處查看排行榜。

MMedBench評估結果

進一步預訓練的MMedLM 2在不同語言的醫學領域中展現出了出色的性能。

• GPT和Gemini通過API在零樣本設置下進行評估。
• 開源模型先在MMedBench的訓練集上進行訓練，然後再進行評估。

聯繫信息

如果您有任何問題，請隨時聯繫qiupengcheng@pjlab.org.cn。

引用信息

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目使用Llama 3許可證。