Mmed Llama 3 8B

🚀 MMedLM

MMedLM是“Towards Building Multilingual Language Model for Medicine”论文的官方模型权重，旨在构建医学领域的多语言语言模型，为医学研究和应用提供支持。

🚀 快速开始

本仓库包含MMed - Llama 3，这是一个拥有80亿参数的多语言医学基础模型。MMed - Llama 3基于Llama 3构建，并在MMedC（一个全面的多语言医学语料库）上进行了进一步的预训练，从而增强了模型在医学领域的知识。

模型在MMedC上进行进一步预训练时使用了以下超参数：

• 迭代次数：15000
• 全局批次大小：512
• 截断长度：8192
• 学习率：2e - 5

可以按以下方式加载模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

⚠️ 重要提示

请注意，这是一个未经指令微调的基础模型。

✨ 主要特性

多语言支持

支持英文、中文、日文、法文、俄文和西班牙文等多种语言，适用于不同语言背景的医学应用。

医学领域知识增强

基于Llama 3，在多语言医学语料库MMedC上进一步预训练，增强了模型在医学领域的知识。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

📚 详细文档

新闻动态

• [2024.2.21] 预印本论文已发布在ArXiv上，点击此处查看详情。
• [2024.2.20] 发布了MMedLM和MMedLM 2。这些模型在MMedC上进行自回归持续训练，与所有其他开源模型相比表现更优，在MMedBench上甚至可与GPT - 4相媲美。
• [2023.2.20] 发布了MMedC，这是一个包含255亿个标记的多语言医学语料库。
• [2023.2.20] 发布了MMedBench，这是一个新的多语言医学多项选择题问答基准，并带有推理过程。点击此处查看排行榜。

MMedBench评估结果

进一步预训练的MMedLM 2在不同语言的医学领域中展现出了出色的性能。

• GPT和Gemini通过API在零样本设置下进行评估。
• 开源模型先在MMedBench的训练集上进行训练，然后再进行评估。

联系信息

如果您有任何问题，请随时联系qiupengcheng@pjlab.org.cn。

引用信息

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本项目使用Llama 3许可证。