Mmedlm

🚀 MMedLM

MMedLM是一個多語言醫學基礎模型，為醫學領域提供了強大的語言處理能力，基於InternLM進一步預訓練，增強了醫學領域知識。

🚀 快速開始

本倉庫包含MMedLM，一個擁有70億參數的多語言醫學基礎模型。MMedLM基於InternLM構建，並在MMedC（一個全面的多語言醫學語料庫）上進行了進一步的預訓練，這增強了模型在醫學領域的知識。

模型在MMedC上進行進一步預訓練時使用了以下超參數：

• 迭代次數：15000
• 全局批次大小：512
• 截斷長度：2048
• 學習率：2e - 5

可以按如下方式加載模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMedLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMedLM", torch_dtype=torch.float16, trust_remote_code=True)

⚠️ 重要提示

這是一個未經指令微調的基礎模型。測試發現，使用最新版本的transformers會導致錯誤，建議使用transformers==4.28.1。

✨ 主要特性

• 多語言支持：支持英語、中文、日語、法語、俄語和西班牙語等多種語言。
• 醫學領域增強：基於InternLM，在MMedC上進一步預訓練，增強醫學領域知識。
• 性能優越：MMedLM 2在MMedBench上的表現優於許多開源模型，甚至可與GPT - 4相媲美。

📚 詳細文檔

最新消息

• [2024.2.21] 我們的預印本論文已發佈在ArXiv上，點擊此處查看。
• [2024.2.20] 我們發佈了MMedLM和MMedLM 2。MMedLM 2是一個更強大的多語言醫學基礎模型，經過了與MMedLM相同的醫學數據增強流程。
• [2023.2.20] 我們發佈了MMedC，一個包含255億個標記的多語言醫學語料庫。
• [2023.2.20] 我們發佈了MMedBench，一個新的多語言醫學多項選擇問答基準，帶有推理過程。點擊此處查看排行榜。

MMedBench評估結果

進一步預訓練的MMedLM 2在不同語言的醫學領域中展現出了出色的性能。

• GPT和Gemini通過API在零樣本設置下進行評估。
• 開源模型在MMedBench的訓練集上進行訓練後再進行評估。

📄 許可證

本項目採用Apache - 2.0許可證。

👨‍💻 聯繫我們

如果您有任何問題，請隨時聯繫qiupengcheng@pjlab.org.cn。

📚 引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}