Biomedgpt LM 7B

🚀 BioMedGPT-LM-7B

BioMedGPT-LM-7B 是生物醫學領域首個基於 Llama2 的大型生成式語言模型。它在 Llama2-7B-Chat 的基礎上，藉助來自 S2ORC 語料庫 的數百萬篇生物醫學論文進行微調。通過進一步微調，BioMedGPT-LM-7B 在多個生物醫學問答基準測試中表現優於或等同於人類，並且超越了規模大得多的通用基礎模型。

✨ 主要特性

• 生物醫學領域首個基於 Llama2 的大型生成式語言模型。
• 在多個生物醫學問答基準測試中表現出色。

📚 詳細文檔

訓練詳情

該模型使用以下超參數進行訓練：

• 輪數（Epochs）：5
• 批量大小（Batch size）：192
• 上下文長度（Context length）：2048
• 學習率（Learning rate）：2e-5

BioMedGPT-LM-7B 在超過 260 億個與生物醫學領域高度相關的標記上進行了微調。微調數據是從 S2ORC 數據中的數百萬篇生物醫學論文中提取的，提取標準為 PubMed Central（PMC）ID 和 PubMed ID。

模型開發者

PharMolix

如何使用

BioMedGPT-LM-7B 是 BioMedGPT-10B 的生成式語言模型，BioMedGPT-10B 是 BioMedGPT 的開源版本。BioMedGPT 是一個用於生物醫學的開放多模態生成式預訓練變壓器（GPT），它通過大型生成式語言模型連接自然語言模態和各種生物醫學數據模態。

技術報告

有關 BioMedGPT-LM-7B、BioMedGPT-10B 和 BioMedGPT 的更多技術細節，請參閱技術報告："BioMedGPT: Open Multimodal Generative Pre-trained Transformer for BioMedicine"。

GitHub

https://github.com/PharMolix/OpenBioMed

侷限性

本倉庫包含 BioMedGPT-LM-7B，我們強調應負責任且合乎道德地使用此模型。BioMedGPT-LM-7B 不應被用於向公眾提供服務。嚴禁生成任何違反適用法律法規的內容，例如煽動顛覆國家政權、危害國家安全和利益、傳播恐怖主義、極端主義、民族仇恨和歧視、暴力、色情或虛假有害信息等。BioMedGPT-LM-7B 對用戶提供或發佈的任何內容、數據或信息所產生的任何後果不承擔責任。

📄 許可證

本倉庫採用 Apache-2.0 許可證。使用 BioMedGPT-LM-7B 模型需遵循 使用政策。