Apollo2 7B Imat GGUF

🚀 Apollo2-7B-GGUF

Apollo2-7B-GGUF 是基於原始模型 Apollo2-7B 的量化版本，支持多種語言，可用於醫療問答等場景，由 FreedomIntelligence 團隊製作。

🚀 快速開始

本模型基於原始的 Apollo2-7B 模型進行量化，由 FreedomIntelligence 製作。它適用於與 llama.cpp 兼容的應用程序，如 Text-Generation-WebUI、KoboldCpp、Jan、LM Studio 等。

✨ 主要特性

• 多語言支持：覆蓋包括英語、中文、法語、印地語、西班牙語、阿拉伯語、俄語、日語、韓語、德語、意大利語、葡萄牙語等 12 種主要語言以及 38 種小語種。
• 醫療領域適用：專注於醫療領域，可用於生物、醫學相關的問答任務。
• 多種量化版本：提供多種量化版本，以適應不同的設備和性能需求。

📦 安裝指南

暫未提供具體安裝步驟，你可以參考 llama.cpp 兼容應用程序的相關文檔進行安裝。

💻 使用示例

基礎用法

不同規模的模型有不同的使用格式：

Apollo2

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>
• 2B、9B：User:{query}\nAssistant:{response}\<eos\>
• 3.8B：<|user|>\n{query}<|end|><|assisitant|>\n{response}<|end|>

Apollo-MoE

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>

📚 詳細文檔

量化說明

使用 llama.cpp-b3938 基於 Exllamav2 校準數據集的 imatrix 文件進行量化。

• 2024 年 12 月 17 日：更新說明，近期 llama.cpp 移除了對 Q4_0_4_4、Q4_0_4_8 和 Q4_0_8_8 的支持，保留但可能不再有用。
• 2025 年 2 月 3 日：為支持較新 llama.cpp 版本的 ARM 設備，添加了 Q4_0 和 IQ4_NL 量化版本，替代 Q4_0_X_Y 量化版本。

原始模型介紹

該模型旨在為更多語言的醫療大語言模型實現民主化，目前已覆蓋 12 種主要語言和 38 種小語種。

• 論文：Democratizing Medical LLMs For Much More Languages
• 演示：暫無鏈接
• 數據集：ApolloMoEDataset
• 評估基準：ApolloMoEBench
• 模型集合：Models
• 相關項目：Apollo、ApolloMoE

語言覆蓋情況

涵蓋 12 種主要語言和 38 種小語種，具體語言列表如下：

• ar、en、zh、ko、ja、mn、th、vi、lo、mg、de、pt、es、fr、ru、it、hr、gl、cs、co、la、uk、bs、bg、eo、sq、da、sa、gn、sr、sk、gd、lb、hi、ku、mt、he、ln、bm、sw、ig、rw、ha

點擊查看語言覆蓋情況

架構

點擊查看 MoE 路由圖

模型結果

密集模型

• Apollo2-0.5B
• Apollo2-1.5B
• Apollo2-2B
• Apollo2-3.8B
• Apollo2-7B
• Apollo2-9B

點擊查看密集模型結果

後 MoE 模型

• Apollo-MoE-0.5B
• Apollo-MoE-1.5B
• Apollo-MoE-7B

點擊查看後 MoE 模型結果

數據集與評估

數據集

• ApolloMoEDataset 點擊展開數據集詳情
• 數據類別

評估基準

• ApolloMoEBench 點擊展開評估詳情
• 英語評估數據集：
  • MedQA-USMLE
  • MedMCQA
  • PubMedQA（結果波動大，未用於論文）
  • MMLU-Medical（包括臨床知識、醫學遺傳學、解剖學、專業醫學、大學生物學、大學醫學等領域）
• 中文評估數據集：
  • MedQA-MCMLE
  • CMB-single（未用於論文，隨機抽取 2000 道單選題）
  • CMMLU-Medical（包括解剖學、臨床知識、大學醫學、遺傳學、營養學、中醫、病毒學等領域）
  • CExam（未用於論文，隨機抽取 2000 道單選題）
• 西班牙語評估數據集：Head_qa
• 法語評估數據集：
  • Frenchmedmcqa
  • MMLU_FR（包括臨床知識、醫學遺傳學、解剖學、專業醫學、大學生物學、大學醫學等領域）
• 印地語評估數據集：MMLU_HI（包括臨床知識、醫學遺傳學、解剖學、專業醫學、大學生物學、大學醫學等領域）
• 阿拉伯語評估數據集：MMLU_AR（包括臨床知識、醫學遺傳學、解剖學、專業醫學、大學生物學、大學醫學等領域）
• 日語評估數據集：IgakuQA
• 韓語評估數據集：KorMedMCQA
• 意大利語評估數據集：
  • MedExpQA
  • MMLU_IT（包括臨床知識、醫學遺傳學、解剖學、專業醫學、大學生物學、大學醫學等領域）
• 德語評估數據集：BioInstructQA（德語部分）
• 葡萄牙語評估數據集：BioInstructQA（葡萄牙語部分）
• 俄語評估數據集：RuMedBench

結果復現

以 Apollo2-7B 或 Apollo-MoE-0.5B 為例：

1. 下載項目數據集：

bash 0.download_data.sh

2. 為特定模型準備測試和開發數據：

bash 1.data_process_test&dev.sh

3. 為特定模型準備訓練數據（提前創建分詞數據）：

bash 2.data_process_train.sh

你可以在這一步調整數據訓練順序和訓練輪數。 4. 訓練模型：

bash 3.single_node_train.sh

如果你想在多節點上訓練，請參考 ./src/sft/training_config/zero_multi.yaml。 5. 評估模型：

bash 4.eval.sh

🔧 技術細節

本模型基於 llama.cpp 進行量化，使用 Exllamav2 校準數據集的 imatrix 文件。在量化過程中，對不同的量化版本進行了支持和調整，以適應不同的設備和性能需求。

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果你打算使用我們的數據集進行訓練或評估，請使用以下引用：

@misc{zheng2024efficientlydemocratizingmedicalllms,
      title={Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts}, 
      author={Guorui Zheng and Xidong Wang and Juhao Liang and Nuo Chen and Yuping Zheng and Benyou Wang},
      year={2024},
      eprint={2410.10626},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.10626}, 
}