Apollo2 7B Imat GGUF

🚀 Apollo2-7B-GGUF

Apollo2-7B-GGUF 是基于原始模型 Apollo2-7B 的量化版本，支持多种语言，可用于医疗问答等场景，由 FreedomIntelligence 团队制作。

🚀 快速开始

本模型基于原始的 Apollo2-7B 模型进行量化，由 FreedomIntelligence 制作。它适用于与 llama.cpp 兼容的应用程序，如 Text-Generation-WebUI、KoboldCpp、Jan、LM Studio 等。

✨ 主要特性

• 多语言支持：覆盖包括英语、中文、法语、印地语、西班牙语、阿拉伯语、俄语、日语、韩语、德语、意大利语、葡萄牙语等 12 种主要语言以及 38 种小语种。
• 医疗领域适用：专注于医疗领域，可用于生物、医学相关的问答任务。
• 多种量化版本：提供多种量化版本，以适应不同的设备和性能需求。

📦 安装指南

暂未提供具体安装步骤，你可以参考 llama.cpp 兼容应用程序的相关文档进行安装。

💻 使用示例

基础用法

不同规模的模型有不同的使用格式：

Apollo2

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>
• 2B、9B：User:{query}\nAssistant:{response}\<eos\>
• 3.8B：<|user|>\n{query}<|end|><|assisitant|>\n{response}<|end|>

Apollo-MoE

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>

📚 详细文档

量化说明

使用 llama.cpp-b3938 基于 Exllamav2 校准数据集的 imatrix 文件进行量化。

• 2024 年 12 月 17 日：更新说明，近期 llama.cpp 移除了对 Q4_0_4_4、Q4_0_4_8 和 Q4_0_8_8 的支持，保留但可能不再有用。
• 2025 年 2 月 3 日：为支持较新 llama.cpp 版本的 ARM 设备，添加了 Q4_0 和 IQ4_NL 量化版本，替代 Q4_0_X_Y 量化版本。

原始模型介绍

该模型旨在为更多语言的医疗大语言模型实现民主化，目前已覆盖 12 种主要语言和 38 种小语种。

• 论文：Democratizing Medical LLMs For Much More Languages
• 演示：暂无链接
• 数据集：ApolloMoEDataset
• 评估基准：ApolloMoEBench
• 模型集合：Models
• 相关项目：Apollo、ApolloMoE

语言覆盖情况

涵盖 12 种主要语言和 38 种小语种，具体语言列表如下：

• ar、en、zh、ko、ja、mn、th、vi、lo、mg、de、pt、es、fr、ru、it、hr、gl、cs、co、la、uk、bs、bg、eo、sq、da、sa、gn、sr、sk、gd、lb、hi、ku、mt、he、ln、bm、sw、ig、rw、ha

点击查看语言覆盖情况

架构

点击查看 MoE 路由图

模型结果

密集模型

• Apollo2-0.5B
• Apollo2-1.5B
• Apollo2-2B
• Apollo2-3.8B
• Apollo2-7B
• Apollo2-9B

点击查看密集模型结果

后 MoE 模型

• Apollo-MoE-0.5B
• Apollo-MoE-1.5B
• Apollo-MoE-7B

点击查看后 MoE 模型结果

数据集与评估

数据集

• ApolloMoEDataset 点击展开数据集详情
• 数据类别

评估基准

• ApolloMoEBench 点击展开评估详情
• 英语评估数据集：
  • MedQA-USMLE
  • MedMCQA
  • PubMedQA（结果波动大，未用于论文）
  • MMLU-Medical（包括临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学等领域）
• 中文评估数据集：
  • MedQA-MCMLE
  • CMB-single（未用于论文，随机抽取 2000 道单选题）
  • CMMLU-Medical（包括解剖学、临床知识、大学医学、遗传学、营养学、中医、病毒学等领域）
  • CExam（未用于论文，随机抽取 2000 道单选题）
• 西班牙语评估数据集：Head_qa
• 法语评估数据集：
  • Frenchmedmcqa
  • MMLU_FR（包括临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学等领域）
• 印地语评估数据集：MMLU_HI（包括临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学等领域）
• 阿拉伯语评估数据集：MMLU_AR（包括临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学等领域）
• 日语评估数据集：IgakuQA
• 韩语评估数据集：KorMedMCQA
• 意大利语评估数据集：
  • MedExpQA
  • MMLU_IT（包括临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学等领域）
• 德语评估数据集：BioInstructQA（德语部分）
• 葡萄牙语评估数据集：BioInstructQA（葡萄牙语部分）
• 俄语评估数据集：RuMedBench

结果复现

以 Apollo2-7B 或 Apollo-MoE-0.5B 为例：

1. 下载项目数据集：

bash 0.download_data.sh

2. 为特定模型准备测试和开发数据：

bash 1.data_process_test&dev.sh

3. 为特定模型准备训练数据（提前创建分词数据）：

bash 2.data_process_train.sh

你可以在这一步调整数据训练顺序和训练轮数。 4. 训练模型：

bash 3.single_node_train.sh

如果你想在多节点上训练，请参考 ./src/sft/training_config/zero_multi.yaml。 5. 评估模型：

bash 4.eval.sh

🔧 技术细节

本模型基于 llama.cpp 进行量化，使用 Exllamav2 校准数据集的 imatrix 文件。在量化过程中，对不同的量化版本进行了支持和调整，以适应不同的设备和性能需求。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

如果你打算使用我们的数据集进行训练或评估，请使用以下引用：

@misc{zheng2024efficientlydemocratizingmedicalllms,
      title={Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts}, 
      author={Guorui Zheng and Xidong Wang and Juhao Liang and Nuo Chen and Yuping Zheng and Benyou Wang},
      year={2024},
      eprint={2410.10626},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.10626}, 
}