Apollo2 7B GGUF
Apollo2-7B-GGUF 是 FreedomIntelligence/Apollo2-7B 的量化版本,支持多种语言的医学大语言模型应用。
下载量 111
发布时间 : 6/21/2025
模型简介
该模型专注于医学领域,支持包括英语、中文、法语等多种主要语言及众多小语种,适用于生物学、医学等相关问题的问答。
模型特点
多语言覆盖
支持12种主要语言和38种小语种,涵盖广泛的医学领域应用。
医学领域优化
专注于医学领域,适用于生物学、医学等相关问题的问答。
量化版本
使用 llama.cpp 创建的量化版本,旨在为更多语言的医学大语言模型提供支持。
模型能力
多语言医学问答
医学知识推理
跨语言医学信息处理
使用案例
医学教育
医学知识问答
回答医学相关的问题,如疾病症状、治疗方法等。
高准确率的医学知识回答
临床支持
临床决策支持
提供临床决策的参考信息。
辅助医生进行临床决策
🚀 QuantFactory/Apollo2-7B-GGUF
这是使用 llama.cpp 创建的 FreedomIntelligence/Apollo2-7B 的量化版本,旨在为更多语言的医学大语言模型提供支持,覆盖了包括英语、中文、法语等多种主要语言以及众多小语种。
🚀 快速开始
模型下载与推理
我们以 Apollo-MoE-0.5B 为例:
- 登录 Huggingface
huggingface-cli login --token $HUGGINGFACE_TOKEN
- 将模型下载到本地目录
from huggingface_hub import snapshot_download
import os
local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')
snapshot_download(repo_id="FreedomIntelligence/Apollo-MoE-0.5B", local_dir=local_model_dir)
- 推理示例
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import os
local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')
model=AutoModelForCausalLM.from_pretrained(local_model_dir,trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(local_model_dir,trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained(local_model_dir, pad_token_id=tokenizer.pad_token_id, num_return_sequences=1, max_new_tokens=7, min_new_tokens=2, do_sample=False, temperature=1.0, top_k=50, top_p=1.0)
inputs = tokenizer('Answer direclty.\nThe capital of Mongolia is Ulaanbaatar.\nThe capital of Iceland is Reykjavik.\nThe capital of Australia is', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs,generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))
结果复现
点击展开
我们以 Apollo2-7B 或 Apollo-MoE-0.5B 为例: 1. 下载项目所需的数据集 ``` bash 0.download_data.sh ``` 2. 为特定模型准备测试和开发数据 - 创建带有特殊标记的测试数据 ``` bash 1.data_process_test&dev.sh ``` 3. 为特定模型准备训练数据(提前创建标记化数据) - 你可以在这一步调整数据训练顺序和训练轮数 ``` bash 2.data_process_train.sh ``` 4. 训练模型 - 如果你想在多节点上进行训练,请参考 ./src/sft/training_config/zero_multi.yaml ``` bash 3.single_node_train.sh ``` 5. 评估你的模型:为基准测试生成分数 ``` bash 4.eval.sh ```✨ 主要特性
- 多语言覆盖:涵盖 12 种主要语言(英语、中文、法语、印地语、西班牙语、阿拉伯语、俄语、日语、韩语、德语、意大利语、葡萄牙语)和 38 种小语种。
- 医学领域支持:专注于医学领域,适用于生物学、医学等相关问题的问答。
📦 安装指南
请参考上述“快速开始”部分中的模型下载与推理步骤。
💻 使用示例
基础用法
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import os
local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')
model=AutoModelForCausalLM.from_pretrained(local_model_dir,trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(local_model_dir,trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained(local_model_dir, pad_token_id=tokenizer.pad_token_id, num_return_sequences=1, max_new_tokens=7, min_new_tokens=2, do_sample=False, temperature=1.0, top_k=50, top_p=1.0)
inputs = tokenizer('Answer direclty.\nThe capital of Mongolia is Ulaanbaatar.\nThe capital of Iceland is Reykjavik.\nThe capital of Australia is', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs,generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))
📚 详细文档
原始模型卡片
为更多语言普及医学大语言模型
目前已覆盖 12 种主要语言和 38 种小语种。
论文 • 演示 • ApolloMoEDataset • ApolloMoEBench • 模型 • Apollo • ApolloMoE
更新日志
- [2024.10.15] ApolloMoE 仓库已发布。
语言覆盖范围
涵盖 12 种主要语言和 38 种小语种。
点击查看语言覆盖详情
架构
点击查看 MoE 路由图
结果
密集模型
点击查看密集模型结果
后 MoE 模型
点击查看后 MoE 模型结果
使用格式
Apollo2
- 0.5B、1.5B、7B:User:{query}\nAssistant:{response}<|endoftext|>
- 2B、9B:User:{query}\nAssistant:{response}<eos>
- 3.8B:<|user|>\n{query}<|end|><|assisitant|>\n{response}<|end|>
Apollo-MoE
- 0.5B、1.5B、7B:User:{query}\nAssistant:{response}<|endoftext|>
数据集与评估
数据集
点击展开
 - [数据类别](https://huggingface.co/datasets/FreedomIntelligence/ApolloCorpus/tree/main/train)评估
点击展开
- **英语**: - [MedQA-USMLE](https://huggingface.co/datasets/GBaker/MedQA-USMLE-4-options) - [MedMCQA](https://huggingface.co/datasets/medmcqa/viewer/default/test) - [PubMedQA](https://huggingface.co/datasets/pubmed_qa):由于结果波动过大,未在论文中使用。 - [MMLU-Medical](https://huggingface.co/datasets/cais/mmlu) - 临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学 - **中文**: - [MedQA-MCMLE](https://huggingface.co/datasets/bigbio/med_qa/viewer/med_qa_zh_4options_bigbio_qa/test) - [CMB-single](https://huggingface.co/datasets/FreedomIntelligence/CMB):未在论文中使用 - 随机抽取 2000 道单项选择题 - [CMMLU-Medical](https://huggingface.co/datasets/haonan-li/cmmlu) - 解剖学、临床知识、大学医学、遗传学、营养学、中医、病毒学 - [CExam](https://github.com/williamliujl/CMExam):未在论文中使用 - 随机抽取 2000 道单项选择题 - **西班牙语**:[Head_qa](https://huggingface.co/datasets/head_qa) - **法语**: - [Frenchmedmcqa](https://github.com/qanastek/FrenchMedMCQA) - [MMLU_FR] - 临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学 - **印地语**:[MMLU_HI](https://huggingface.co/datasets/FreedomIntelligence/MMLU_Hindi) - 临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学 - **阿拉伯语**:[MMLU_AR](https://huggingface.co/datasets/FreedomIntelligence/MMLU_Arabic) - 临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学 - **日语**:[IgakuQA](https://github.com/jungokasai/IgakuQA) - **韩语**:[KorMedMCQA](https://huggingface.co/datasets/sean0042/KorMedMCQA) - **意大利语**: - [MedExpQA](https://huggingface.co/datasets/HiTZ/MedExpQA) - [MMLU_IT] - 临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学 - **德语**:[BioInstructQA](https://huggingface.co/datasets/BioMistral/BioInstructQA):德语部分 - **葡萄牙语**:[BioInstructQA](https://huggingface.co/datasets/BioMistral/BioInstructQA):葡萄牙语部分 - **俄语**:[RuMedBench](https://github.com/sb-ai-lab/MedBench)📄 许可证
本项目采用 Apache-2.0 许可证。
📚 引用
如果您打算使用我们的数据集进行训练或评估,请使用以下引用:
@misc{zheng2024efficientlydemocratizingmedicalllms,
title={Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts},
author={Guorui Zheng and Xidong Wang and Juhao Liang and Nuo Chen and Yuping Zheng and Benyou Wang},
year={2024},
eprint={2410.10626},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2410.10626},
}
📋 信息表格
属性 | 详情 |
---|---|
模型类型 | 量化版本的医学大语言模型 |
训练数据 | ApolloMoEDataset |
支持语言 | 阿拉伯语、英语、中文、韩语、日语等多种语言 |
评估指标 | 准确率 |
基础模型 | Qwen/Qwen2-7B |
任务类型 | 问答 |
标签 | 生物学、医学 |
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98