ERNIE 4.5 300B A47B PT GGUF
ERNIE-4.5-300B-A47B 是一款基于 MoE 架构的多模态预训练模型,具备强大的文本理解和生成能力,支持视觉-语言联合推理。
下载量 186
发布时间 : 7/18/2025
模型简介
该模型采用多模态异构 MoE 预训练技术,结合高效扩展基础设施和特定模态微调,在文本生成、视觉语言理解等任务上表现优异。
模型特点
多模态异构 MoE 预训练
通过模态隔离路由和损失函数设计,实现文本与视觉模态的高效联合训练
高效扩展基础设施
采用异构混合并行策略和分层负载均衡,支持 FP8 混合精度训练和 4 位/2 位无损量化推理
特定模态微调
通过 SFT、DPO 和 UPO 方法针对不同应用场景优化模型性能
模型能力
多模态理解
长文本生成(131072 tokens)
跨模态推理
网络搜索增强
多语言支持
使用案例
智能问答
百科知识问答
结合网络搜索结果提供权威解答
优先引用百科、官网等高权威来源
内容创作
多模态内容生成
根据图文输入生成连贯内容
支持态度鲜明、文采飞扬的创作风格
🚀 ERNIE-4.5-300B-A47B
ERNIE-4.5-300B-A47B 是一款文本生成模型,具有多模态预训练、高效训练架构和特定模态微调等先进技术,在文本理解和生成等任务上表现出色。
⚠️ 重要提示
注意:“-Paddle” 模型使用 PaddlePaddle 权重,而 “-PT” 模型使用 Transformer 风格的 PyTorch 权重。
✨ 主要特性
ERNIE 4.5 模型,特别是基于 MoE 的 A47B 和 A3B 系列,具备先进的能力,这得益于以下几个关键的技术创新:
- 多模态异构 MoE 预训练:我们的模型在文本和视觉两种模态上进行联合训练,以更好地捕捉多模态信息的细微差别,并提高在文本理解与生成、图像理解和跨模态推理等任务上的性能。为了避免一种模态阻碍另一种模态的学习,我们设计了一种异构 MoE 结构,引入了模态隔离路由,并采用了路由正交损失和多模态令牌平衡损失。这些架构选择确保了两种模态都能得到有效表示,从而在训练过程中实现相互强化。
- 高效扩展的基础设施:我们提出了一种新颖的异构混合并行和分层负载均衡策略,用于 ERNIE 4.5 模型的高效训练。通过使用节点内专家并行、内存高效的流水线调度、FP8 混合精度训练和细粒度重计算方法,我们实现了卓越的预训练吞吐量。在推理方面,我们提出了多专家并行协作方法和卷积代码量化算法,以实现 4 位/2 位无损量化。此外,我们引入了具有动态角色切换的 PD 解聚技术,以有效利用资源,提高 ERNIE 4.5 MoE 模型的推理性能。基于 PaddlePaddle 构建的 ERNIE 4.5 能够在广泛的硬件平台上实现高性能推理。
- 特定模态的后训练:为了满足现实应用的多样化需求,我们针对特定模态对预训练模型的变体进行了微调。我们的大语言模型(LLMs)针对通用语言理解和生成进行了优化。视觉语言模型(VLMs)专注于视觉 - 语言理解,并支持思考和非思考两种模式。每个模型在后期训练中都采用了监督微调(SFT)、*直接偏好优化(DPO)或一种名为统一偏好优化(UPO)*的改进强化学习方法。
📦 安装指南
在使用该模型之前,请确保你已经安装了 transformers
库(版本 4.50.0 或更高)。
💻 使用示例
基础用法
使用 transformers
库调用模型:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "baidu/ERNIE-4.5-300B-A47B-PT"
# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
# prepare the model input
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)
# conduct text completion
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=1024
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# decode the generated ids
generate_text = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")
print("generate_text:", generate_text)
高级用法
使用 vLLM 调用模型:
# 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-PT --trust-remote-code
# FP8 online quantification 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-PT --trust-remote-code --quantization fp8
📚 详细文档
采样参数
为了获得最佳性能,我们建议使用 Temperature=0.8
,TopP=0.8
。
网络搜索提示
对于网络搜索,{references}、{date} 和 {question} 是参数。
对于中文问题,我们使用以下提示:
ernie_search_zh_prompt = \
'''下面你会收到当前时间、多个不同来源的参考文章和一段对话。你的任务是阅读多个参考文章,并根据参考文章中的信息回答对话中的问题。
以下是当前时间和参考文章:
---------
#当前时间
{date}
#参考文章
{references}
---------
请注意:
1. 回答必须结合问题需求和当前时间,对参考文章的可用性进行判断,避免在回答中使用错误或过时的信息。
2. 当参考文章中的信息无法准确地回答问题时,你需要在回答中提供获取相应信息的建议,或承认无法提供相应信息。
3. 你需要优先根据百科、官网、权威机构、专业网站等高权威性来源的信息来回答问题。
4. 回复需要综合参考文章中的相关数字、案例、法律条文、公式等信息,使你的答案更专业。
5. 当问题属于创作类任务时,需注意以下维度:
- 态度鲜明:观点、立场清晰明确,避免模棱两可,语言果断直接
- 文采飞扬:用词精准生动,善用修辞手法,增强感染力
- 有理有据:逻辑严密递进,结合权威数据/事实支撑论点
---------
下面请结合以上信息,回答问题,补全对话
{question}'''
对于英文问题,我们使用以下提示:
ernie_search_en_prompt = \
'''
Below you will be given the current time, multiple references from different sources, and a conversation. Your task is to read the references and use the information in them to answer the question in the conversation.
Here are the current time and the references:
---------
#Current Time
{date}
#References
{references}
---------
Please note:
1. Based on the question’s requirements and the current time, assess the usefulness of the references to avoid using inaccurate or outdated information in the answer.
2. If the references do not provide enough information to accurately answer the question, you should suggest how to obtain the relevant information or acknowledge that you are unable to provide it.
3. Prioritize using information from highly authoritative sources such as encyclopedias, official websites, authoritative institutions, and professional websites when answering questions.
4. Incorporate relevant numbers, cases, legal provisions, formulas, and other details from the references to make your answer more professional.
5. For creative tasks, keep these dimensions in mind:
- Clear attitude: Clear views and positions, avoid ambiguity, and use decisive and direct language
- Brilliant writing: Precise and vivid words, good use of rhetoric, and enhance the appeal
- Well-reasoned: Rigorous logic and progressive, combined with authoritative data/facts to support the argument
---------
Now, using the information above, answer the question and complete the conversation:
{question}'''
参数说明:
- {question} 是用户的问题。
- {date} 是当前时间,推荐格式为 “YYYY-MM-DD HH:MM:SS, 星期几, 北京/中国”。
- {references} 是参考文章,推荐格式如下:
##参考文章1
标题:周杰伦
文章发布时间:2025-04-20
内容:周杰伦(Jay Chou),1979年1月18日出生于台湾省新北市,祖籍福建省永春县,华语流行乐男歌手、音乐人、演员、导演、编剧,毕业于淡江中学。2000年,发行个人首张音乐专辑《Jay》。...
来源网站网址:baike.baidu.com
来源网站的网站名:百度百科
##参考文章2
...
🔧 技术细节
属性 | 详情 |
---|---|
模型类型 | 文本 MoE 后训练模型 |
训练阶段 | 预训练 |
参数(总参数 / 激活参数) | 3000 亿 / 470 亿 |
层数 | 54 |
头数(Q/KV) | 64 / 8 |
文本专家(总数 / 激活数) | 64 / 8 |
视觉专家(总数 / 激活数) | 64 / 8 |
上下文长度 | 131072 |
📄 许可证
ERNIE 4.5 模型遵循 Apache 许可证 2.0。该许可证允许商业使用,但需遵守其条款和条件。版权所有 (c) 2025 百度公司。保留所有权利。
📚 引用
如果您发现 ERNIE 4.5 很有用,或者希望在您的项目中使用它,请引用我们的技术报告:
@misc{ernie2025technicalreport,
title={ERNIE 4.5 Technical Report},
author={Baidu ERNIE Team},
year={2025},
eprint={},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={}
}
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98