ERNIE 4.5 300B A47B PT GGUF

🚀 ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B 是一款文本生成模型，具有多模態預訓練、高效訓練架構和特定模態微調等先進技術，在文本理解和生成等任務上表現出色。

⚠️ 重要提示

注意：“-Paddle” 模型使用 PaddlePaddle 權重，而 “-PT” 模型使用 Transformer 風格的 PyTorch 權重。

✨ 主要特性

ERNIE 4.5 模型，特別是基於 MoE 的 A47B 和 A3B 系列，具備先進的能力，這得益於以下幾個關鍵的技術創新：

1. 多模態異構 MoE 預訓練：我們的模型在文本和視覺兩種模態上進行聯合訓練，以更好地捕捉多模態信息的細微差別，並提高在文本理解與生成、圖像理解和跨模態推理等任務上的性能。為了避免一種模態阻礙另一種模態的學習，我們設計了一種異構 MoE 結構，引入了模態隔離路由，並採用了路由正交損失和多模態令牌平衡損失。這些架構選擇確保了兩種模態都能得到有效表示，從而在訓練過程中實現相互強化。
2. 高效擴展的基礎設施：我們提出了一種新穎的異構混合並行和分層負載均衡策略，用於 ERNIE 4.5 模型的高效訓練。通過使用節點內專家並行、內存高效的流水線調度、FP8 混合精度訓練和細粒度重計算方法，我們實現了卓越的預訓練吞吐量。在推理方面，我們提出了多專家並行協作方法和卷積代碼量化算法，以實現 4 位/2 位無損量化。此外，我們引入了具有動態角色切換的 PD 解聚技術，以有效利用資源，提高 ERNIE 4.5 MoE 模型的推理性能。基於 PaddlePaddle 構建的 ERNIE 4.5 能夠在廣泛的硬件平臺上實現高性能推理。
3. 特定模態的後訓練：為了滿足現實應用的多樣化需求，我們針對特定模態對預訓練模型的變體進行了微調。我們的大語言模型（LLMs）針對通用語言理解和生成進行了優化。視覺語言模型（VLMs）專注於視覺 - 語言理解，並支持思考和非思考兩種模式。每個模型在後期訓練中都採用了監督微調（SFT）、*直接偏好優化（DPO）或一種名為統一偏好優化（UPO）*的改進強化學習方法。

📦 安裝指南

在使用該模型之前，請確保你已經安裝了 transformers 庫（版本 4.50.0 或更高）。

💻 使用示例

基礎用法

使用 transformers 庫調用模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "baidu/ERNIE-4.5-300B-A47B-PT"
# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
# prepare the model input
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)
# conduct text completion
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=1024
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# decode the generated ids
generate_text = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")
print("generate_text:", generate_text)

高級用法

使用 vLLM 調用模型：

# 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-PT --trust-remote-code

# FP8 online quantification 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-PT --trust-remote-code --quantization fp8

📚 詳細文檔

採樣參數

為了獲得最佳性能，我們建議使用 Temperature=0.8，TopP=0.8。

網絡搜索提示

對於網絡搜索，{references}、{date} 和 {question} 是參數。

對於中文問題，我們使用以下提示：

ernie_search_zh_prompt = \
'''下面你會收到當前時間、多個不同來源的參考文章和一段對話。你的任務是閱讀多個參考文章，並根據參考文章中的信息回答對話中的問題。
以下是當前時間和參考文章：
---------
#當前時間
{date}
#參考文章
{references}
---------
請注意：
1. 回答必須結合問題需求和當前時間，對參考文章的可用性進行判斷，避免在回答中使用錯誤或過時的信息。
2. 當參考文章中的信息無法準確地回答問題時，你需要在回答中提供獲取相應信息的建議，或承認無法提供相應信息。
3. 你需要優先根據百科、官網、權威機構、專業網站等高權威性來源的信息來回答問題。
4. 回覆需要綜合參考文章中的相關數字、案例、法律條文、公式等信息，使你的答案更專業。
5. 當問題屬於創作類任務時，需注意以下維度：
   - 態度鮮明：觀點、立場清晰明確，避免模稜兩可，語言果斷直接
   - 文采飛揚：用詞精準生動，善用修辭手法，增強感染力
   - 有理有據：邏輯嚴密遞進，結合權威數據/事實支撐論點
---------
下面請結合以上信息，回答問題，補全對話
{question}'''

對於英文問題，我們使用以下提示：

ernie_search_en_prompt = \
'''
Below you will be given the current time, multiple references from different sources, and a conversation. Your task is to read the references and use the information in them to answer the question in the conversation.
Here are the current time and the references:
---------
#Current Time
{date}
#References
{references}
---------
Please note:
1. Based on the question’s requirements and the current time, assess the usefulness of the references to avoid using inaccurate or outdated information in the answer.  
2. If the references do not provide enough information to accurately answer the question, you should suggest how to obtain the relevant information or acknowledge that you are unable to provide it.  
3. Prioritize using information from highly authoritative sources such as encyclopedias, official websites, authoritative institutions, and professional websites when answering questions.
4. Incorporate relevant numbers, cases, legal provisions, formulas, and other details from the references to make your answer more professional.
5. For creative tasks, keep these dimensions in mind:
   - Clear attitude: Clear views and positions, avoid ambiguity, and use decisive and direct language
   - Brilliant writing: Precise and vivid words, good use of rhetoric, and enhance the appeal
   - Well-reasoned: Rigorous logic and progressive, combined with authoritative data/facts to support the argument
---------
Now, using the information above, answer the question and complete the conversation:  
{question}'''

參數說明：

• {question} 是用戶的問題。
• {date} 是當前時間，推薦格式為 “YYYY-MM-DD HH:MM:SS, 星期幾, 北京/中國”。
• {references} 是參考文章，推薦格式如下：

##參考文章1
標題：周杰倫
文章發佈時間：2025-04-20
內容：周杰倫(Jay Chou),1979年1月18日出生於臺灣省新北市,祖籍福建省永春縣,華語流行樂男歌手、音樂人、演員、導演、編劇,畢業於淡江中學。2000年,發行個人首張音樂專輯《Jay》。...
來源網站網址：baike.baidu.com
來源網站的網站名：百度百科
##參考文章2
...

🔧 技術細節

📄 許可證

ERNIE 4.5 模型遵循 Apache 許可證 2.0。該許可證允許商業使用，但需遵守其條款和條件。版權所有 (c) 2025 百度公司。保留所有權利。

📚 引用

如果您發現 ERNIE 4.5 很有用，或者希望在您的項目中使用它，請引用我們的技術報告：

@misc{ernie2025technicalreport,
      title={ERNIE 4.5 Technical Report},
      author={Baidu ERNIE Team},
      year={2025},
      eprint={},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={}
}