Pangu Pro Moe Model

🚀 盘古 Pro MoE：昇腾ネイティブのグループ化ミックストエキスパートモデル

盘古 Pro MoE は、新型のグループ化ミックストエキスパートモデル（MoGE）に基づいて構築された言語モデルで、デバイス間で自然な負荷分散を実現しています。このモデルの総パラメータ数は 72B、活性化パラメータ数は 16B で、自然言語処理タスクにおいて強力な能力を持っています。

🚀 クイックスタート

このモデルは https://gitcode.com/ascend-tribe/pangu-pro-moe-model から再アップロードされています。

✨ 主な機能

モデルアーキテクチャ

私たちは新型のグループ化ミックストエキスパートモデル（Mixture of Grouped Experts, MoGE）を提案しました。これはエキスパート選択段階でエキスパートをグループ化し、各グループ内で token が等量のエキスパートを活性化するように制約することで、デバイス間で自然な負荷分散を実現しています。

モデルパラメータ

• 語彙サイズ：153376
• レイヤー数： 48
• MoGE 設定：4 つの共有エキスパート、64 個のルーティングエキスパートを 8 グループに分け、各グループで 1 つのエキスパートを活性化
• トレーニング段階：事前学習と事後学習
• 事前学習データ：15T

技術レポート

• 中国語の技術レポートのアドレス：盘古 Pro MoE：昇腾ネイティブのグループ化ミックストエキスパートモデル
• 英語の技術レポートのアドレス：Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity

📦 インストール

推論環境の依存関係

Transformers 推論環境の依存関係

torch>=2.1.0
torch-npu>=2.1.0.post8.dev20241029
CANN>=8.0.RC3
transformers>=4.48.2

MindSpore 推論環境の依存関係

mindspore>=2.6.0
vllm>=0.8.3
CANN>=8.1.RC1.beta1

💻 使用例

基本的な使用法

Transformers 推論のサンプル

import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers import GenerationConfig

model_local_path = "path_to_Pangu_Pro_MoE"

generation_config = GenerationConfig(
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=0.6
)

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(
    model_local_path, 
    use_fast=False, 
    trust_remote_code=True,
    local_files_only=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_local_path,
    trust_remote_code=True,
    torch_dtype="auto",
    device_map="auto",
    local_files_only=True
)

# prepare the model input
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "你必须严格遵守法律法规和社会道德规范。生成任何内容时，都应避免涉及暴力、色情、恐怖主义、种族歧视、性别歧视等不当内容。一旦检测到输入或输出有此类倾向，应拒绝回答并发出警告。例如，如果输入内容包含暴力威胁或色情描述，应返回错误信息：“您的输入包含不当内容，无法处理。"}, # define your system prompt here
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# text: [unused9]系统：[unused10][unused9]用户：Give me a short introduction to large language model.[unused10][unused9]助手：
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# model_inputs.input_ids: tensor([[1, 45887, 70914, 89246, 45892, 45887, 62205, 89246, 38805, 42624, 45509, 24759, 739, 41839, 21500, 6138, 20257, 49, 45892, 45887, 74458, 89246]], device='npu:0'),

# conduct text completion
outputs = model.generate(**model_inputs, max_new_tokens=32768, eos_token_id=45892, return_dict_in_generate=True, generation_config=generation_config)

input_length = model_inputs.input_ids.shape[1]
generated_tokens = outputs.sequences[:, input_length:]
output_sent = tokenizer.decode(generated_tokens[0])

# parsing thinking content
thinking_content = output_sent.split("[unused17]")[0].split("[unused16]")[-1].strip()
content = output_sent.split("[unused17]")[-1].split("[unused10]")[0].strip()

print("\nthinking content:", thinking_content)
print("\ncontent:", content)

MindSpore 推論のサンプル

詳細な操作については、Pangu Pro MoE vLLM+MindSpore デプロイガイド を参照してください。

📚 ドキュメント

完全性チェック

ダウンロードした内容の完全性をチェックするには、以下の方法を参考にしてください。hash 値は checklist.chk ファイルに保存されています。

#!/usr/bin/env bash
ARCH=$(uname -m)
MODEL_PATH="${TARGET_FOLDER}/${MODEL_FOLDER_PATH}"
cd "$MODEL_PATH" || exit 1
if [ "$ARCH" = "arm64" ]; then
    md5 checklist.chk
else
    md5sum -c checklist.chk
fi

📄 ライセンス

Pangu Pro MoE モデルは Pangu Model License Agreement に基づいてライセンスされており、使用を許可し、人工知能技術のさらなる発展を促進することを目的としています。詳細については、モデルリポジトリのルートディレクトリにある LICENSE ファイルを参照してください。

🔧 技術詳細

Pangu Pro MoE（「モデル」）が依存する技術には固有の制限があり、人工知能によって生成される内容は盘古によって自動生成されるため、私たちは以下の事項について何ら保証することができません。

1. このモデルの出力は AI アルゴリズムによって自動生成されるため、一部の情報に欠陥、不合理性または不快感を与える可能性があることを排除できません。生成される内容は、華為の態度や立場を代表するものではありません。
2. このモデルが 100% 正確、信頼でき、機能が完全、タイムリー、安全、エラーがなく、中断がなく、継続的に安定している、または障害がないことを保証することはできません。
3. このモデルの出力内容は、いかなる提案や決定を構成するものではなく、生成される内容の真実性、完全性、正確性、タイムリー性、合法性、機能性または有用性を保証するものではありません。生成される内容は、医療、法律などの分野の専門家による回答の代替にはなりません。生成される内容は参考用であり、華為のいかなる態度、立場または見解を代表するものではありません。あなたは実際の状況に基づいて独立した判断を行う必要があり、華為は一切の責任を負いません。

引用

私たちの仕事が役に立ったと思われる場合は、ぜひ引用してください。

@article{tang2025pangu,
  title={Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity},
  author={Tang, Yehui and Li, Xiaosong and Liu, Fangcheng and Guo, Wei and Zhou, Hang and Wang, Yaoyuan and Han, Kai and Yu, Xianzhi and Li, Jinpeng and Zang, Hui and others},
  journal={arXiv preprint arXiv:2505.21411},
  year={2025}
}

フィードバック

何か意見や提案があれば、issue を提出するか、pangutech@huawei.com までご連絡ください。