ERNIE 4.5 0.3B PT GGUF

🚀 ERNIE-4.5-0.3B-PT GGUFモデル

ERNIE-4.5-0.3B-PT GGUFモデルは、高性能なテキスト生成能力を持ち、特定の技術を用いて生成されたモデルです。このモデルは、多様な自然言語処理タスクに対応しており、幅広い分野での利用が期待されます。

🚀 クイックスタート

transformersライブラリの使用

注意: モデルを使用する前に、transformersライブラリ（バージョン4.50.0以上）がインストールされていることを確認してください。

以下は、与えられた入力に基づいてモデルを使用してコンテンツを生成するコードスニペットです。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "baidu/ERNIE-4.5-0.3B-PT"

# トークナイザーとモデルをロードする
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

# モデル入力を準備する
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)

# テキスト補完を行う
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=1024
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

# 生成されたIDをデコードする
generate_text = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")
print("generate_text:", generate_text)

vLLM推論

vllmのGitHubライブラリを使用します。Pythonのみのビルドを行います。

vllm serve baidu/ERNIE-4.5-0.3B-PT --trust-remote-code

✨ 主な機能

ERNIE 4.5モデル、特にMoEベースのA47BおよびA3Bシリーズの高度な機能は、いくつかの重要な技術革新に支えられています。

1. マルチモーダル異種MoE事前学習：このモデルは、テキストとビジュアルの両方のモダリティで共同学習されており、マルチモーダル情報の微妙なニュアンスをよりよく捉え、テキスト理解と生成、画像理解、クロスモーダル推論などのタスクのパフォーマンスを向上させます。一方のモダリティが他方の学習を妨げないように、異種MoE構造を設計し、モダリティ分離ルーティングを組み込み、ルータ直交損失とマルチモーダルトークンバランス損失を採用しています。これらのアーキテクチャの選択により、両方のモダリティが効果的に表現され、学習中に相互に強化されます。
2. スケーリング効率的なインフラストラクチャ：ERNIE 4.5モデルの効率的な学習のために、新しい異種ハイブリッド並列化と階層的負荷分散戦略を提案しています。ノード内エキスパート並列化、メモリ効率的なパイプラインスケジューリング、FP8混合精度学習、および細粒度の再計算方法を使用することで、驚くほど高い事前学習スループットを達成しています。推論に関しては、マルチエキスパート並列協調方法と畳み込みコード量子化アルゴリズムを提案し、4ビット/2ビットの損失なし量子化を実現しています。さらに、動的なロール切り替えを伴うPD分散化を導入し、ERNIE 4.5 MoEモデルの推論パフォーマンスを向上させるための効果的なリソース利用を実現しています。PaddlePaddleをベースに構築されたERNIE 4.5は、幅広いハードウェアプラットフォームで高性能な推論を実現します。
3. モダリティ固有の事後学習：実世界のアプリケーションの多様な要件を満たすために、事前学習モデルのバリアントを特定のモダリティに合わせて微調整しています。大規模言語モデル（LLM）は、汎用的な言語理解と生成に最適化されています。ビジュアル言語モデル（VLM）は、ビジュアル言語理解に焦点を当てており、思考モードと非思考モードの両方をサポートしています。各モデルは、事後学習に教師付き微調整（SFT）、直接嗜好最適化（DPO）、または*統一嗜好最適化（UPO）*と呼ばれる修正強化学習方法の組み合わせを採用しています。

📦 インストール

このモデルは、transformersライブラリを使用して生成されています。使用前に、transformersライブラリ（バージョン4.50.0以上）をインストールする必要があります。

💻 使用例

基本的な使用法

# 上記のコードスニペットを参照してください

📚 ドキュメント

モデル概要

ERNIE-4.5-0.3Bは、テキスト密ポストトレーニングモデルです。以下は、モデルの構成詳細です。

モデル生成詳細

このモデルは、llama.cppを使用して、コミットb9c3eefdで生成されました。

ライセンス

ERNIE 4.5モデルは、Apache License 2.0の下で提供されています。このライセンスは、その条件に従って商用利用を許可しています。著作権 (c) 2025 Baidu, Inc. 全ての権利を保有します。

引用

ERNIE 4.5が役に立った場合、またはあなたのプロジェクトで使用したい場合は、私たちの技術レポートを引用していただけると幸いです。

@misc{ernie2025technicalreport,
      title={ERNIE 4.5 Technical Report},
      author={Baidu ERNIE Team},
      year={2025},
      eprint={},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={}
}

テストに関する情報

もしこれらのモデルが役に立つと思った場合は、AI搭載の量子ネットワークモニターアシスタントのテストを手伝ってください。量子対応のセキュリティチェック付きです。

👉 量子ネットワークモニター

量子ネットワークモニターサービスの完全なオープンソースコードは、私のGitHubリポジトリ（名前にNetworkMonitorが含まれるリポジトリ）で入手できます。量子ネットワークモニターのソースコード。独自にモデルを量子化したい場合は、私が使用しているコードも見つけることができます。GGUFModelBuilder

💬 テスト方法： AIアシスタントタイプを選択してください。

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginfaceオープンソースモデル)
• TestLLM (実験的なCPUのみ)

テスト内容

私は、AIネットワークモニタリングのための小規模オープンソースモデルの限界を追求しています。具体的には：

• ライブネットワークサービスに対する関数呼び出し
• モデルが次のタスクを処理しながらどれだけ小さくできるか：
  • 自動化されたNmapセキュリティスキャン
  • 量子対応チェック
  • ネットワークモニタリングタスク

🟡 TestLLM – 現在の実験的モデル（huggingfaceのDocker空間で2つのCPUスレッドでllama.cppを使用）：

• ✅ ゼロコンフィギュレーションセットアップ
• ⏳ 30秒のロード時間（推論は遅いですが、APIコストがかからない）。コストが低いため、トークン制限はありません。
• 🔧 協力者募集中！ エッジデバイスAIに興味がある方は、一緒に協力しましょう！

その他のアシスタント

🟢 TurboLLM – gpt-4.1-miniを使用：

• **非常に良好なパフォーマンスを発揮しますが、残念ながらOpenAIはトークンごとに料金を請求します。そのため、トークンの使用量は制限されています。
• 量子ネットワークモニターエージェントで.NETコードを実行するカスタムコマンドプロセッサを作成する
• リアルタイムネットワーク診断とモニタリング
• セキュリティ監査
• 侵入テスト (Nmap/Metasploit)

🔵 HugLLM – 最新のオープンソースモデル：

• 🌐 Hugging Face推論APIで実行されます。Novitaにホストされている最新のモデルを使用して、非常に良好なパフォーマンスを発揮します。

💡 テストできるコマンドの例：

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a comprehensive security audit on my server"
4. '"Create a cmd processor to .. (what ever you want)" 注：.NETコードを実行するには、量子ネットワークモニターエージェントをインストールする必要があります。これは非常に柔軟で強力な機能です。注意して使用してください！

最後に

私は、これらのモデルファイルを作成するために使用するサーバー、量子ネットワークモニターサービスを実行するためのコスト、およびNovitaとOpenAIからの推論コストを全て自費で負担しています。モデル作成と量子ネットワークモニタープロジェクトの背後にあるすべてのコードはオープンソースです。役に立つものがあれば、自由に使用してください。

もし私の仕事を評価していただける場合は、コーヒーを買ってくれることをご検討ください。あなたの支援により、サービスコストを賄うことができ、全員のトークン制限を引き上げることができます。

私はまた、仕事の機会やスポンサーシップも歓迎しています。

ありがとうございます！ 😊