Qwen3 30B A3B FP8 Dynamic

🚀 トランスフォーマーライブラリ

このライブラリは、Qwen/Qwen3-30B-A3Bをベースモデルとし、FP8-Dynamic量子化をサポートしてAmpereカードでの動作を可能にします。

🚀 クイックスタート

FP8-Dynamic量子化を用いて、2枚の3090 GPUでモデルを実行するには、以下のvllmコマンドを使用します。

vllm serve khajaphysist/Qwen3-30B-A3B-FP8-Dynamic --enable-reasoning --reasoning-parser deepseek_r1 \
     -tp 2 --gpu-memory-utilization 0.99 --disable-log-requests --enforce-eager --max-num-seqs 15

📦 インストール

元のREADMEにインストール手順に関する具体的な内容が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

2枚の3090 GPUでモデルを実行するコマンド例です。

vllm serve khajaphysist/Qwen3-30B-A3B-FP8-Dynamic --enable-reasoning --reasoning-parser deepseek_r1 \
     -tp 2 --gpu-memory-utilization 0.99 --disable-log-requests --enforce-eager --max-num-seqs 15

📚 ドキュメント

元のREADMEに詳細な説明が記載されていないため、このセクションは省略されます。

🔧 技術詳細

元のREADMEに技術的な詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

元のREADMEにライセンス情報が記載されていないため、このセクションは省略されます。