# FP8動的量子化

Qwen/Qwen3-30B-A3Bモデルを基にしたFP8動的量子化バージョンで、アンペアアーキテクチャGPUでの推論効率を最適化

これはfancyfeastが開発したLlama JoyCaption Alpha TwoモデルをFP8圧縮したバージョンで、llm-compressorツールを使用して実装され、vllmフレームワークと互換性があります。

Qwen2.5 - 72B - Instructをベースに微調整された72Bパラメータの大規模言語モデルで、動的FP8量子化技術を用いて推論効率を最適化し、Claude 3の散文の質を再現することを目的としています。

Aria-sequential_mlpベースのFP8動的量子化モデルで、画像テキストからテキストタスクに適しており、VRAM要件は約30GBです。