# FP8量子化

Qwen2.5-VL-32B-InstructモデルをベースとしたFP8量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、効率的な推論シーンに適しています。

Qwen3-235B-A22BモデルのFP8量子化バージョンで、GPUメモリの要件を効果的に削減し、計算スループットを向上させ、さまざまな自然言語処理シナリオに適しています。

このモデルはBielik-4.5B-v3.0-InstructのFP8量子化バージョンで、AutoFP8技術により重みと活性化をFP8データ型に量子化し、ディスク容量とGPUメモリ要件を約50%削減します。

これはBielik-1.5B-v3.0-Instructモデルを基にしたFP8動的量子化バージョンで、vLLMまたはSGLang推論フレームワークに適応しています。AutoFP8量子化技術により、パラメータのビット数を16ビットから8ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。

Qwen3-30B-A3B-FP8-dynamicはQwen3-30B-A3BモデルをFP8量子化で最適化したバージョンで、メモリ要件と計算コストを大幅に削減しながら、元のモデルの高い精度を維持しています。

Qwen3-8B-FP8-dynamicはQwen3-8BモデルをFP8量子化で最適化したバージョンで、GPUメモリ要件とディスク使用量を大幅に削減しながら、元のモデルの性能を維持しています。

Qwen3-32Bを基にFP8動的量子化を施した効率的な言語モデルで、メモリ要件を大幅に削減し計算効率を向上

Qwen3は通義千問シリーズの最新世代大規模言語モデルで、密モデルと混合専門家(MoE)モデルの完全なスイートを提供します。大規模なトレーニングに基づき、Qwen3は推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を遂げました。

これはgoogle/gemma-3-27b-itの量子化バージョンで、FP8データ型を使用して重みを量子化し、ビジュアル - テキスト入力を受け取り、テキストを出力するのに適しており、vLLMによる効率的なデプロイで推論が可能です。

Qwen3-0.6B-FP8は通義千問シリーズの大規模言語モデルの最新バージョンで、0.6BパラメータのFP8量子化版を提供し、思考モードの自由な切り替えと多言語タスクをサポートします。

これはShakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0モデルのFP8量子化バージョンで、PyTorchネイティブFP8サポートにより元のBFloat16フォーマットから量子化され、推論性能が最適化されています。

これはMistral3アーキテクチャに基づく24Bパラメータの条件付き生成モデルで、FP8動的量子化により最適化されており、多言語テキスト生成と視覚理解タスクに適しています。

QwQ-32B-FP8はQwQ-32BモデルのFP8量子化バージョンで、BF16バージョンとほぼ同じ精度を維持しながら、より高速な推論をサポートします。

QwQ-32BのFP8量子化バージョン、動的量子化技術により50%のストレージとメモリ要件を削減、99.75%の元のモデル精度を維持

QwQ-32BのFP8量子化バージョン、動的量子化技術により50%のストレージとメモリ要件を削減、99.75%の元モデル精度を維持

Qwen2.5-VL-7B-InstructのFP8量子化バージョンで、vLLMを通じて効率的なビジュアル - テキスト推論をサポートします。

Qwen2.5-VL-3B-InstructのFP8量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、推論効率を最適化しています。

DeepSeek-R1-Distill-Llama-70BのFP8量子化バージョン。重みと活性化のビット数を減らすことで推論性能を最適化します。

Flex.1-alpha-Fp8 は Flex.1-alpha モデルを基にした safetensors 形式の float8_e4m3fn 重みバージョンで、テキストから画像を生成するタスクに適しています。

Stable Diffusion 3.5 LargeのFP8量子化バージョンで、テキストから画像を生成するタスクに使用されます。

Bamba-9BはMamba-2アーキテクチャに基づくデコーダ専用言語モデルで、2段階トレーニングを経ており、幅広いテキスト生成タスクに優れています。

pixtral-12b-FP8-dynamicはmistral-community/pixtral-12bの量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスク容量とGPUメモリの要件を約50％削減し、複数の言語の商用および研究用途に適しています。

Llama-3.2-1B-InstructのFP8量子化バージョンで、多言語シナリオにおけるビジネスおよび研究用途に適しており、オリジナルモデルに近い性能を発揮します。

Llama-3.2-3B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。

これはLlama-3.2-11B-Vision-Instructをベースにした量子化モデルで、多言語の商業および研究用途に適しており、アシスタントのようなチャットシーンに使用できます。

Meta-Llama-3.1-70BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しており、重みと活性化をFP8形式で量子化することで、約50%のストレージとメモリ要件を削減します。

Meta-Llama-3.1-8BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しています。

Meta-Llama-3.1-70B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。

Meta-Llama-3.1-8B-InstructのFP8量子化バージョンで、多言語の商用・研究用途に適しており、アシスタントのようなチャットシナリオに特に最適化されています。

DeepSeek-Coder-V2-Lite-InstructのFP8量子化バージョンで、英語の商用および研究用途に適しており、推論効率が最適化されています。

Meta-Llama-3-70B-Instruct-FP8はMeta-Llama-3-70B-Instructの量子化バージョンで、FP8量子化によりディスク容量とGPUメモリの要件を削減し、同時に高いパフォーマンスを維持し、英語のビジネスおよび研究用途に適しています。