# 低VRAM推論

Qwen3-14B-ft-limoモデルの様々な量子化バージョンで、llama.cppのimatrixオプションを使用して生成され、さまざまな性能とストレージ要件に適しています。

このモデルはBielik-4.5B-v3.0-InstructのFP8量子化バージョンで、AutoFP8技術により重みと活性化をFP8データ型に量子化し、ディスク容量とGPUメモリ要件を約50%削減します。

これはBielik-1.5B-v3.0-Instructモデルを基にしたFP8動的量子化バージョンで、vLLMまたはSGLang推論フレームワークに適応しています。AutoFP8量子化技術により、パラメータのビット数を16ビットから8ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。

OpenHands LMは、Qwen Coder 2.5 Instruct 32Bをベースに構築されたオープンソースのコーディングモデルで、特殊な微調整によりソフトウェアエンジニアリングタスクで優れた性能を発揮します。

これはQwen2.5-VL-7B-Instructモデルに基づく非公式のGPTQ-Int3量子化バージョンで、画像テキストからテキストへのマルチモーダルタスクに適しています。

QwQ-32Bの4ビット量子化バージョンで、Bitsandbytes技術を使用して最適化されており、リソースが制限された環境での効率的な推論に適しています

これはQwen2.5-VL-3B-InstructモデルのGPTQ-Int4量子化バージョンで、画像テキストからテキストへのマルチモーダルタスクに適しており、中国語と英語をサポートしています。

軽量マルチモーダルモデルで、動画コンテンツ分析のために設計されており、動画、画像、テキスト入力を処理してテキスト出力を生成できます。

SmolVLM2-256M-Videoは軽量マルチモーダルモデルで、動画コンテンツ分析のために設計されており、動画、画像、テキスト入力を処理しテキスト出力を生成できます。

SmolVLM2-2.2Bは、動画コンテンツ分析のために設計された軽量マルチモーダルモデルで、動画、画像、テキスト入力を処理しテキスト出力を生成できます。

Molmo-7B-D-0924の4ビット量子化バージョンで、NF4量子化戦略を通じてVRAM使用量を削減し、VRAMが制限された環境に適しています。

CogVideoXは清影に似たオープンソースの動画生成モデルで、高解像度動画生成をサポートしています

Llama 3.1 8B InstructのINT4量子化バージョンで、AutoAWQツールを使用して量子化されており、多言語対話シナリオに適しています。

Dorna-Llama3-8B-Instructの4ビット量子化版で、ペルシャ語に最適化され、Flash Attention 2技術を統合して推論効率を向上

RWKV-4はRNNとTransformerの利点を融合した大規模言語モデルで、高性能・高速推論・効率的な訓練が特徴

MOSSはプラグイン拡張をサポートするオープンソースの対話型言語モデルで、パラメータ数160億、中英対話とツール呼び出し機能を備えています。