# 高スループット

DeepSeek R1 0528のAWQ量子化モデルで、vLLMを使用して8基の80GB GPUでフルコンテキスト長で実行可能です。

DeepSeek-R1-Distill-Qwen-32Bの量子化バージョン。INT8の重み量子化と活性化量子化により、メモリ要件を削減し、計算効率を向上させます。

DeepSeek R1モデルのAWQ量子化バージョン、float16オーバーフロー問題を最適化し、効率的な推論デプロイをサポート

FastApply-1.5B-v1.0は1.5Bパラメータのモデルで、リアルタイムコードアプリケーション向けに設計されており、完全なファイル編集を生成でき、SoftGen AIをサポートします。

MambaとTransformerの利点を組み合わせた初のコンピュータビジョンハイブリッドモデルで、Mambaの式を再設計して視覚特徴モデリング能力を強化し、Mambaアーキテクチャにセルフアテンションモジュールを組み込むことで長距離空間依存関係のモデリングを向上させています。