# AWQ量子化

DeepSeek R1 0528のAWQ量子化モデルで、vLLMを使用して8基の80GB GPUでフルコンテキスト長で実行可能です。

DeepSeek-R1-0528-Qwen3-8BのAWQ量子化バージョンで、特定のシーンでの高効率推論に適しています。

Llama-3.3-70B-InstructのAWQ 4ビット量子化バージョンで、Meta AIによって開発され、複数の言語をサポートし、テキスト生成タスクに適しています。

Llama 3.3 70B Instruct AWQ INT4 は、Meta Llama 3.3 70B Instructモデルの4ビット量子化バージョンで、多言語対話ユースケースに適しており、テキスト生成タスクを最適化しています。

Dolphin 2.9 Llama3 70BのAWQ量子化バージョンで、vllmやその他の推論エンジンに適しています。

BioMistralはMistralアーキテクチャを基盤とし、PubMed Centralのオープンアクセステキストデータを用いて継続事前学習を行った医療分野向けオープンソースモデルスイートです。