# 量子化効率的推論

NatureLM-8x7B-Instの量子化バージョンで、知識を誰もが利用できるようにすることを目的としています。

Medra4bは医療分野に特化した量子化言語モデルで、英語とルーマニア語をサポートし、テキスト生成と要約タスクに焦点を当てています。

T5アーキテクチャに基づく静的量子化モデル、学術論文の要約生成タスクに特化

Medraは医療分野のデータセットで微調整された量子化言語モデルで、医療Q&Aや要約生成タスクに特化しています。

このモデルはIBM Granite-3.3-8B命令微調整モデルから変換されたGGUF形式のモデルで、テキスト生成タスクに適しています。

これはcanopylabs/3b-fr-ft-research_releaseモデルを変換したGGUF形式のフランス語言語モデルで、テキスト生成タスクに適しています。

Gemma 3はGoogleが提供する軽量級の最先端オープンモデルシリーズで、Geminiと同じ技術に基づいて構築されており、マルチモーダル入力（テキスト/画像）とテキスト出力をサポートします。27Bバージョンは量子化認識トレーニングによりメモリ要件を大幅に削減しています。

Gemma 3はGoogleがGemini技術に基づいて構築した軽量オープンモデルシリーズで、マルチモーダル入力とテキスト出力をサポートします。

これはgoogle/gemma-3-12b-itから変換されたGGUF形式モデルで、llama.cppフレームワークに適しています。

これはQwen2アーキテクチャに基づくマルチモーダルモデルで、テキスト生成、画像からテキストへの変換、視覚的質問応答タスクをサポートし、さまざまなニーズに対応するために複数の量子化バージョンを提供します。

Qwen2-VL-7B-Instructは7Bパラメータ規模のマルチモーダルモデルで、画像とテキストのインタラクティブタスクをサポートします。

Qwen2-VL-7B-Instructは、画像とテキストの統合理解と生成タスクをサポートするマルチモーダル視覚言語モデルです。

このモデルはOpen-Orca/Mistral-7B-OpenOrcaから変換されたGGUF形式のモデルで、テキスト生成タスクに適しています。