モデル選定

量子化推論

# 量子化推論

Llama 3.2 1B Instruct GGUF

Llama-3.2-1B-Instruct は Llama アーキテクチャに基づく 1B パラメータの命令微調整モデルで、さまざまなハードウェアニーズに対応するために複数の量子化フォーマットを提供します。

大規模言語モデル複数言語対応

Mxbai Rerank Large V2 GGUF

mxbai-rerank-large-v2は多言語テキストリランキングモデルで、複数の言語と量子化フォーマットをサポートし、様々なハードウェア環境に適しています。

テキスト埋め込み複数言語対応

Gemma 3 4b Novision

Gemma-3-4b純テキストモデルは、google/gemma-3-4b-itから変換された純テキストバージョンで、ビジュアルコンポーネントを削除し、テキスト生成タスクに特化しています。

大規模言語モデル

Gemmax2 28 2B 4bit

GemmaX2-28-2B GGUF量子化モデルはXiaomiが開発したGemmaX2-28-2B-v0.1翻訳大規模言語モデルの量子化バージョンコレクションで、28言語の機械翻訳タスクをサポートします。

Transformers 複数言語対応

WhisperKit ProはWhisperKitの商用版で、自動音声認識（ASR）タスクに特化し、量子化技術をサポートし、効率的な音声処理に適しています。

Chinese Llama 2 7b Gguf

llama.cpp用に適応された中国語LLaMA-2-7BモデルのGGUF-v3バージョンファイル

大規模言語モデル

Transformers 複数言語対応

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

大規模言語モデル

Transformers 複数言語対応

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

対話システム

Transformers 英語

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

AIbase

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご

© 2025AIbase