モデル選定

INT4量子化推論

# INT4量子化推論

Deepseek R1 0528 Quantized.w4a16

量子化処理を施したDeepSeek-R1-0528モデルで、重みをINT4データ型に量子化することで、GPUメモリとディスク容量の要件を大幅に削減します。

大規模言語モデル

Phi 4 Quantized.w4a16

phi-4のINT4量子化バージョン、重み量子化により75%のストレージとメモリ要件を削減し、高性能を維持

大規模言語モデル複数言語対応

Qwen2.5 VL 3B Instruct Quantized.w4a16

Qwen2.5-VL-3B-Instructの量子化バージョンで、重みをINT4、活性化をFP16に量子化しており、視覚-テキストタスクの効率的な推論に適しています。

テキスト生成画像

Transformers 英語

Qwen2.5 VL 7B Instruct Quantized.w4a16

Qwen2.5-VL-7B-Instructの量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、重みはINT4、活性化はFP16に量子化されています。

テキスト生成画像

Transformers 英語

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

大規模言語モデル

Transformers 複数言語対応

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

対話システム

Transformers 英語

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

AIbase

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご

© 2025AIbase