Q

Qwen2.5 7B Instruct 1M GGUF

Mungertによって開発
Qwen2.5-7B-Instruct-1MはQwen2.5-7Bを基にした命令微調整バージョンで、IQ-DynamicGate超低ビット量子化技術(1-2ビット)を採用し、メモリ制約環境下での効率的な推論に適しています。
ダウンロード数 1,342
リリース時間 : 3/18/2025

モデル概要

このモデルは7Bパラメータ規模の大規模言語モデルで、命令微調整により最適化され、テキスト生成タスクをサポートし、特にチャットシナリオに適しています。最新のIQ-DynamicGate量子化技術を採用し、超低ビット量子化下でも高い精度を維持できます。

モデル特徴

IQ-DynamicGate超低ビット量子化
1-2ビット精度適応量子化技術を採用し、極限のメモリ効率を維持しながら精度を保持します。
階層型量子化戦略
上位25%と下位25%の層にIQ4_XSを使用、中間50%の層にIQ2_XXS/IQ3_Sを使用し、重要なコンポーネントにはQ5_Kで保護します。
効率的な推論
CPUとエッジデバイス向けに最適化され、メモリ制約環境下でも合理的な推論速度を維持します。

モデル能力

テキスト生成
チャット対話
命令追従

使用事例

メモリ制約環境での展開
エッジデバイス用チャットアシスタント
低メモリのエッジデバイス上でチャットボットアプリケーションを展開
標準量子化手法と比較して、困惑度が最大43.9%低減
研究応用
超低ビット量子化研究
1-2ビット量子化がモデル性能に与える影響を研究
研究比較用に複数量化バリエーションを提供
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase