M

Mistral 7B Instruct V0.1 GGUF

Mungertによって開発
Mistral-7B-Instruct-v0.1はMistral-7B-v0.1を基にしたファインチューニングモデルで、テキスト生成タスクをサポートし、IQ-DynamicGate超低ビット量子化技術を採用しており、メモリ制約のあるデプロイ環境に適しています。
ダウンロード数 632
リリース時間 : 3/16/2025

モデル概要

このモデルは7Bパラメータの命令ファインチューニングモデルで、テキスト生成タスクに最適化されており、さまざまなハードウェア要件に対応するために複数の量子化フォーマットをサポートしています。

モデル特徴

IQ-DynamicGate超低ビット量子化
精度適応量子化技術を採用し、1-2ビット量子化下でモデル精度を大幅に向上させつつ、極限のメモリ効率を維持します。
動的精度割り当て
層の重要性に基づいて量子化精度を動的に割り当て、重要なコンポーネント(埋め込み層や出力層など)にはより高い精度の量子化を使用します。
多フォーマットサポート
BF16、F16およびさまざまな量子化フォーマット(Q4_K、Q6_K、Q8_0など)を提供し、異なるハードウェア要件に対応します。

モデル能力

テキスト生成
命令追従
低メモリ推論

使用事例

メモリ制約デプロイ
エッジデバイス推論
メモリが限られたエッジデバイスでテキスト生成タスクを実行します。
超低ビット量子化により効率的な推論を実現。
CPU推論
GPUサポートのないCPUでモデルを実行します。
量子化モデルによりメモリ使用量を大幅に削減。
研究
超低ビット量子化研究
1-2ビット量子化がモデル性能に与える影響を調査します。
IQ-DynamicGate技術により低ビット量子化精度が大幅に向上。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase