7

72B Qwen2.5 Kunou V1 GGUF

bartowskiによって開発
Qwen2.5-72B-Instructを基にした量子化バージョン。llama.cppを使用して多様な量子化処理を行い、ローカル推論に適応
ダウンロード数 319
リリース時間 : 12/11/2024

モデル概要

これは72Bパラメータ規模の大規模言語モデルの量子化バージョンで、テキスト生成タスクをサポート。Qwen2.5アーキテクチャを採用し、多様なハードウェア環境に適応

モデル特徴

多様な量子化オプション
Q2からQ8まで20種類以上の量子化バージョンを提供し、異なるハードウェア設定と性能ニーズに対応
imatrix量子化
llama.cppのimatrixオプションを使用して量子化を行い、量子化品質を向上
ARM最適化
ARMデバイス向けに特別に最適化された量子化バージョンを提供し、オンライン重み再パッキングをサポート
高品質推奨
推奨使用する量子化バージョンを明確に表示し、ユーザーの選択を支援

モデル能力

テキスト生成
対話システム
指示追従

使用事例

ローカルAIアプリケーション
ローカルチャットアシスタント
個人PCで高品質な対話AIを実行
LM Studioなどのローカル環境でスムーズに動作可能
コンテンツ作成
様々なタイプのテキストコンテンツ生成に使用
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase