deepcogito_cogito-v1-preview-llama-3B-GGUFオープンソース言語モデル - 多量化による異なるハードウェアへの対応

ホーム

Deepcogito Cogito V1 Preview Llama 3B GGUF

tensorblockによって開発

Llamaアーキテクチャに基づく3Bパラメータの言語モデルで、様々なハードウェア要件に対応する複数量化バージョンを提供

大規模言語モデル #3Bパラメータ #GGUF量子化 #マルチターン対話最適化

ダウンロード数 162

リリース時間 : 4/26/2025

モデル概要

これは3Bパラメータの事前学習済み言語モデルで、Llamaアーキテクチャに基づき、Q2_KからQ8_0までの多様な量子化バージョンを提供し、リソースが限られた環境でのデプロイに適しています。

モデル特徴

多様な量子化バージョン

Q2_KからQ8_0までの11種類の量子化バージョンを提供し、異なるハードウェア環境と性能要件に対応

ハードウェア互換性

GGUFフォーマットは多様なハードウェアプラットフォームと互換性があり、特にエッジデバイスへのデプロイに適しています

効率的な推論

最適化された量子化バージョンは合理的な品質を維持しながら、メモリ使用量を大幅に削減

モデル能力

テキスト生成

対話システム

コンテンツ作成

使用事例

エッジコンピューティング

モバイルアプリケーション

スマートフォンなどのモバイルデバイスに軽量言語モデルをデプロイ

Q4_K_Mバージョンは良好な生成品質を維持しながらリソース要件を大幅に低減

開発テスト

プロトタイプ開発

開発者に多様な量子化オプションを提供するプロトタイプテストプラットフォーム

異なる量子化レベルがモデル性能に与える影響を迅速に検証

🚀 deepcogito/cogito-v1-preview-llama-3B - GGUF

このリポジトリには、deepcogito/cogito-v1-preview-llama-3B のGGUF形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンを使用して量子化され、コミット b5165 以降の llama.cpp と互換性があります。

フィードバックとサポート: TensorBlockの Twitter/X、Telegramグループおよび Discordサーバー

✨ 主な機能

Awesome MCP Servers	TensorBlock Studio

Model Context Protocol (MCP) サーバーの包括的なコレクションです。	軽量でオープンかつ拡張可能なマルチLLMインタラクションスタジオです。
👉 構築物を見る 👉	👉 構築物を見る 👉

プロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

モデルファイル仕様

ファイル名	量子化タイプ	ファイルサイズ	説明
cogito-v1-preview-llama-3B-Q2_K.gguf	Q2_K	1.493 GB	最も小さいが、品質が大幅に低下する - ほとんどの用途では推奨されない
cogito-v1-preview-llama-3B-Q3_K_S.gguf	Q3_K_S	1.712 GB	非常に小さいが、品質が大きく低下する
cogito-v1-preview-llama-3B-Q3_K_M.gguf	Q3_K_M	1.856 GB	非常に小さいが、品質が大きく低下する
cogito-v1-preview-llama-3B-Q3_K_L.gguf	Q3_K_L	1.985 GB	小さいが、品質が大幅に低下する
cogito-v1-preview-llama-3B-Q4_0.gguf	Q4_0	2.139 GB	レガシー; 小さいが、品質が非常に大きく低下する - Q3_K_M の使用を推奨
cogito-v1-preview-llama-3B-Q4_K_S.gguf	Q4_K_S	2.150 GB	小さいが、品質が大きく低下する
cogito-v1-preview-llama-3B-Q4_K_M.gguf	Q4_K_M	2.241 GB	中程度で、品質がバランスしている - 推奨
cogito-v1-preview-llama-3B-Q5_0.gguf	Q5_0	2.540 GB	レガシー; 中程度で、品質がバランスしている - Q4_K_M の使用を推奨
cogito-v1-preview-llama-3B-Q5_K_S.gguf	Q5_K_S	2.540 GB	大きいが、品質の低下が少ない - 推奨
cogito-v1-preview-llama-3B-Q5_K_M.gguf	Q5_K_M	2.593 GB	大きいが、品質の低下が非常に少ない - 推奨
cogito-v1-preview-llama-3B-Q6_K.gguf	Q6_K	2.967 GB	非常に大きいが、品質の低下が極めて少ない
cogito-v1-preview-llama-3B-Q8_0.gguf	Q8_0	3.841 GB	非常に大きいが、品質の低下が極めて少ない - 推奨されない

📦 インストール

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/deepcogito_cogito-v1-preview-llama-3B-GGUF --include "cogito-v1-preview-llama-3B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例: *Q4_K*gguf）で複数のモデルファイルをダウンロードしたい場合は、以下を試してください。

huggingface-cli download tensorblock/deepcogito_cogito-v1-preview-llama-3B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'