Llama-3.1-Nemotron-Nano-8B-v1-GGUFオープンソース大規模言語モデル - 8Bパラメータの複数量子化バージョンが無料で利用可能

ホーム

Llama 3.1 Nemotron Nano 8B V1 GGUF

tensorblockによって開発

NVIDIAがリリースした8Bパラメータ規模のオープンソース大規模言語モデル、Llama-3アーキテクチャに基づき、複数の量子化バージョンを提供

大規模言語モデル英語オープンソースライセンス:その他 #軽量8Bモデル #マルチターン対話最適化 #GGUF効率的推論

ダウンロード数 1,048

リリース時間 : 3/18/2025

モデル概要

これはLlama-3アーキテクチャに基づく8Bパラメータ規模の大規模言語モデルで、NVIDIAによってリリースされました。モデルはさまざまな量子化バージョンを提供し、異なるハードウェア環境に適しています。

モデル特徴

複数量子化バージョン

Q2_KからQ8_0までの12種類の量子化バージョンを提供し、さまざまなハードウェア環境と性能要件に対応

効率的な推論

最適化されたGGUFフォーマットで、リソースが限られたデバイスでの実行に適しています

Llama-3アーキテクチャ

最新のLlama-3アーキテクチャに基づき、優れたテキスト生成能力を提供

モデル能力

テキスト生成

対話システム

コンテンツ作成

使用事例

対話システム

インテリジェントアシスタント

英語のインテリジェント対話アシスタントの構築に使用可能

コンテンツ生成

記事作成

英語記事の執筆を支援するために使用可能

🚀 nvidia/Llama-3.1-Nemotron-Nano-8B-v1 - GGUF

このリポジトリには、nvidia/Llama-3.1-Nemotron-Nano-8B-v1 のGGUF形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンを使用して量子化され、コミット b4882 以降の llama.cpp と互換性があります。

フィードバックとサポート: TensorBlockの Twitter/X、Telegramグループおよび Discordサーバー

✨ 主な機能

当プロジェクトに関連する他のプロジェクト

プロジェクト名	説明	リンク
Awesome MCP Servers	Model Context Protocol (MCP) サーバーの包括的なコレクション。	👀 詳細を見る 👀
TensorBlock Studio	軽量で、オープンかつ拡張可能なマルチLLMインタラクションスタジオ。	👀 詳細を見る 👀

モデルの基本情報

属性	詳情
ベースモデル	nvidia/Llama-3.1-Nemotron-Nano-8B-v1
言語	en
ライブラリ名	transformers
ライセンス	other
ライセンス名	nvidia-open-model-license
ライセンスリンク	nvidia-open-model-license
パイプラインタグ	text-generation
タグ	nvidia、llama-3、pytorch、TensorBlock、GGUF

📚 ドキュメント

プロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

モデルファイル仕様

ファイル名	量子化タイプ	ファイルサイズ	説明
Llama-3.1-Nemotron-Nano-8B-v1-Q2_K.gguf	Q2_K	3.179 GB	最も小さいが、品質の損失が大きい。ほとんどの用途では推奨されない。
Llama-3.1-Nemotron-Nano-8B-v1-Q3_K_S.gguf	Q3_K_S	3.665 GB	非常に小さいが、品質の損失が大きい。
Llama-3.1-Nemotron-Nano-8B-v1-Q3_K_M.gguf	Q3_K_M	4.019 GB	非常に小さいが、品質の損失が大きい。
Llama-3.1-Nemotron-Nano-8B-v1-Q3_K_L.gguf	Q3_K_L	4.322 GB	小さいが、品質の損失が大きい。
Llama-3.1-Nemotron-Nano-8B-v1-Q4_0.gguf	Q4_0	4.661 GB	レガシー。小さいが、品質の損失が非常に大きい。Q3_K_M の使用を推奨。
Llama-3.1-Nemotron-Nano-8B-v1-Q4_K_S.gguf	Q4_K_S	4.693 GB	小さいが、品質の損失が大きい。
Llama-3.1-Nemotron-Nano-8B-v1-Q4_K_M.gguf	Q4_K_M	4.921 GB	中程度で、バランスの良い品質。推奨。
Llama-3.1-Nemotron-Nano-8B-v1-Q5_0.gguf	Q5_0	5.599 GB	レガシー。中程度で、バランスの良い品質。Q4_K_M の使用を推奨。
Llama-3.1-Nemotron-Nano-8B-v1-Q5_K_S.gguf	Q5_K_S	5.599 GB	大きいが、品質の損失が少ない。推奨。
Llama-3.1-Nemotron-Nano-8B-v1-Q5_K_M.gguf	Q5_K_M	5.733 GB	大きいが、品質の損失が非常に少ない。推奨。
Llama-3.1-Nemotron-Nano-8B-v1-Q6_K.gguf	Q6_K	6.596 GB	非常に大きいが、品質の損失が極めて少ない。
Llama-3.1-Nemotron-Nano-8B-v1-Q8_0.gguf	Q8_0	8.541 GB	非常に大きいが、品質の損失が極めて少ない。推奨されない。

📦 インストール

コマンドラインによるダウンロード方法

1. Huggingface Clientのインストール

pip install -U "huggingface_hub[cli]"

2. 個々のモデルファイルをローカルディレクトリにダウンロード

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --include "Llama-3.1-Nemotron-Nano-8B-v1-Q2_K.gguf" --local-dir MY_LOCAL_DIR

3. パターンを指定して複数のモデルファイルをダウンロード

例えば、*Q4_K*gguf のようなパターンで複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'