SummLlama3.1-8B-GGUFオープンソース要約生成モデル - 複数量化バージョンで情報の迅速な抽出をサポート

ホーム

Summllama3.1 8B GGUF

tensorblockによって開発

Llama3アーキテクチャを最適化した8Bパラメータの要約生成モデルで、複数の量子化バージョンを提供

大規模言語モデル #テキスト要約の最適化 #Llama3アーキテクチャ #マルチシーン適応

ダウンロード数 52

リリース時間 : 1/2/2025

モデル概要

これはテキスト要約タスク専用の8Bパラメータ言語モデルで、Llama3アーキテクチャを最適化し、Q2からQ8までの様々な量子化バージョンを提供して異なるハードウェア要件に対応

モデル特徴

複数量子化バージョン

Q2_KからQ8_0まで12種類の量子化バージョンを提供し、異なるハードウェアと性能要件に対応

効率的な要約能力

テキスト要約タスクに特化して最適化され、正確で簡潔な要約を生成可能

ハードウェア互換性

GGUFフォーマットは様々なコンシューマーハードウェアと互換性があり、ローカル展開が容易

モデル能力

テキスト要約生成

長文圧縮

キー情報抽出

使用事例

コンテンツ処理

ニュース要約

ニュース記事の簡潔な要約を自動生成

重要な事実と主要な観点を保持した簡潔版

研究報告書の濃縮

長編学術論文や研究報告書を実行要約に圧縮

核心的な発見と結論を強調した短縮版

ビジネスアプリケーション

会議議録の要約

会議討論の要点を自動的にまとめた要約を生成

決定事項とアクション項目を含む簡潔な記録

🚀 DISLab/SummLlama3.1-8B - GGUF

このリポジトリには、DISLab/SummLlama3.1-8B のGGUF形式のモデルファイルが含まれています。これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミットb4242 以降のllama.cppと互換性があります。

フィードバックとサポート: TensorBlockの Twitter/X、Telegramグループおよび Discordサーバー

✨ 主な機能

当社のプロジェクト

プロジェクト名	説明
Awesome MCP Servers	Model Context Protocol (MCP) サーバーの包括的なコレクションです。
TensorBlock Studio	軽量で、オープンかつ拡張可能なマルチLLMインタラクションスタジオです。

Awesome MCP Servers	TensorBlock Studio

Model Context Protocol (MCP) サーバーの包括的なコレクション。	軽量で、オープンかつ拡張可能なマルチLLMインタラクションスタジオ。
👀 成果を見る 👀	👀 成果を見る 👀

📚 ドキュメント

プロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

モデルファイル仕様

ファイル名	量子化タイプ	ファイルサイズ	説明
SummLlama3.1-8B-Q2_K.gguf	Q2_K	3.179 GB	最も小さいが、品質が大幅に損失するため、ほとんどの用途では推奨されません。
SummLlama3.1-8B-Q3_K_S.gguf	Q3_K_S	3.665 GB	非常に小さいが、品質の損失が大きい。
SummLlama3.1-8B-Q3_K_M.gguf	Q3_K_M	4.019 GB	非常に小さいが、品質の損失が大きい。
SummLlama3.1-8B-Q3_K_L.gguf	Q3_K_L	4.322 GB	小さいが、品質の損失が大きい。
SummLlama3.1-8B-Q4_0.gguf	Q4_0	4.661 GB	レガシーな形式で、小さいが品質の損失が非常に大きい。Q3_K_Mの使用を推奨。
SummLlama3.1-8B-Q4_K_S.gguf	Q4_K_S	4.693 GB	小さいが、品質の損失が大きい。
SummLlama3.1-8B-Q4_K_M.gguf	Q4_K_M	4.921 GB	中程度で、品質がバランスしている。推奨。
SummLlama3.1-8B-Q5_0.gguf	Q5_0	5.599 GB	レガシーな形式で、中程度で品質がバランスしている。Q4_K_Mの使用を推奨。
SummLlama3.1-8B-Q5_K_S.gguf	Q5_K_S	5.599 GB	大きいが、品質の損失が少ない。推奨。
SummLlama3.1-8B-Q5_K_M.gguf	Q5_K_M	5.733 GB	大きいが、品質の損失が非常に少ない。推奨。
SummLlama3.1-8B-Q6_K.gguf	Q6_K	6.596 GB	非常に大きいが、品質の損失が極めて少ない。
SummLlama3.1-8B-Q8_0.gguf	Q8_0	8.541 GB	非常に大きいが、品質の損失が極めて少ない。推奨されません。

📦 インストール

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/SummLlama3.1-8B-GGUF --include "SummLlama3.1-8B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターンを指定して複数のモデルファイルをダウンロードする場合（例：*Q4_K*gguf）は、以下のコマンドを試してみてください。

huggingface-cli download tensorblock/SummLlama3.1-8B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

uer

2,694

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご