Meta Llama 3.1 8B Instruct Abliterated GGUF
M
Meta Llama 3.1 8B Instruct Abliterated GGUF
ZeroWwによって開発
混合量子化技術を採用したテキスト生成モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k量子化を採用しています。標準のq8_0量子化形式よりも体積が小さく、純粋なf16バージョンと同等の性能を維持しています。
ダウンロード数 98
リリース時間 : 7/28/2024
モデル概要
このモデルは効率的なテキスト生成タスクに特化しており、先進的な量子化技術によりモデル体積を最適化しつつ、高性能を維持しています。
モデル特徴
効率的な量子化技術
f16とq5_k/q6_kの混合量子化戦略を採用し、モデル体積を大幅に削減しながら性能を損ないません。
性能維持
量子化後のモデル性能は純粋なf16バージョンと同等で、高品質なテキスト生成効果を保証します。
体積最適化
f16.q6とf16.q5の体積は標準のq8_0量子化形式よりも小さく、展開と使用が容易です。
モデル能力
テキスト生成
使用事例
コンテンツ作成
自動テキスト生成
記事、ストーリー、その他の創造的なテキストコンテンツを生成するために使用されます。
流暢で一貫性のあるテキストコンテンツを生成します。
対話システム
チャットボット
効率的な対話システムを構築し、自然言語インタラクション能力を提供します。
流暢で自然な対話体験を実現します。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98