AIbase
JA
ホーム
Llama 3.2 3B Instruct Abliterated GGUF
L

Llama 3.2 3B Instruct Abliterated GGUF

ZeroWwによって開発
最適化された量子化モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用します。これにより、モデルのサイズが小さくなり、純粋なf16と同等の性能を維持します。
大規模言語モデル 英語オープンソースライセンス:MIT#量子化テキスト生成#f16/q5_k混合量子化#低ストレージ高性能
ダウンロード数 20
リリース時間 : 10/8/2024

モデル概要

このモデルは量子化バージョンで、テンソル形式を最適化することで、モデルのサイズを小さくしながら性能を維持します。効率的な推論が必要なシナリオに適しています。

モデル特徴

効率的な量子化
出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用することで、モデルのサイズを大幅に削減します。
性能維持
量子化後のモデル性能は純粋なf16形式と同等で、効率的な推論に適しています。

モデル能力

テキスト生成

使用事例

効率的な推論
軽量テキスト生成
リソースが制限されたデバイスでのテキスト生成タスクに適しています。
モデルのサイズが小さくなり、性能は純粋なf16と同等です。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase