AIbase
JA
ホーム
QQQ Llama 3 8b G128
Q

QQQ Llama 3 8b G128

HandH1998によって開発
これはLlama-3-8bモデルを基にINT4量子化を行ったバージョンで、QQQ量子化技術を採用し、グループサイズは128で、ハードウェアに対して最適化されています。
大規模言語モデル
Transformers
オープンソースライセンス:MIT#W4A8量子化#ハードウェア最適化#低リソース推論
ダウンロード数 1,708
リリース時間 : 7/10/2024

モデル概要

INT4 Llama-3-8bは量子化された言語モデルで、主に効率的なテキスト生成と自然言語処理タスクに使用されます。

モデル特徴

INT4量子化
INT4量子化技術を採用し、モデルサイズと計算リソースの要件を大幅に削減します。
ハードウェア最適化
QQQ量子化方案はハードウェアに対して最適化されており、推論効率を向上させます。
グループ量子化
グループサイズが128のグループ量子化技術を使用し、精度と効率をバランスさせます。

モデル能力

テキスト生成
自然言語理解
多輪対話

使用事例

効率的な推論
エッジデバイスへのデプロイ
リソースが制限されたエッジデバイスに効率的なテキスト生成モデルをデプロイします。
メモリ使用量と計算要件を削減し、推論速度を向上させます。
研究アプリケーション
量子化技術の研究
低ビット量子化が大型言語モデルの性能に与える影響を研究するために使用されます。
INT4量子化の実際のケースとベンチマークを提供します。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase