M

Meta Llama 3 70B Instruct GGUF

MaziyarPanahiによって開発
Meta公式のLlama 3 70B命令微調整モデルのGGUF量子化バージョンで、2-16bitの複数量子化レベルをサポートし、ローカル展開の対話シナリオに適しています
ダウンロード数 18.89k
リリース時間 : 4/18/2024

モデル概要

Llama 3 70Bパラメータの命令微調整バージョンで、監視微調整とRLHFアライメントを経て、対話タスクに最適化されています

モデル特徴

マルチレベル量子化サポート
2bitから16bitまでの9種類の量子化レベルを提供し、異なるハードウェアリソース要件に対応します
対話最適化
監視微調整(SFT)と人間のフィードバック強化学習(RLHF)による人間の嗜好へのアライメントを実現
長文コンテキスト処理
8kトークンのコンテキストウィンドウをサポートし、長文書理解タスクに適しています
GQA加速
グループ化クエリ注意メカニズムを採用し、推論効率を向上させます

モデル能力

テキスト生成
コード生成
マルチターン対話
知識質問応答
命令追従

使用事例

ビジネスアプリケーション
インテリジェントカスタマーサービス
企業のカスタマーサービスシステムに展開される自動応答ソリューション
業界ベンチマークテストでほとんどのオープンソースチャットモデルを上回りました
研究開発
AIアシスタントプロトタイプ
基本モデルとしてカスタマイズAIアシスタントを開発
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase