M

Meta Llama 3 70B Instruct GGUF

LiteLLMsによって開発
Meta-Llama-3-70B-InstructのGGUF量子化バージョン、ローカル展開と推論に適しています
ダウンロード数 78
リリース時間 : 4/18/2024

モデル概要

これはMetaがリリースしたLlama 3シリーズ700億パラメータ命令調整モデルのGGUFフォーマットバージョンで、対話シナリオ向けに最適化されており、強力なテキスト生成能力を備えています

モデル特徴

高性能量子化
2ビットから6ビット量子化までの複数の量子化レベルを提供し、モデルサイズと推論品質のバランスを取ります
ローカル展開サポート
GGUFフォーマットはCPUやGPUアクセラレーションを含む様々なローカル環境での実行をサポートします
長文コンテキストサポート
最大8192トークンのコンテキスト長をサポートし、長文ドキュメントや複雑な対話の処理に適しています
セキュリティ最適化
レッドチームテストとセキュリティ緩和技術により最適化され、有害なコンテンツ生成のリスクを低減します

モデル能力

テキスト生成
対話システム
質問応答システム
コード生成
コンテンツ作成

使用事例

対話アシスタント
インテリジェントカスタマーサポート
複雑な問題を理解できるカスタマーサポート対話システムを構築
MMLUベンチマークテストで82.0点を達成
コンテンツ作成
記事執筆
様々な記事、ストーリー、マーケティングコピーの作成を支援
教育
数学問題解答
数学問題の解答と解法ステップの説明
GSM-8Kテストで93.0点を達成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase