M

Meta Llama 3.1 70B Instruct FP8

RedHatAIによって開発
Meta-Llama-3.1-70B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。
ダウンロード数 71.73k
リリース時間 : 7/23/2024

モデル概要

このモデルはMeta-Llama-3.1-70B-InstructのFP8量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスクサイズとGPUメモリ要件を大幅に削減しました。多言語テキスト生成タスクに適しています。

モデル特徴

FP8量子化
重みと活性化をFP8データ型に量子化し、ディスクサイズとGPUメモリ要件を約50%削減しました。
多言語サポート
英語、ドイツ語、フランス語など、複数言語のテキスト生成タスクをサポートします。
高性能
OpenLLMベンチマークテストで平均スコア84.29を達成し、非量子化モデルの性能に近い結果を示しました。

モデル能力

多言語テキスト生成
チャットアシスタント機能
商業および研究用途

使用事例

チャットアシスタント
多言語チャットボット
複数言語をサポートするチャットボットの構築に使用でき、アシスタントのようなインタラクティブな体験を提供します。
商業アプリケーション
カスタマーサポート
多言語の顧客問い合わせを処理する自動化カスタマーサポートシステムに使用できます。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase