Llama 3.3 70b Instruct Awq

🚀 Llama 3.3 70B Instructモデル (AWQバージョン)

このモデルはLlama 3.3 70B InstructモデルのAWQバージョンです。詳細な情報はこちらで確認できます: https://github.com/casper-hansen/AutoAWQ 。

🚀 クイックスタート

このモデルは、多言語対応の大規模言語モデルで、多言語の対話ユースケースに最適化されています。

✨ 主な機能

• 多言語対応: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポート。
• 高性能: 一般的な業界ベンチマークで多くのオープンソースおよびクローズドチャットモデルを上回る性能を発揮。

📚 ドキュメント

モデル情報

Meta Llama 3.3の多言語大規模言語モデル（LLM）は、70B（テキスト入力/テキスト出力）の事前学習および命令微調整された生成モデルです。Llama 3.3の命令微調整されたテキスト専用モデルは、多言語対話ユースケース向けに最適化されており、一般的な業界ベンチマークで多くの既存のオープンソースおよびクローズドチャットモデルを上回る性能を発揮します。

モデル開発者: Meta

モデルアーキテクチャ: Llama 3.3は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。微調整されたバージョンは、教師付き微調整（SFT）と人間のフィードバックによる強化学習（RLHF）を使用して、有用性と安全性に関する人間の嗜好に合わせて調整されています。

サポート言語: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語。

Llama 3.3モデル: トークン数は事前学習データのみを指します。すべてのモデルバージョンは、推論の拡張性を向上させるためにGrouped-Query Attention（GQA）を使用しています。

モデルリリース日:

• 70B Instruct: 2024年12月6日

ステータス: これはオフラインデータセットで学習された静的モデルです。将来的には、コミュニティからのフィードバックを元にモデルの安全性を改善した微調整モデルの新しいバージョンがリリースされます。

ベンチマーク

📄 ライセンス

カスタム商用ライセンスであるLlama 3.3 Community License Agreementは、こちらで確認できます: https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE

モデルに関する質問やコメントは、モデルのREADMEに記載されている方法で提供できます。Llama 3.3をアプリケーションで使用するための生成パラメータやレシピに関する詳細な技術情報は、こちらを参照してください。