Llama 3.1 405B

🚀 Meta Llama 3.1 多言語大規模言語モデル

Meta Llama 3.1は一連の多言語大規模言語モデルで、8B、70B、405Bの3種類の異なる規模の事前学習と命令微調整生成モデルを提供しています。これらのモデルは多言語対話シーンで優れた性能を発揮し、業界共通のベンチマークテストで多くのオープンソースおよびクローズドソースのチャットモデルを上回っています。

🚀 クイックスタート

Llama 3.1モデルの使用方法を知りたい場合は、モデルのREADMEにあるフィードバックやコメントの説明を参照してください。生成パラメータやアプリケーションでLlama 3.1を使用するための技術情報をさらに取得するには、こちらを訪問してください。

✨ 主な機能

• 多言語対応：英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語など、多くの言語をサポートしています。
• 高い性能：多言語対話シーンで優れた性能を発揮し、業界共通のベンチマークテストで多くのオープンソースおよびクローズドソースのチャットモデルを上回っています。
• 柔軟なアプリケーション：商業および研究分野に適しており、対話、テキスト生成などのさまざまな自然言語生成タスクに使用できます。

📚 ドキュメント

モデル情報

• モデル開発者：Meta
• モデルアーキテクチャ：Llama 3.1は自己回帰型言語モデルで、最適化されたTransformerアーキテクチャを採用しています。微調整バージョンでは、監督微調整（SFT）と人間のフィードバックに基づく強化学習（RLHF）を使用して、人間の有用性と安全性に対する嗜好に合わせています。

想定用途

• 想定されるユースケース：Llama 3.1は、多言語の商業および研究用途に適しています。命令微調整された純粋なテキストモデルは、アシスタントのようなチャットシーンに適しており、事前学習モデルはさまざまな自然言語生成タスクに使用できます。Llama 3.1モデルシリーズは、そのモデル出力を利用して他のモデルを改善することもサポートしており、合成データ生成や蒸留などが含まれます。
• 想定外の使用：適用される法律および規制（貿易コンプライアンス法律を含む）に違反する方法での使用は禁止されています。《許容使用ポリシー》および《Llama 3.1コミュニティライセンス契約》で禁止されている他の方法での使用も禁止されています。本モデルカードで明確にサポートされている言語以外の言語での使用は禁止されています。

ハードウェアとソフトウェア

• 訓練要因：カスタム訓練ライブラリ、Meta独自のGPUクラスター、および本番環境インフラストラクチャを使用して事前学習を行っています。微調整、アノテーション、および評価も本番環境インフラストラクチャ上で行われています。
• 訓練エネルギー消費と温室効果ガス排出：訓練にはH100 - 80GB（TDP 700W）タイプのハードウェアを使用し、累計で3930万GPU時間の計算を行っています。訓練の推定総位置ベースの温室効果ガス排出量は11390トンCO2eqです。2020年以降、Metaは世界的な事業活動で温室効果ガスの排出をゼロに維持し、100％の電力使用を再生可能エネルギーで賄っているため、訓練の総市場ベースの温室効果ガス排出量は0トンCO2eqです。

訓練データ

• 概要：Llama 3.1は、公開されているソースからの約15兆個のトークンのデータで事前学習されています。微調整データには、公開されている命令データセットと、2500万を超える合成生成されたサンプルが含まれています。
• データの新鮮さ：事前学習データの締め切り日は2023年12月です。

ベンチマークテストのスコア

ドキュメントには、Llama 3.1モデルの標準自動ベンチマークテストの結果が提供されており、基礎事前学習モデルと命令微調整モデルのテスト結果、および多言語ベンチマークテストの結果が含まれています。

責任と安全

• 責任あるリリース戦略：信頼と安全上のリスクを管理するために、三管齊下の戦略を採用しています。これには、開発者がターゲットとするユーザー層とLlamaがサポートするユースケースに対して、有用で安全かつ柔軟な体験を展開できるようにすること、開発者をLlamaの機能を悪用して潜在的な危害を引き起こそうとする悪意のあるユーザーから保護すること、およびモデルの乱用からコミュニティを保護することが含まれます。
• 責任ある展開：Llamaは基礎技術であり、全体的なAIシステムの一部として展開されるべきであり、必要に応じて追加の安全対策を追加する必要があります。開発者は、エージェントシステムを構築する際にシステム保護措置を展開する必要があります。
• 評価：Llamaモデルに対して、一般的なユースケースと特定の機能の評価を行っており、安全リスク評価と能力評価が含まれています。レッドチームテストによってリスクを発見し、ベンチマークテストと安全微調整データセットを改善しています。
• 重要およびその他のリスク：化学、生物、放射線、核および爆発物質（CBRNE）の有用性、子供の安全、およびサイバー攻撃の可能性などの重要なリスク分野の軽減に重点を置いています。

倫理的な考慮事項と制限

Llama 3.1の核心的な価値観は、オープン性、包括性、および有用性ですが、新しい技術であるため、その使用にはリスクが伴います。モデルは不正確、偏った、またはその他の不快な応答を生成する可能性があるため、開発者はアプリケーションを展開する前に安全テストと微調整を行う必要があります。

🔧 技術詳細

モデルアーキテクチャ

Llama 3.1は自己回帰型言語モデルで、最適化されたTransformerアーキテクチャを採用しています。微調整バージョンでは、監督微調整（SFT）と人間のフィードバックに基づく強化学習（RLHF）を使用して、人間の有用性と安全性に対する嗜好に合わせています。

訓練データ

• 事前学習データ：公開されているソースからの約15兆個のトークンのデータ。
• 微調整データ：公開されている命令データセットと、2500万を超える合成生成されたサンプルを含みます。

訓練プロセス

• 事前学習：カスタム訓練ライブラリ、Meta独自のGPUクラスター、および本番環境インフラストラクチャを使用して事前学習を行っています。
• 微調整：本番環境インフラストラクチャ上で微調整、アノテーション、および評価を行っています。

安全微調整

• データ収集：潜在的な安全リスクを軽減するために、サプライヤーが提供する人間が生成したデータと合成データを組み合わせた多面的なデータ収集方法を採用しています。
• モデルの拒否と語調：良性なプロンプトに対するモデルの拒否と拒否の語調に重点を置き、安全データ戦略に境界と敵対的なプロンプトを含め、安全データの応答を語調ガイドラインに従うように修正しています。

📄 ライセンス

Llama 3.1はカスタム商用ライセンス、つまりLlama 3.1コミュニティライセンスを採用しており、こちらから入手できます。

⚠️ 重要な注意事項

Llama 3.1モデルの使用は、適用される法律および規制、ならびに《許容使用ポリシー》に従う必要があります。法律またはポリシーに違反する方法での使用は禁止されています。

💡 使用上のヒント

Llama 3.1モデルを使用する前に、《Llama 3.1コミュニティライセンス契約》と《許容使用ポリシー》をよく読み、使用が関連する規定に準拠していることを確認してください。また、開発者はアプリケーションを展開する前に十分な安全テストと微調整を行い、モデルの安全性と信頼性を確保することをお勧めします。