Llama 3 Ko 8B Instruct

🚀 Llama-3-Ko-Instruct

このプロジェクトは、テキスト生成のためのモデルであり、Llama-3-Ko-Instructを使用することで、自然なテキスト生成を実現します。Metaが開発したLlama 3ファミリーの大規模言語モデルをベースに、韓国語に特化した学習を行っています。

🚀 クイックスタート

利用方法に関する具体的な情報は、後ほど提供予定です。

✨ 主な機能

Metaは、大規模言語モデル（LLM）のLlama 3ファミリーを開発・公開しました。これは、8Bと70Bのサイズの事前学習済みおよび命令調整済みの生成テキストモデルのコレクションです。Llama 3の命令調整済みモデルは、対話ユースケース向けに最適化されており、一般的な業界ベンチマークで多くのオープンソースチャットモデルを上回っています。

📚 ドキュメント

方法論

詳細な方法論については、こちらを参照してください。 https://huggingface.co/blog/maywell/llm-feature-transfer

使用したモデル

• meta-llama/Meta-Llama-3-8B-Instruct
• meta-llama/Meta-Llama-3-8B
• beomi/Llama-3-Open-Ko-8B

ベンチマーク

Kobest

オリジナルのモデルカード（Beomiによる）

更新 @ 2024.04.24: Llama-3-Open-Ko-8BモデルとLlama-3-Open-Ko-8B-Instruct-previewをリリース

モデルの詳細

Llama-3-Open-Ko-8B Llama-3-Open-Ko-8Bモデルは、Llama-3-8Bをベースにした継続的事前学習言語モデルです。このモデルは、60GB以上の重複排除されたテキストを含む公開リソースを完全に使用して学習されています。新しいLlama-3トークナイザを使用して、177億以上のトークンで事前学習が行われており、韓国語トークナイザ（Llama-2-Koトークナイザ）よりもわずかに多いトークン数です。学習は、GoogleのTRCプログラムからの暖かい支援を受けて、TPUv5e-256で行われました。

Llama-3-Open-Ko-8B-Instruct-previewに関する注意事項 Chat Vector paperのアイデアを適用して、Llama-3-Open-Ko-8B-Instruct-previewという命令モデルをリリースしました。韓国語命令セットでファインチューニングされていないため（実際には preview です）、新しいチャット/命令モデルを作成するための素晴らしい出発点になるでしょう。

Meta Llama-3 Metaは、大規模言語モデル（LLM）のMeta Llama 3ファミリーを開発・公開しました。これは、8Bと70Bのサイズの事前学習済みおよび命令調整済みの生成テキストモデルのコレクションです。Llama 3の命令調整済みモデルは、対話ユースケース向けに最適化されており、一般的な業界ベンチマークで多くのオープンソースチャットモデルを上回っています。さらに、これらのモデルを開発する際には、有用性と安全性の最適化に細心の注意を払いました。

モデル開発者 Junbum Lee (Beomi) バリエーション Llama-3-Open-Koは、8Bという1つのサイズで提供されています。 入力 モデルはテキストのみを入力とします。 出力 モデルはテキストとコードのみを生成します。 モデルアーキテクチャ Llama 3は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。

*データセットのリストはこちらで確認できます: https://huggingface.co/beomi/OPEN-SOLAR-KO-10.7B/tree/main/corpus

モデルのリリース日 2024.04.24 ステータス これはオフラインデータセットで学習された静的モデルです。 ライセンス Llama3ライセンス: https://llama.meta.com/llama3/license

想定される使用方法

想定されるユースケース Llama 3は、英語での商用および研究用途を想定しています。命令調整済みモデルは、アシスタントのようなチャットに使用されることを想定しており、事前学習済みモデルは、さまざまな自然言語生成タスクに適応させることができます。 想定外の使用 適用される法律や規制（貿易コンプライアンス法律を含む）に違反する方法での使用。許容使用ポリシーおよびLlama 3コミュニティライセンスによって禁止されている他の方法での使用。英語以外の言語での使用**

**注: 開発者は、Llama 3モデルを英語以外の言語にファインチューニングすることができますが、Llama 3コミュニティライセンスと許容使用ポリシーに準拠する必要があります。

責任と安全性

私たちは、AIに対するオープンなアプローチが、より良く、より安全な製品、より速いイノベーション、および全体的により大きな市場につながると信じています。私たちは、責任あるAI開発にコミットしており、誤用や危害を制限し、オープンソースコミュニティを支援するための一連の措置を講じています。

基盤モデルは、多様なアプリケーションに使用するために構築された広範な能力を持つ技術です。これらは、すべてのユースケースに対する開発者の安全レベルの好みをそのまま満たすように設計されているわけではなく、それらは本質的に異なるアプリケーション間で異なるためです。

むしろ、責任あるLLMアプリケーションの展開は、モデルの事前学習、ファインチューニング、およびセーフガードで構成されるシステムの展開から、アプリケーションの開発全体を通じて一連の安全上のベストプラクティスを実装することによって達成されます。これにより、ユースケースと対象者に特化した安全上のニーズを満たすことができます。

Llama 3のリリースの一環として、開発者がアプリケーションのモデルレベルとシステムレベルの安全性を実装するための手順とベストプラクティスを概説するために、責任ある使用ガイドを更新しました。また、Meta Llama Guard 2 や Code Shield などのセーフガードを含む一連のリソースを提供しています。これらのツールは、LLMシステムの残留リスクを大幅に削減しながら、高い有用性を維持することが証明されています。開発者は、これらのセーフガードを自分たちのニーズに合わせて調整して展開することをお勧めし、開始するためのリファレンス実装を提供しています。

責任あるリリース

上記の責任ある使用に関する考慮事項に加えて、リリースの決定を行う前に、誤用や重大なリスクに対する追加の対策を講じる必要がある厳格なプロセスに従っています。

誤用 Llama 3にアクセスまたは使用する場合、許容使用ポリシーに同意するものとします。このポリシーの最新版は、https://llama.meta.com/llama3/use-policy/ で確認できます。

倫理的な考慮事項と制限

Llama 3の核心的な価値は、オープンネス、包括性、および有用性です。これは、すべての人に役立ち、幅広いユースケースで機能することを目的としています。したがって、さまざまな背景、経験、および視点を持つ人々がアクセスできるように設計されています。Llama 3は、不必要な判断や規範性を挿入することなく、ユーザーとそのニーズをそのまま受け入れ、場合によっては問題と見られる内容でも他の状況では有益な目的を果たすことができるという理解を反映しています。すべてのユーザーの尊厳と自律性を尊重しており、特に革新と進歩を促進する自由な思考と表現の価値に関してです。

しかし、Llama 3は新しい技術であり、他の新しい技術と同様に、その使用にはリスクが伴います。これまでに行われたテストは英語で行われており、すべてのシナリオを網羅していないし、網羅することもできません。これらの理由から、他のすべてのLLMと同様に、Llama 3の潜在的な出力を事前に予測することはできず、モデルは場合によっては不正確、偏った、またはその他の不快な応答をユーザーのプロンプトに対して生成する可能性があります。したがって、Llama 3モデルのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全テストとチューニングを行う必要があります。責任ある使用ガイドに概説されているように、Purple Llama のソリューションをワークフローに組み込むことをお勧めし、特に Llama Guard を使用することで、モデルレベルの安全に加えてシステムレベルの安全をレイヤー化することができます。

責任ある使用ガイドは、http://llama.meta.com/responsible-use-guide で確認できます。

引用方法

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

オリジナルのLlama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 ライセンス

このプロジェクトは、Llama3ライセンスの下で公開されています。詳細は https://llama.meta.com/llama3/license を参照してください。