Kosaul V0.2

🚀 KoSaul-8B

このモデルはOpen-ko-llama3-8Bをベースに、Continue learningを行って開発された言語モデルです。法規や医療関連のデータで学習し、高い性能を発揮します。

🚀 クイックスタート

このセクションでは、KoSaul-8Bモデルの概要と利用方法について説明します。

✨ 主な機能

• 高い性能：法規データを用いた評価で、他のモデルに比べて低いパープレキシティを達成しています。
• 多様なデータセット：国の法規データ、AI-hubの法律知識ベース、医療・法律の専門書データなどを用いて学習されています。

📚 ドキュメント

🔍 モデル詳細

KoSaul-8B

KoSaul-8BモデルはOpen-ko-llama3-8Bモデルをベースに、Continue learningを行って開発されました。 A6000 * 3とDeepspeed off-loadを利用して、batch sizeを最大化しました。

モデル開発者 Ingeol Baek

データセット

• 国家法令ポータルOpen APIのクローリングデータ
• AI-hubの法律知識ベース
• AI-hubの医療、法律の専門書コーパス

ハイパーパラメータ

• Batch size 96
• context length 1024
• Opotimizer Adamw
• LR 5e-5
• Warmup min LR 1e-6
• Zero Stage3 off-load

パープレキシティ 法令データをベースに評価を行いました。

• KoSaul-8B - 2.649
• Open-Llama3-8B (beomi/Llama-3-Open-Ko-8B) - 3.529
• Open-Llama2-7B (beomi/llama-2-ko-7b) - 3.393
• Solar-10.7B (chihoonlee10/T3Q-ko-solar-dpo-v1.0) - 3.161
• EEVE-10.8B (yanolja/EEVE-Korean-Instruct-10.8B-v1.0) - 3.505
• KULLM3 (nlpai-lab/KULLM3) - 2.903
• MLP-KTLim (MLP-KTLim/Bllossom) - 4.385

モデルアーキテクチャ Llama 3は自己回帰型の言語モデルです。

モデルリリース日 2024.05.08.

ライセンス Llama3 License: https://llama.meta.com/llama3/license

🔐 責任と安全性

私たちは、AIに対するオープンなアプローチが、より良く、安全な製品、より速いイノベーション、そしてより大きな市場を生み出すと信じています。私たちは、責任あるAI開発にコミットしており、誤用や危害を制限し、オープンソースコミュニティをサポートするための一連の措置を講じています。

基礎モデルは、多様なアプリケーションで使用できる汎用的な技術です。すべてのユースケースに対して、すべての開発者の安全レベルの好みを満たすように設計されているわけではありません。

むしろ、責任あるLLMアプリケーションの展開は、モデルの事前学習、微調整、そしてセーフガードを組み込んだシステムの展開まで、アプリケーションの開発全体を通じて一連の安全対策のベストプラクティスを実施することで達成されます。

Llama 3のリリースの一環として、私たちはResponsible Use Guideを更新し、開発者がアプリケーションのモデルとシステムレベルの安全性を実装するための手順とベストプラクティスを概説しました。また、Meta Llama Guard 2やCode Shieldなどのセーフガードを含む一連のリソースを提供しています。これらのツールは、高い有用性を維持しながら、LLMシステムの残留リスクを大幅に削減することが証明されています。開発者には、これらのセーフガードを必要に応じて調整して展開することをお勧めし、開始するためのリファレンス実装を提供しています。

🔐 責任あるリリース

上記の責任ある使用に関する考慮事項に加えて、私たちはリリースを決定する前に、誤用や重大なリスクに対する追加対策を講じる厳格なプロセスに従っています。

誤用 Llama 3にアクセスまたは使用する場合は、Acceptable Use Policyに同意する必要があります。このポリシーの最新版はhttps://llama.meta.com/llama3/use-policy/で確認できます。

🌐 倫理的な考慮事項と制限

Llama 3のコアバリューは、オープンネス、包括性、そして有用性です。すべての人に役立ち、幅広いユースケースで機能するように設計されています。したがって、多様な背景、経験、そして視点を持つ人々が利用できるように設計されています。Llama 3は、不必要な判断や規範性を挿入することなく、ユーザーとそのニーズをそのまま受け入れ、場合によっては問題に見える内容でも、他の場合では価値ある目的を果たすことができるという理解を反映しています。すべてのユーザーの尊厳と自律性を尊重し、特に自由な思考と表現の価値を重視しています。

しかし、Llama 3は新しい技術であり、他の新しい技術と同様に、その使用にはリスクが伴います。これまでのテストは英語で行われており、すべてのシナリオを網羅していない、または網羅することができない可能性があります。これらの理由から、他のLLMと同様に、Llama 3の潜在的な出力は事前に予測することができず、モデルは場合によっては不正確、偏った、またはその他の問題のある応答を生成する可能性があります。したがって、Llama 3モデルのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全テストと調整を行う必要があります。Responsible Use Guideに概説されているように、私たちはPurple Llamaのソリューションをワークフローに組み込むことをお勧めし、特にLlama Guardを用いて、モデルレベルの安全性に加えてシステムレベルの安全性を強化することを推奨します。

📄 ライセンス このプロジェクトはMITライセンスの下で公開されています。