Llama 3 Open Ko 8B Gguf

🚀 Llama-3-Open-Ko-8B

このモデルは、Llama-3-8Bフレームワークに基づいた継続事前学習言語モデルで、公開リソースから収集した60GB以上の重複排除テキストで学習されています。

🚀 クイックスタート

• オリジナルモデルは beomi/Llama-3-Open-Ko-8B です。
• llama.cpp を使用して量子化されています。

Ollama

Modelfile

FROM Llama-3-Open-Ko-8B-Q8_0.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>

2024.04.24更新: Llama-3-Open-Ko-8Bモデルと Llama-3-Open-Ko-8B-Instruct-preview をリリースしました。

📚 ドキュメント

モデル詳細

Llama-3-Open-Ko-8B

Llama-3-Open-Ko-8Bモデルは、Llama-3-8Bフレームワークに基づいた継続事前学習言語モデルです。このモデルは、公開リソースから収集した60GB以上の重複排除テキストで学習されています。新しいLlama-3トークナイザーを使用して、177億以上のトークンで事前学習されており、Llama-2の韓国語トークナイザーが処理するトークン数よりもわずかに多くなっています。学習は、GoogleのTRCプログラムによってサポートされたTPUv5e-256で行われました。

Llama-3-Open-Ko-8B-Instruct-preview

Llama-3-Open-Ko-8B-Instruct-previewという名前の命令モデルは、Chat Vector paper の概念を取り入れています。このモデルはプレビュー版であり、韓国語の命令セットで微調整されていないため、新しいチャットおよび命令モデルを開発するための強力な出発点となります。

Meta Llama-3

Metaによって開発およびリリースされたMeta Llama 3ファミリーの大規模言語モデル（LLM）は、対話ユースケース向けに最適化されており、一般的な業界ベンチマークで優れた性能を発揮し、有用性と安全性を重視しています。

モデル開発者

Junbum Lee (Beomi)

バリエーション

Llama-3-Open-Koは、8Bの1つの構成で利用可能です。

入力/出力

モデルはテキスト入力を受け取り、テキストとコードを生成します。

モデルアーキテクチャ

Llama 3は最適化されたトランスフォーマーアーキテクチャを利用しています。

*データセットリストは こちら で確認できます。

想定される使用方法

商用および研究用途

Llama 3は英語での使用を想定して設計されており、命令微調整モデルではアシスタントのようなチャットに特化しています。一方、事前学習モデルは様々な自然言語生成タスクに対応しています。

範囲外の使用

適用される法律、規制、または許容使用ポリシーおよびLlama 3コミュニティライセンスに違反するすべての使用は禁止されています。

責任と安全性

責任あるリリース

誤用に対する厳格なプロセスに従い、すべての安全および倫理ガイドラインを遵守することを保証しています。詳細は 責任ある使用ガイド を参照してください。

責任と安全性

Metaの責任あるAIへの取り組みには、誤用と危害を制限しながらオープンソースコミュニティをサポートするための措置が含まれています。開発者は、安全対策のベストプラクティスを実装し、Meta Llama Guard 2 や Code Shield などのリソースを使用して、特定のユースケースに合わせた安全対策を行うことが推奨されています。

倫理的な考慮事項と制限事項

Llama 3は、開放性、包括性、および有用性の原則に基づいて構築されており、多様な背景とユースケースに対応し、アクセス可能で価値のあるモデルとなるように設計されています。開発者は、特定のアプリケーションに対して十分な安全テストとチューニングを行ってからデプロイする必要があります。

引用方法

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

オリジナルのLlama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 ライセンス

このモデルは llama3 ライセンスの下で提供されています。