Llama 3 Open Ko 8B Gguf

🚀 Llama-3-Open-Ko-8B 模型

Llama-3-Open-Ko-8B 是基於 Llama-3-8B 框架的持續預訓練語言模型，使用超 60GB 公開文本資源訓練，在多自然語言生成任務中表現出色。

🚀 快速開始

Ollama 配置

Modelfile 配置如下：

FROM Llama-3-Open-Ko-8B-Q8_0.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>

⚠️ 重要提示

2024 年 4 月 24 日更新：發佈 Llama-3-Open-Ko-8B 模型和 Llama-3-Open-Ko-8B-Instruct-preview。

✨ 主要特性

• 原始模型為 beomi/Llama-3-Open-Ko-8B。
• 使用 llama.cpp 進行量化。

📚 詳細文檔

模型詳情

Llama-3-Open-Ko-8B

Llama-3-Open-Ko-8B 模型是基於 Llama-3-8B 框架的持續預訓練語言模型。該模型使用了超過 60GB 來自公開資源的去重文本進行訓練。藉助新的 Llama-3 分詞器，該模型進行了超過 177 億個標記的預訓練，略多於 Llama-2 的韓語分詞器處理的標記數量。訓練在 Google 的 TRC 計劃支持的 TPUv5e - 256 上進行。

Llama-3-Open-Ko-8B-Instruct-preview

指令模型 Llama-3-Open-Ko-8B-Instruct-preview 融入了 Chat Vector 論文 的概念。此模型為預覽版，尚未使用任何韓語指令集進行微調，是開發新的聊天和指令模型的良好起點。

Meta Llama-3

由 Meta 開發和發佈的 Meta Llama 3 系列大語言模型（LLMs）針對對話用例進行了優化，在常見的行業基準測試中表現出色，強調了實用性和安全性。

模型開發者：Junbum Lee（Beomi）

變體：Llama-3-Open-Ko 有 8B 一種配置。

輸入/輸出：模型接受文本輸入，生成文本和代碼。

模型架構：Llama 3 使用了優化的 Transformer 架構。

*數據集列表可在 此處 查看

預期用途

商業和研究應用

Llama 3 設計用於英語，其指令微調模型適用於類似助手的聊天場景，而預訓練模型則可用於各種自然語言生成任務。

超出範圍

禁止任何違反適用法律、法規、可接受使用政策和 Llama 3 社區許可的使用。

責任與安全

Meta 對負責任人工智能的承諾包括採取措施限制濫用和危害，同時支持開源社區。鼓勵開發者實施安全最佳實踐，並使用 Meta Llama Guard 2 和 Code Shield 等資源，以滿足其特定用例的安全需求。

負責任發佈

我們遵循嚴格的防濫用流程，確保遵守所有安全和道德準則，詳情見我們的 負責任使用指南。

倫理考量和侷限性

Llama 3 基於開放、包容和實用的原則構建，旨在適用於不同背景和用例。開發者在部署前應針對特定應用進行全面的安全測試和調整。

引用說明

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

許可證

本模型使用的許可證為 llama3，許可證名稱為 llama3，許可證鏈接為 https://llama.meta.com/llama3/license。