Llama 3 Ko 8B Instruct

🚀 Llama-3-Ko-Instruct

Llama-3-Ko-Instruct 是一款专注于文本生成的模型，它在特定的基准测试中表现出色，为自然语言处理领域提供了新的解决方案。该模型基于多个优秀的基础模型，具备广阔的应用前景。

🚀 快速开始

文档中未提供具体的快速开始步骤，你可以持续关注后续更新。

✨ 主要特性

• 多语言支持：支持英语和韩语，适用于不同语言环境的文本生成任务。
• 优秀的基准表现：在 Kobest 基准测试中展现出良好的性能。
• 基于强大基础模型：使用了如 meta-llama/Meta-Llama-3-8B-Instruct 等多个优秀的基础模型。

📚 详细文档

🔍 方法论

参考文档：https://huggingface.co/blog/maywell/llm-feature-transfer

🤖 使用的模型

• meta-llama/Meta-Llama-3-8B-Instruct
• meta-llama/Meta-Llama-3-8B
• beomi/Llama-3-Open-Ko-8B

📊 基准测试

Kobest

🔰 原模型卡片（Beomi）

模型详情

• Llama-3-Open-Ko-8B：基于 Llama-3-8B 继续预训练的语言模型，使用超过 60GB 的去重文本进行训练。借助新的 Llama-3 分词器，预训练使用了超过 177 亿个标记，略多于韩语分词器（Llama-2-Ko 分词器）。该模型在 Google 的 TRC 计划支持下，于 TPUv5e-256 上完成训练。
• Llama-3-Open-Ko-8B-Instruct-preview 说明：应用了 Chat Vector paper 的思想，但未使用任何韩语指令集进行微调（实际上是“预览版”），不过它是创建新的聊天/指令模型的良好起点。
• Meta Llama-3：Meta 开发并发布了 Meta Llama 3 系列大语言模型，包括 8B 和 70B 大小的预训练和指令微调生成文本模型。Llama 3 指令微调模型针对对话用例进行了优化，在常见行业基准测试中表现优于许多可用的开源聊天模型。此外，在开发这些模型时，充分考虑了实用性和安全性。
• 模型开发者：Junbum Lee (Beomi)
• 模型变体：Llama-3-Open-Ko 只有 8B 一种规格。
• 输入：模型仅接受文本输入。
• 输出：模型仅生成文本和代码。
• 模型架构：Llama 3 是一种自回归语言模型，采用优化的 Transformer 架构。

*你可以在 这里 找到数据集列表。

• 模型发布日期：2024 年 4 月 24 日
• 状态：这是一个基于离线数据集训练的静态模型。
• 许可证：Llama3 许可证：https://llama.meta.com/llama3/license

预期用途

• 预期用例：Llama 3 旨在用于英语的商业和研究用途。指令微调模型适用于类似助手的聊天场景，而预训练模型可用于各种自然语言生成任务。
• 超出范围：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以违反可接受使用政策和 Llama 3 社区许可证的任何其他方式使用。禁止在英语以外的语言中使用。

⚠️ 重要提示

开发者可以根据 Llama 3 社区许可证和可接受使用政策，对 Llama 3 模型进行微调以支持英语以外的语言。

使用方法

文档中使用方法部分待更新，请持续关注。

责任与安全

我们认为开放的人工智能方法能够带来更好、更安全的产品，加速创新，并拓展整体市场。我们致力于负责任的人工智能开发，并采取了一系列措施来限制滥用和危害，支持开源社区。

基础模型是一种通用技术，旨在用于各种不同的应用场景。它们并非为满足所有开发者在所有用例中的安全级别偏好而设计，因为这些偏好会因应用场景的不同而有所差异。

相反，负责任的大语言模型应用部署需要在应用开发的整个过程中实施一系列安全最佳实践，从模型预训练、微调，到部署包含安全保障措施的系统，以根据具体用例和受众定制安全需求。

作为 Llama 3 发布的一部分，我们更新了 负责任使用指南，以概述开发者为其应用实施模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括 Meta Llama Guard 2 和 Code Shield 安全保障措施。这些工具已被证明能够大幅降低大语言模型系统的残余风险，同时保持较高的实用性。我们鼓励开发者根据自身需求调整和部署这些安全保障措施，并提供了 参考实现 供你参考。

负责任发布

除了上述负责任使用的考虑因素外，我们在发布决策之前遵循了严格的流程，采取了额外的措施来防范滥用和重大风险。

如果你访问或使用 Llama 3，即表示你同意可接受使用政策。该政策的最新版本可在 https://llama.meta.com/llama3/use-policy/ 找到。

伦理考量与局限性

Llama 3 的核心价值观是开放性、包容性和实用性。它旨在为所有人服务，并适用于广泛的用例。因此，它的设计旨在让不同背景、经验和观点的人都能使用。Llama 3 以用户的实际需求为出发点，不插入不必要的判断或规范性内容，同时认识到即使在某些情况下可能存在问题的内容，在其他情况下也可能具有重要价值。它尊重所有用户的尊严和自主权，特别是在推动创新和进步的自由思想和表达价值观方面。

然而，Llama 3 是一项新技术，与任何新技术一样，其使用存在一定风险。到目前为止的测试均以英语进行，无法涵盖所有场景。因此，与所有大语言模型一样，Llama 3 的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署 Llama 3 模型的任何应用之前，开发者应针对其具体应用进行安全测试和调整。如《负责任使用指南》所述，我们建议将 Purple Llama 解决方案纳入你的工作流程，特别是 Llama Guard，它提供了一个基础模型，用于过滤输入和输出提示，在模型级安全的基础上增加系统级安全。

请参阅 负责任使用指南。

📖 引用说明

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 许可证

本项目采用 Llama3 许可证，详情请见 https://llama.meta.com/llama3/license。