Kosaul V0.2

🚀 KoSaul-8B 模型

KoSaul-8B 是一个基于语言模型的项目，它以 Open-ko-llama3-8B 模型为基础，通过持续学习进一步优化。该模型在法律文本处理方面表现出色，具有较低的困惑度，在相关领域有很大的应用潜力。

📚 详细文档

模型详情

模型名称：KoSaul-8B

KoSaul-8B 模型是基于 Open-ko-llama3-8B 模型，通过持续学习训练得到的。在训练过程中，使用了 A6000 * 3 显卡，并结合 Deepspeed off-load 技术，最大化了批量大小。

模型开发者：Ingeol Baek

数据集：

• 国家法令门户网站 Open API 爬取数据
• AI-hub 法律知识库
• AI-hub 医疗、法律专业书籍语料库

超参数：

• 批量大小：96
• 上下文长度：1024
• 优化器：Adamw
• 学习率：5e-5
• 预热最小学习率：1e-6
• Zero Stage3 off-load

困惑度：基于法令数据进行评估，结果如下：

• KoSaul-8B - 2.649
• Open-Llama3-8B (beomi/Llama-3-Open-Ko-8B) - 3.529
• Open-Llama2-7B (beomi/llama-2-ko-7b) - 3.393
• Solar-10.7B (chihoonlee10/T3Q-ko-solar-dpo-v1.0) - 3.161
• EEVE-10.8B (yanolja/EEVE-Korean-Instruct-10.8B-v1.0) - 3.505
• KULLM3 (nlpai-lab/KULLM3) - 2.903
• MLP-KTLim (MLP-KTLim/Bllossom) - 4.385

模型架构：Llama 3 是一个自回归语言模型

模型发布日期：2024.05.08

许可证：Llama3 许可证：https://llama.meta.com/llama3/license

责任与安全

我们认为，开放的人工智能方法能够带来更好、更安全的产品，加速创新，并扩大整体市场。我们致力于负责任地开发人工智能，并采取了一系列措施来限制滥用和危害，同时支持开源社区。

基础模型是一种通用技术，旨在用于各种不同的应用场景。它们并非为满足所有开发者在所有用例中的安全级别偏好而设计，因为不同应用的安全需求本质上会有所不同。

相反，负责任的大语言模型应用部署是通过在应用开发的各个阶段（从模型预训练、微调，到部署包含安全保障措施的系统）实施一系列安全最佳实践来实现的，以满足特定用例和用户群体的安全需求。

作为 Llama 3 发布的一部分，我们更新了 负责任使用指南，概述了开发者在其应用中实施模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括 Meta Llama Guard 2 和 Code Shield 安全保障措施。这些工具已被证明能够在保持高实用性的同时，大幅降低大语言模型系统的潜在风险。我们鼓励开发者根据自身需求调整和部署这些安全保障措施，并提供了 参考实现 供您参考。

负责任的发布

除了上述负责任使用的考虑因素外，我们在发布模型之前遵循了严格的流程，采取了额外的措施来防止滥用和应对关键风险。

滥用问题：如果您访问或使用 Llama 3，您需要同意可接受使用政策。该政策的最新版本可在 https://llama.meta.com/llama3/use-policy/ 找到。

伦理考量与局限性

Llama 3 的核心价值观是开放性、包容性和实用性。它旨在服务于所有人，并适用于广泛的用例。因此，它的设计旨在让不同背景、经验和观点的人都能使用。Llama 3 以客观的态度对待用户及其需求，不插入不必要的判断或规范性内容，同时认识到即使在某些情况下可能存在问题的内容，在其他情况下也可能有其价值。它尊重所有用户的尊严和自主权，特别是在推动创新和进步的自由思想和表达价值观方面。

然而，Llama 3 是一项新技术，与任何新技术一样，其使用存在风险。到目前为止的测试主要使用英语进行，无法涵盖所有场景。由于这些原因，与所有大语言模型一样，Llama 3 的潜在输出无法提前预测，在某些情况下，模型可能会对用户的提示产生不准确、有偏见或其他令人反感的响应。因此，在部署 Llama 3 模型的任何应用之前，开发者应该针对其特定应用进行安全测试和调整。正如《负责任使用指南》中所概述的，我们建议将 Purple Llama 解决方案纳入您的工作流程，特别是 Llama Guard，它提供了一个基础模型，用于过滤输入和输出提示，在模型级安全的基础上增加系统级安全。

请参阅 负责任使用指南 以获取更多信息。

📄 许可证

本项目采用 MIT 许可证。