Ko Llama3 Luxia 8B

🚀 Ko-Llama3-Luxia-8B 模型

Ko-Llama3-Luxia-8B 是由 Saltlux AI Labs 语言模型团队训练并公开的模型，它基于 Meta 发布的 Llama-3-8B 模型，针对韩语进行了专门优化，能够更好地处理韩语相关的自然语言生成任务。

🚀 快速开始

该模型卡提供了基于 transformers 库的 Ko-Llama3-Luxia-8B 模型示例代码。

import transformers
import torch

model_id = "saltlux/Ko-Llama3-Luxia-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.")

✨ 主要特性

• 韩语特化：Ko-Llama3-Luxia-8B 模型是对 Meta 发布的 Llama-3-8B 模型进行韩语特化处理的版本，使用了约 100GB 的韩语数据进行预训练。
• Tokenizer 扩展：对公开的 Llama-3 Tokenizer 进行了韩语扩展，并应用于预训练中。
• 研究用途：该模型专为研究目的而设计，可自由用于各种自然语言生成任务。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

📚 详细文档

模型详情

Saltlux AI Labs 语言模型团队训练并公开的 Ko-Llama3-Luxia-8B 模型，是将 Meta 发布的 Llama-3-8B 模型进行 韩语特化 的版本。团队从自有超过 1TB 的韩语训练数据中，挑选了约 100GB 的数据用于预训练。同时，对公开的 Llama-3 Tokenizer 进行韩语扩展，并应用于预训练。

• Meta Llama-3：Meta 开发并发布了 Meta Llama 3 系列大语言模型（LLMs），这是一组 80 亿和 700 亿参数的预训练和指令调优生成文本模型。Llama 3 指令调优模型针对对话用例进行了优化，在常见行业基准测试中表现优于许多现有的开源聊天模型。此外，在开发这些模型时，Meta 非常注重优化模型的实用性和安全性。
• 许可证：Llama3 许可证 https://llama.meta.com/llama3/license

预期用途

Ko-Llama3-Luxia-8B 专为研究目的而开发，可自由用于各种自然语言生成任务。

训练详情

预训练数据

用于韩语特化的预训练数据来自 Saltlux 拥有的新闻、法律、专利、医疗、历史、社会、文化、对话（书面/口语）等领域的约 100GB 语料库（截至 2023 年）。

使用设备

预训练使用了 8 张 NVIDIA H100 80GB 显卡。

训练超参数

Tokenizer

为了使 Llama-3-Tokenizer 更适合韩语，添加了 17,536 个韩语标记。

Tokenizer 结果

韩语输入

英语输入

推理结果

引用说明

Ko-Llama3-Luxia-8B

@article{kollama3luxiamodelcard,
  title={Ko Llama 3 Luxia Model Card},
  author={AILabs@Saltux},
  year={2024},
  url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 许可证

Llama3 许可证 https://llama.meta.com/llama3/license