Polyglot Ko 5.8b

🚀 Polyglot-Ko-5.8B

Polyglot-Ko-5.8B 是由 EleutherAI polyglot 团队打造的大规模韩语自回归语言模型。该模型在韩语自然语言处理任务中展现出强大的能力，可用于文本生成、问答系统等多种应用场景。

🚀 快速开始

你可以使用 AutoModelForCausalLM 类轻松加载此模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-5.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-5.8b")

✨ 主要特性

• 大规模参数：拥有 58.85 亿个参数，能够学习到丰富的语言知识。
• 先进的位置编码：采用 Rotary Position Embedding (RoPE) 技术，提升模型对序列位置的感知能力。
• 高质量训练数据：在 863GB 的韩语数据上进行训练，数据来源广泛且经过严格筛选。

📚 详细文档

模型描述

Polyglot-Ko 是 EleutherAI polyglot 团队开发的一系列大规模韩语自回归语言模型。

该模型由 28 个 Transformer 层组成，模型维度为 4096，前馈维度为 16384。模型维度被划分为 16 个头，每个头的维度为 256。Rotary Position Embedding (RoPE) 应用于每个头的 64 个维度。模型使用 30003 的分词词汇表进行训练。

训练数据

Polyglot-Ko-5.8B 在 863GB 的韩语数据（处理前为 1.2TB）上进行训练，这些数据由 TUNiB 精心整理。数据收集过程遵循韩国法律。该数据集是为训练 Polyglot-Ko 模型而收集的，因此不会公开提供。

此外，为避免模型记忆和生成训练数据中的个人身份信息 (PII)，我们在预处理阶段屏蔽了以下敏感信息：

• <|acc|> : 银行账号
• <|rrn|> : 居民登记号
• <|tell|> : 电话号码

训练过程

Polyglot-Ko-5.8B 在 256 个 A100 GPU 上使用 GPT-NeoX 框架 进行了 320,000 步的训练，处理了 1720 亿个标记。它作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个标记的可能性。

评估结果

我们在 KOBEST 数据集 上对 Polyglot-Ko-3.8B 进行了评估，该数据集包含 5 个下游任务。我们将其与其他可比模型（如 skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt 和 facebook/xglm-7.5B）进行了比较，使用论文中提供的提示。

以下表格显示了不同少样本示例数量下的评估结果。你可以使用 lm-evaluation-harness 的 polyglot 分支 和以下脚本重现这些结果。为了进行公平比较，所有模型都在相同条件下运行，并使用相同的提示。在表格中，n 表示少样本示例的数量。

在 WiC 数据集上，所有模型的表现都接近随机。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

局限性和偏差

Polyglot-Ko 经过训练以优化下一个标记的预测。这样的语言模型通常用于各种各样的任务，因此了解可能出现的意外结果非常重要。例如，Polyglot-Ko 并不总是返回最真实或准确的响应，而是返回最具统计可能性的响应。此外，Polyglot 可能会产生社会不可接受或冒犯性的内容。我们建议使用人工审核或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX 引用

如果你认为我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

我们所有的模型都根据 Apache License 2.0 许可。

根据 Apache License, Version 2.0（“许可证”）许可；
除非遵守许可证，否则不得使用此文件。
你可以在以下网址获取许可证副本：

    http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件按“原样”分发，
不附带任何形式的明示或暗示保证。
请参阅许可证以了解管理权限和限制的具体语言。

致谢

这个项目得益于 Stability.ai 提供的计算资源，以及 TUNiB 为这项工作提供的大规模韩语数据集。

📄 许可证

本项目采用 Apache License 2.0 许可证。具体内容如下：

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.