Polyglot Ko 1.3b

🚀 Polyglot-Ko-1.3B

Polyglot-Ko-1.3B 是由 EleutherAI polyglot 团队打造的大规模韩语自回归语言模型。它在韩语自然语言处理任务中表现出色，能为韩语相关的文本生成、理解等任务提供强大支持。

🚀 快速开始

你可以使用 AutoModelForCausalLM 类轻松加载该模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

✨ 主要特性

• 大规模韩语数据训练：基于 863GB 的韩语数据进行训练，能很好地适应韩语的语言特点和表达习惯。
• 特定架构设计：采用 24 层 Transformer 架构，模型维度为 2048，前馈维度为 8192，能有效处理复杂的语言任务。
• 位置编码技术：应用 Rotary Position Embedding (RoPE) 技术，提升模型对位置信息的处理能力。

📦 安装指南

此部分原文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

高级用法

此部分原文档未提供高级用法示例，暂不展示。

📚 详细文档

模型描述

Polyglot-Ko 是由 EleutherAI polyglot 团队开发的一系列大规模韩语自回归语言模型。

该模型由 24 层 Transformer 层组成，模型维度为 2048，前馈维度为 8192。模型维度被划分为 16 个头，每个头的维度为 128。Rotary Position Embedding (RoPE) 应用于每个头的 64 个维度。该模型使用 30003 的分词词汇表进行训练。

训练数据

Polyglot-Ko-1.3B 在 863GB 的韩语数据（处理前为 1.2TB）上进行训练，这些数据是由 TUNiB 整理的大规模数据集。数据收集过程遵守韩国法律。该数据集是为训练 Polyglot-Ko 模型而收集的，因此不会公开发布。

此外，为避免模型记住并生成训练数据中的个人身份信息 (PII)，在预处理阶段屏蔽了以下敏感信息：

• <|acc|> : 银行账号
• <|rrn|> : 居民登记号
• <|tell|> : 电话号码

训练过程

Polyglot-Ko-1.3B 在 256 个 A100 GPU 上，使用 GPT-NeoX 框架，对 2130 亿个标记进行了 102,000 步的训练。它作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个标记的可能性。

评估结果

我们在 KOBEST 数据集 上对 Polyglot-Ko-1.3B 进行了评估，该数据集是一个包含 5 个下游任务的基准数据集。我们将其与可比模型（如 skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt 和 facebook/xglm-7.5B）进行了比较，使用了论文中提供的提示。

以下表格显示了在不同少样本示例数量下的评估结果。你可以使用 lm-evaluation-harness 的 polyglot 分支 和以下脚本重现这些结果。为了进行公平比较，所有模型都在相同条件下运行，并使用相同的提示。在表格中，n 指的是少样本示例的数量。

在 WiC 数据集的情况下，所有模型的表现都接近随机。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-1.3b' \
   --tasks kobest_copa,kobest_hellaswag,kobest_boolq,kobest_sentineg,kobest_wic \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

局限性和偏差

Polyglot-Ko 经过训练以优化下一个标记的预测。像这样的语言模型通常用于各种任务，因此了解可能的意外结果很重要。例如，Polyglot-Ko 并不总是返回最真实或准确的响应，而是返回最具统计可能性的响应。此外，Polyglot 可能会产生社会不可接受或冒犯性的内容。我们建议使用人工审核员或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX 引用

如果您认为我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

我们所有的模型都根据 Apache License 2.0 许可条款进行许可。

根据 Apache 许可证，版本 2.0（“许可证”）许可；
除非遵守许可证，否则您不得使用此文件。
您可以在以下网址获取许可证副本：

    http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件
按“原样”分发，不附带任何形式的明示或暗示保证。
请参阅许可证以了解管理权限和限制的具体语言。

致谢

这个项目得益于 Stability.ai 提供的计算资源，以及 TUNiB 为这项工作提供的大规模韩语数据集。

🔧 技术细节

此部分原文档技术说明较少，暂不展示。

📄 许可证

所有模型均遵循 Apache License 2.0 许可协议。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.