Polyglot Ko 12.8b

🚀 Polyglot-Ko-12.8B

Polyglot-Ko-12.8B 是 EleutherAI polyglot 团队开发的大规模韩语自回归语言模型，具备强大的语言处理能力，可用于多种自然语言处理任务。

🚀 快速开始

你可以使用以下代码轻松加载该模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-12.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-12.8b")

✨ 主要特性

• 大规模参数：拥有 128 亿多个参数，能够学习到丰富的语言模式和语义信息。
• 先进架构：采用 40 层的 Transformer 架构，结合 Rotary Position Embedding (RoPE) 技术，提升模型的位置感知能力。
• 大规模训练数据：在 863GB 的韩语数据上进行训练，数据来源广泛，涵盖博客文章、新闻、专利等多种类型。

📦 安装指南

文档未提及具体安装步骤，可参考 Hugging Face 相关库的安装方法来安装依赖库。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-12.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-12.8b")

input_text = "这是一个输入示例"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 详细文档

模型描述

Polyglot-Ko 是 EleutherAI polyglot 团队打造的一系列大规模韩语自回归语言模型。以下是该模型的超参数信息：

该模型由 40 层 Transformer 层组成，模型维度为 5120，前馈维度为 20480。模型维度被划分为 40 个头，每个头的维度为 128。Rotary Position Embedding (RoPE) 应用于每个头的 64 个维度。模型使用 30003 的分词词汇表进行训练。

训练数据

Polyglot-Ko-12.8B 在 863GB 的韩语数据（处理前为 1.2TB）上进行训练，这些数据由 TUNiB 整理。数据收集过程遵循韩国法律。该数据集是为训练 Polyglot-Ko 模型而收集的，因此不会公开发布。具体数据来源如下：

此外，为避免模型记忆和生成训练数据中的个人身份信息 (PII)，在预处理阶段对以下敏感信息进行了掩码处理：

• <|acc|> : 银行账号
• <|rrn|> : 居民登记号
• <|tell|> : 电话号码

训练过程

Polyglot-Ko-12.8B 在 256 个 A100 GPU 上使用 GPT-NeoX 框架 进行了 301,000 步的训练，共处理了 1670 亿个标记。它作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个标记的可能性。

评估结果

在 KOBEST 数据集 上对 Polyglot-Ko-3.8B 进行了评估，该数据集包含 5 个下游任务。与其他可比模型（如 skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt 和 facebook/xglm-7.5B）进行了对比，使用了论文中提供的提示。

以下表格展示了不同少样本示例数量下的评估结果。你可以使用 lm-evaluation-harness 的 polyglot 分支 和以下脚本重现这些结果。为了进行公平比较，所有模型都在相同条件下运行，并使用相同的提示。在表格中，n 表示少样本示例的数量。

在 WiC 数据集上，所有模型的表现都接近随机水平。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

局限性和偏差

Polyglot-Ko 经过训练以优化下一个标记的预测。此类语言模型通常用于各种任务，因此了解可能的意外结果非常重要。例如，Polyglot-Ko 并不总是返回最真实或准确的响应，而是返回最具统计可能性的响应。此外，Polyglot 可能会产生社会不可接受或冒犯性的内容。我们建议使用人工审核或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX 引用

如果你认为我们的工作有帮助，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

所有模型均根据 Apache 许可证 2.0 条款进行许可。

根据 Apache 许可证，版本 2.0（“许可证”）许可；
除非遵守许可证，否则不得使用此文件。
你可以在以下网址获取许可证副本：

    http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件按“原样”分发，
不附带任何形式的明示或暗示保证。
请参阅许可证以了解管理权限和限制的具体语言。

致谢

本项目得益于 Stability.ai 提供的计算资源，以及 TUNiB 为该工作提供的大规模韩语数据集。