Polyglot Ko 1.3b

🚀 Polyglot-Ko-1.3B

Polyglot-Ko-1.3B 是由 EleutherAI polyglot 團隊打造的大規模韓語自迴歸語言模型。它在韓語自然語言處理任務中表現出色，能為韓語相關的文本生成、理解等任務提供強大支持。

🚀 快速開始

你可以使用 AutoModelForCausalLM 類輕鬆加載該模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

✨ 主要特性

• 大規模韓語數據訓練：基於 863GB 的韓語數據進行訓練，能很好地適應韓語的語言特點和表達習慣。
• 特定架構設計：採用 24 層 Transformer 架構，模型維度為 2048，前饋維度為 8192，能有效處理複雜的語言任務。
• 位置編碼技術：應用 Rotary Position Embedding (RoPE) 技術，提升模型對位置信息的處理能力。

📦 安裝指南

此部分原文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

高級用法

此部分原文檔未提供高級用法示例，暫不展示。

📚 詳細文檔

模型描述

Polyglot-Ko 是由 EleutherAI polyglot 團隊開發的一系列大規模韓語自迴歸語言模型。

該模型由 24 層 Transformer 層組成，模型維度為 2048，前饋維度為 8192。模型維度被劃分為 16 個頭，每個頭的維度為 128。Rotary Position Embedding (RoPE) 應用於每個頭的 64 個維度。該模型使用 30003 的分詞詞彙表進行訓練。

訓練數據

Polyglot-Ko-1.3B 在 863GB 的韓語數據（處理前為 1.2TB）上進行訓練，這些數據是由 TUNiB 整理的大規模數據集。數據收集過程遵守韓國法律。該數據集是為訓練 Polyglot-Ko 模型而收集的，因此不會公開發布。

此外，為避免模型記住並生成訓練數據中的個人身份信息 (PII)，在預處理階段屏蔽了以下敏感信息：

• <|acc|> : 銀行賬號
• <|rrn|> : 居民登記號
• <|tell|> : 電話號碼

訓練過程

Polyglot-Ko-1.3B 在 256 個 A100 GPU 上，使用 GPT-NeoX 框架，對 2130 億個標記進行了 102,000 步的訓練。它作為自迴歸語言模型進行訓練，使用交叉熵損失來最大化預測下一個標記的可能性。

評估結果

我們在 KOBEST 數據集 上對 Polyglot-Ko-1.3B 進行了評估，該數據集是一個包含 5 個下游任務的基準數據集。我們將其與可比模型（如 skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt 和 facebook/xglm-7.5B）進行了比較，使用了論文中提供的提示。

以下表格顯示了在不同少樣本示例數量下的評估結果。你可以使用 lm-evaluation-harness 的 polyglot 分支 和以下腳本重現這些結果。為了進行公平比較，所有模型都在相同條件下運行，並使用相同的提示。在表格中，n 指的是少樣本示例的數量。

在 WiC 數據集的情況下，所有模型的表現都接近隨機。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-1.3b' \
   --tasks kobest_copa,kobest_hellaswag,kobest_boolq,kobest_sentineg,kobest_wic \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

侷限性和偏差

Polyglot-Ko 經過訓練以優化下一個標記的預測。像這樣的語言模型通常用於各種任務，因此瞭解可能的意外結果很重要。例如，Polyglot-Ko 並不總是返回最真實或準確的響應，而是返回最具統計可能性的響應。此外，Polyglot 可能會產生社會不可接受或冒犯性的內容。我們建議使用人工審核員或其他過濾機制來審查敏感內容。

引用和相關信息

BibTeX 引用

如果您認為我們的工作有用，請考慮引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

許可證

我們所有的模型都根據 Apache License 2.0 許可條款進行許可。

根據 Apache 許可證，版本 2.0（“許可證”）許可；
除非遵守許可證，否則您不得使用此文件。
您可以在以下網址獲取許可證副本：

    http://www.apache.org/licenses/LICENSE-2.0

除非適用法律要求或書面同意，否則根據許可證分發的軟件
按“原樣”分發，不附帶任何形式的明示或暗示保證。
請參閱許可證以瞭解管理權限和限制的具體語言。

致謝

這個項目得益於 Stability.ai 提供的計算資源，以及 TUNiB 為這項工作提供的大規模韓語數據集。

🔧 技術細節

此部分原文檔技術說明較少，暫不展示。

📄 許可證

所有模型均遵循 Apache License 2.0 許可協議。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.