Polyglot Ko 12.8b

🚀 Polyglot-Ko-12.8B

Polyglot-Koは、EleutherAIのポリグロットチームによって開発された大規模な韓国語自己回帰型言語モデルのシリーズです。このモデルは、韓国語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルは、AutoModelForCausalLMクラスを使用して簡単に読み込むことができます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-12.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-12.8b")

✨ 主な機能

• 韓国語の自然言語処理タスクに特化した大規模言語モデル。
• 多様な韓国語データセットを用いて訓練され、幅広い韓国語表現に対応。
• 高度なハイパーパラメータ設定により、高精度な予測が可能。

📚 ドキュメント

モデルの説明

Polyglot-Koは、EleutherAIのポリグロットチームによって開発された大規模な韓国語自己回帰型言語モデルのシリーズです。

このモデルは、モデル次元が5120、フィードフォワード次元が20480の40層のトランスフォーマーレイヤーで構成されています。モデル次元は40個のヘッドに分割され、各ヘッドの次元は128です。各ヘッドの64次元には、Rotary Position Embedding (RoPE)が適用されています。このモデルは、30003のトークン化語彙を用いて訓練されています。

訓練データ

Polyglot-Ko-12.8Bは、TUNiBによって収集された863GBの韓国語データ（処理前は1.2TB）で訓練されました。データ収集プロセスは韓国の法律に準拠しています。このデータセットは、Polyglot-Koモデルの訓練を目的として収集されたため、一般公開されることはありません。

さらに、訓練データ内の個人識別情報（PII）をモデルが記憶して生成することを避けるため、前処理段階で以下の敏感な情報をマスクしました。

• <|acc|> : 銀行口座番号
• <|rrn|> : 住民登録番号
• <|tell|> : 電話番号

訓練手順

Polyglot-Ko-12.8Bは、GPT-NeoXフレームワークを使用して、256台のA100 GPU上で301,000ステップ、1670億トークンで訓練されました。自己回帰型言語モデルとして訓練され、次のトークンを予測する尤度を最大化するために交差エントロピー損失を使用しました。

評価結果

我々は、KOBESTデータセット（5つの下流タスクを含むベンチマーク）で、Polyglot-Ko-3.8Bを、skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt、facebook/xglm-7.5Bなどの比較可能なモデルと比較評価しました。論文に記載されているプロンプトを使用して評価を行いました。

以下の表は、few-shot例の数が異なる場合の結果を示しています。これらの結果は、lm-evaluation-harnessのpolyglotブランチと以下のスクリプトを使用して再現することができます。公平な比較のため、すべてのモデルは同じ条件下で、同じプロンプトを使用して実行されました。表中のnは、few-shot例の数を指します。

WiCデータセットの場合は、すべてのモデルがランダムな性能を示します。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

制限事項とバイアス

Polyglot-Koは、次のトークン予測を最適化するために訓練されています。このような言語モデルは、様々なタスクに使用されることが多いため、予期しない結果が生じる可能性があることに注意することが重要です。たとえば、Polyglot-Koは常に最も事実的または正確な応答を返すとは限らず、統計的に最も可能性の高い応答を返すことがあります。また、Polyglotは社会的に受け入れられないまたは不快な内容を生成することがあります。敏感な内容を検閲するために、人間の管理者または他のフィルタリングメカニズムを使用することをお勧めします。

引用と関連情報

BibTeXエントリ

もし私たちの研究が役に立った場合、以下のように引用していただけると幸いです。

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

すべてのモデルは、Apache License 2.0の条項の下でライセンスされています。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to i