Polyglot Ko 5.8b

🚀 Polyglot-Ko-5.8B

Polyglot-Koは、EleutherAIのポリグロットチームによって開発された大規模な韓国語自己回帰型言語モデルのシリーズです。このモデルは、韓国語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルは、AutoModelForCausalLMクラスを使用して簡単に読み込むことができます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-5.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-5.8b")

✨ 主な機能

• 韓国語の自己回帰型言語モデルで、次のトークンの予測に最適化されています。
• 大規模な韓国語データセットで学習されており、様々な韓国語の自然言語処理タスクに対応しています。

📚 ドキュメント

モデルの説明

Polyglot-Koは、EleutherAIのポリグロットチームによって作成された大規模な韓国語自己回帰型言語モデルのシリーズです。

このモデルは28層のトランスフォーマーレイヤーで構成され、モデル次元は4096、フィードフォワード次元は16384です。モデル次元は16個のヘッドに分割され、各ヘッドの次元は256です。Rotary Position Embedding (RoPE) は各ヘッドの64次元に適用されます。このモデルは、30003のトークン化語彙で学習されています。

学習データ

Polyglot-Ko-5.8Bは、TUNiBによって収集された大規模な韓国語データセットである863GBの韓国語データ（処理前は1.2TB）で学習されました。データ収集プロセスは韓国の法律に準拠しています。このデータセットはPolyglot-Koモデルの学習を目的として収集されたため、一般公開されることはありません。

さらに、学習データに含まれる個人識別情報（PII）をモデルが記憶して生成することを避けるために、前処理段階で次のような機密情報をマスクしました。

• <|acc|> : 銀行口座番号
• <|rrn|> : 住民登録番号
• <|tell|> : 電話番号

学習手順

Polyglot-Ko-5.8Bは、GPT-NeoXフレームワークを使用して、256台のA100 GPU上で320,000ステップ、1720億トークンにわたって学習されました。自己回帰型言語モデルとして学習され、次のトークンを予測する尤度を最大化するために交差エントロピー損失が使用されました。

評価結果

我々は、KOBESTデータセット（5つの下流タスクを含むベンチマーク）で、skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt、facebook/xglm-7.5Bなどの比較可能なモデルと比較して、Polyglot-Ko-3.8Bを評価しました。論文に記載されているプロンプトを使用しました。

次の表は、few-shot例の数が異なる場合の結果を示しています。これらの結果は、lm-evaluation-harnessのpolyglotブランチと次のスクリプトを使用して再現することができます。公平な比較のために、すべてのモデルは同じ条件で、同じプロンプトを使用して実行されました。表では、nはfew-shot例の数を指します。

WiCデータセットの場合、すべてのモデルはランダムな性能を示します。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

制限とバイアス

Polyglot-Koは、次のトークンの予測を最適化するために学習されています。このような言語モデルは、様々なタスクに使用されることが多く、予期しない結果が生じる可能性があることを認識することが重要です。たとえば、Polyglot-Koは常に最も事実的または正確な応答を返すわけではなく、最も統計的に可能性の高い応答を返すことがあります。また、Polyglotは社会的に受け入れられないまたは不快な内容を生成することがあります。私たちは、敏感な内容を検閲するために、人間の管理者または他のフィルタリングメカニズムを使用することを推奨します。

引用と関連情報

BibTeXエントリ

もし私たちの研究が役に立った場合、以下を引用していただけると幸いです。

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

すべてのモデルは、Apache License 2.0の条項の下でライセンスされています。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software