Polyglot Ko 1.3b

🚀 Polyglot-Ko-1.3B

Polyglot-Koは、EleutherAIのポリグロットチームによって開発された大規模な韓国語自己回帰型言語モデルのシリーズです。このモデルは、韓国語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルは、AutoModelForCausalLMクラスを使用して簡単にロードできます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

✨ 主な機能

• 大規模な韓国語データセットで訓練された自己回帰型言語モデルです。
• 様々な自然言語処理タスクに適用可能です。

📚 ドキュメント

モデルの説明

Polyglot-Koは、EleutherAIのポリグロットチームによって作成された大規模な韓国語自己回帰型言語モデルのシリーズです。

このモデルは、モデル次元が2048、フィードフォワード次元が8192の24層のトランスフォーマーレイヤーで構成されています。モデル次元は16個のヘッドに分割され、各ヘッドの次元は128です。Rotary Position Embedding (RoPE) は、各ヘッドの64次元に適用されます。このモデルは、30003のトークン化語彙で訓練されています。

訓練データ

Polyglot-Ko-1.3Bは、TUNiBによって収集された863GBの韓国語データ（処理前は1.2TB）で訓練されました。データ収集プロセスは韓国の法律に準拠しています。このデータセットは、Polyglot-Koモデルの訓練を目的として収集されたため、一般公開されることはありません。

さらに、訓練データ内の個人識別情報（PII）をモデルが記憶して生成することを避けるため、前処理段階で以下の機密情報をマスクしました。

• <|acc|> : 銀行口座番号
• <|rrn|> : 住民登録番号
• <|tell|> : 電話番号

訓練手順

Polyglot-Ko-1.3Bは、GPT-NeoXフレームワークを使用して、256台のA100 GPU上で102,000ステップにわたって2130億トークンで訓練されました。これは自己回帰型言語モデルとして訓練され、次のトークンを予測する尤度を最大化するために交差エントロピー損失を使用しました。

評価結果

我々は、KOBESTデータセット（5つの下流タスクを持つベンチマーク）で、skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt、facebook/xglm-7.5Bなどの比較可能なモデルと比較して、Polyglot-Ko-1.3Bを評価しました。論文に記載されているプロンプトを使用して評価を行いました。

以下の表は、Few-shot例の数が異なる場合の結果を示しています。これらの結果は、lm-evaluation-harnessのpolyglotブランチと以下のスクリプトを使用して再現できます。公平な比較のために、すべてのモデルは同じ条件で実行され、同じプロンプトが使用されました。表中のnはFew-shot例の数を指します。

WiCデータセットの場合、すべてのモデルはランダムな性能を示します。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-1.3b' \
   --tasks kobest_copa,kobest_hellaswag,kobest_boolq,kobest_sentineg,kobest_wic \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

制限事項とバイアス

Polyglot-Koは、次のトークン予測を最適化するように訓練されています。このような言語モデルは、様々なタスクに使用されることが多いため、予期しない結果が生じる可能性があることに注意することが重要です。例えば、Polyglot-Koは常に最も事実的または正確な応答を返すとは限らず、統計的に最も可能性の高い応答を返すことがあります。また、Polyglotは社会的に受け入れられないまたは不快なコンテンツを生成する可能性があります。敏感なコンテンツを検閲するために、人間の管理者または他のフィルタリングメカニズムを使用することをお勧めします。

引用と関連情報

BibTeXエントリ

もし私たちの研究が役に立った場合は、以下を引用していただけると幸いです。

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

ライセンス

すべてのモデルは、Apache License 2.0の条項に基づいてライセンスされています。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.