Pko T5 Base

🚀 pko-t5-base

pko-t5は、韓国語専用データで学習されたt5 v1.1モデルです。ソースコード

韓国語をトークナイズするために、OOVのないBBPEを使用し、韓国語データ（ナムウィキ、ウィキペディア、モ두エ말ムンチなど）をT5のspan corruptionタスクを用いて教師なし学習のみで学習を行いました。

pko-t5を使用する際には、対象タスクにファインチューニングして使用することをおすすめします。

🚀 クイックスタート

transformersのAPIを使用してアクセスすることができます。トークナイザーを使用する際には、T5TokenizerではなくT5TokenizerFastを使用してください。モデルはT5ForConditionalGenerationをそのまま利用すればよいです。

💻 使用例

基本的な使用法

from transformers import T5TokenizerFast, T5ForConditionalGeneration

tokenizer = T5TokenizerFast.from_pretrained('paust/pko-t5-base')
model = T5ForConditionalGeneration.from_pretrained('paust/pko-t5-base')

input_ids = tokenizer(["qa question: 당신의 이름은 무엇인가요?"]).input_ids
labels = tokenizer(["T5 입니다."]).input_ids
outputs = model(input_ids=input_ids, labels=labels)

print(f"loss={outputs.loss} logits={outputs.logits}")

📚 ドキュメント

Klue評価 (dev)

• FT: シングルタスクファインチューニング / MT: マルチタスクファインチューニング
• ベースライン: KLUE論文で紹介されたdev setに対するSOTAスコア

📄 ライセンス

PAUSTが作成したpko-t5は、MIT licenseの下で公開されています。