Pko T5 Base

🚀 pko-t5-base

pko-t5-base是使用韓語專用數據訓練的 T5 v1.1模型，它能有效處理韓語相關任務，為韓語自然語言處理提供了強大支持。

🚀 快速開始

pko-t5使用無OOV的BBPE代替sentencepiece對韓語進行分詞，並使用韓語數據（如나무위키、維基百科、 모두의말뭉치等），僅通過T5的跨度損壞任務進行無監督學習。使用pko-t5時，建議針對目標任務進行微調。

可以使用transformers的API訪問該模型。使用分詞器時，請使用 T5TokenizerFast 而非 T5Tokenizer，模型可直接使用 T5ForConditionalGeneration。

✨ 主要特性

• 韓語專用訓練：使用韓語專用數據進行訓練，更適配韓語處理任務。
• 分詞方式優化：採用無OOV的BBPE進行韓語分詞，提升分詞效果。
• 無監督學習：僅通過T5的跨度損壞任務進行無監督學習。

📦 安裝指南

文檔未提及安裝步驟，可參考transformers庫的安裝方法來安裝相關依賴。

💻 使用示例

基礎用法

from transformers import T5TokenizerFast, T5ForConditionalGeneration

tokenizer = T5TokenizerFast.from_pretrained('paust/pko-t5-base')
model = T5ForConditionalGeneration.from_pretrained('paust/pko-t5-base')

input_ids = tokenizer(["qa question: 당신의 이름은 무엇인가요?"]).input_ids
labels = tokenizer(["T5 입니다."]).input_ids
outputs = model(input_ids=input_ids, labels=labels)

print(f"loss={outputs.loss} logits={outputs.logits}")

📚 詳細文檔

Klue評估 (dev)

• FT：單任務微調 / MT：多任務微調
• 基線模型：KLUE論文中介紹的dev set的SOTA分數

📄 許可證

由PAUST開發的pko-t5基於MIT許可證開源。