Plt5 Large

🚀 plT5 Large

plT5 模型是基於 T5 的語言模型，在波蘭語語料庫上進行訓練。這些模型針對原始 T5 去噪目標進行了優化。

🚀 快速開始

plT5 模型可通過以下代碼示例快速使用：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")

✨ 主要特性

• 多任務支持：支持翻譯、摘要、問答和閱讀理解等多種任務。
• 基於 T5 架構：繼承了 T5 模型的強大語言理解和生成能力。

📦 安裝指南

暫未提供具體安裝步驟，可參考 transformers 庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")

高級用法

暫未提供高級用法示例，可根據具體任務需求對模型進行微調。

📚 詳細文檔

語料庫

plT5 在六種不同的波蘭語語料庫上進行訓練：

分詞器

訓練數據集使用 sentencepiece 一元模型將其分詞為子詞，詞彙表大小為 50k 個詞元。

🔧 技術細節

訓練數據集使用 sentencepiece 一元模型進行子詞分詞，詞彙表大小為 50k 個詞元，這種方式有助於處理未登錄詞和提高模型的泛化能力。

📄 許可證

CC BY 4.0

📚 引用

如果您使用此模型，請引用以下論文：

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

👥 作者

該模型由 Machine Learning Research Team at Allegro 和 Linguistic Engineering Group at Institute of Computer Science, Polish Academy of Sciences 訓練。

您可以通過 klejbenchmark@allegro.pl 與我們聯繫。