Plt5 Small

🚀 plT5 Small

plT5 模型是基於 T5 的語言模型，在波蘭語語料庫上進行訓練。這些模型針對原始 T5 的去噪目標進行了優化，可用於翻譯、摘要生成、問答和閱讀理解等任務。

🚀 快速開始

你可以使用以下代碼加載 plT5 Small 模型：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

✨ 主要特性

• 多任務支持：支持翻譯、摘要生成、問答和閱讀理解等多種自然語言處理任務。
• 波蘭語優化：在多個波蘭語語料庫上進行訓練，對波蘭語處理有較好的效果。

📦 安裝指南

文檔未提及具體安裝步驟，你可以參考 transformers 庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

📚 詳細文檔

語料庫

plT5 在六種不同的波蘭語語料庫上進行訓練：

分詞器

訓練數據集使用 sentencepiece 一元模型將其分詞為子詞，詞彙量大小為 50k 個詞元。

🔧 技術細節

• 模型類型：基於 T5 的語言模型。
• 訓練數據：使用了 CCNet Middle、CCNet Head、波蘭國家語料庫、Open Subtitles、維基百科和 Wolne Lektury 等語料庫。

📄 許可證

本模型使用的許可證為 CC BY 4.0。

📖 引用

如果你使用了此模型，請引用以下論文：

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

👥 作者

該模型由 Allegro 機器學習研究團隊 和 波蘭科學院計算機科學研究所語言工程小組 訓練。

你可以通過 klejbenchmark@allegro.pl 與我們聯繫。