Plt5 Small

🚀 plT5 Small

plT5 模型是基于 T5 的语言模型，在波兰语语料库上进行训练。这些模型针对原始 T5 的去噪目标进行了优化，可用于翻译、摘要生成、问答和阅读理解等任务。

🚀 快速开始

你可以使用以下代码加载 plT5 Small 模型：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

✨ 主要特性

• 多任务支持：支持翻译、摘要生成、问答和阅读理解等多种自然语言处理任务。
• 波兰语优化：在多个波兰语语料库上进行训练，对波兰语处理有较好的效果。

📦 安装指南

文档未提及具体安装步骤，你可以参考 transformers 库的官方文档进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

📚 详细文档

语料库

plT5 在六种不同的波兰语语料库上进行训练：

分词器

训练数据集使用 sentencepiece 一元模型将其分词为子词，词汇量大小为 50k 个词元。

🔧 技术细节

• 模型类型：基于 T5 的语言模型。
• 训练数据：使用了 CCNet Middle、CCNet Head、波兰国家语料库、Open Subtitles、维基百科和 Wolne Lektury 等语料库。

📄 许可证

本模型使用的许可证为 CC BY 4.0。

📖 引用

如果你使用了此模型，请引用以下论文：

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

👥 作者

该模型由 Allegro 机器学习研究团队 和 波兰科学院计算机科学研究所语言工程小组 训练。

你可以通过 klejbenchmark@allegro.pl 与我们联系。