Plt5 Large

🚀 plT5 Large

plT5 模型是基于 T5 的语言模型，在波兰语语料库上进行训练。这些模型针对原始 T5 去噪目标进行了优化。

🚀 快速开始

plT5 模型可通过以下代码示例快速使用：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")

✨ 主要特性

• 多任务支持：支持翻译、摘要、问答和阅读理解等多种任务。
• 基于 T5 架构：继承了 T5 模型的强大语言理解和生成能力。

📦 安装指南

暂未提供具体安装步骤，可参考 transformers 库的官方文档进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")

高级用法

暂未提供高级用法示例，可根据具体任务需求对模型进行微调。

📚 详细文档

语料库

plT5 在六种不同的波兰语语料库上进行训练：

分词器

训练数据集使用 sentencepiece 一元模型将其分词为子词，词汇表大小为 50k 个词元。

🔧 技术细节

训练数据集使用 sentencepiece 一元模型进行子词分词，词汇表大小为 50k 个词元，这种方式有助于处理未登录词和提高模型的泛化能力。

📄 许可证

CC BY 4.0

📚 引用

如果您使用此模型，请引用以下论文：

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

👥 作者

该模型由 Machine Learning Research Team at Allegro 和 Linguistic Engineering Group at Institute of Computer Science, Polish Academy of Sciences 训练。

您可以通过 klejbenchmark@allegro.pl 与我们联系。