🚀 plT5 Large
plT5 模型是基于 T5 的语言模型,在波兰语语料库上进行训练。这些模型针对原始 T5 去噪目标进行了优化。
🚀 快速开始
plT5 模型可通过以下代码示例快速使用:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")
✨ 主要特性
- 多任务支持:支持翻译、摘要、问答和阅读理解等多种任务。
- 基于 T5 架构:继承了 T5 模型的强大语言理解和生成能力。
📦 安装指南
暂未提供具体安装步骤,可参考 transformers
库的官方文档进行安装。
💻 使用示例
基础用法
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")
高级用法
暂未提供高级用法示例,可根据具体任务需求对模型进行微调。
📚 详细文档
语料库
plT5 在六种不同的波兰语语料库上进行训练:
属性 |
详情 |
模型类型 |
基于 T5 的语言模型 |
训练数据 |
CCNet Middle、CCNet Head、National Corpus of Polish、Open Subtitles、Wikipedia、Wolne Lektury |
分词器
训练数据集使用 sentencepiece 一元模型将其分词为子词,词汇表大小为 50k 个词元。
🔧 技术细节
训练数据集使用 sentencepiece 一元模型进行子词分词,词汇表大小为 50k 个词元,这种方式有助于处理未登录词和提高模型的泛化能力。
📄 许可证
CC BY 4.0
📚 引用
如果您使用此模型,请引用以下论文:
@article{chrabrowa2022evaluation,
title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
journal={arXiv preprint arXiv:2205.08808},
year={2022}
}
👥 作者
该模型由 Machine Learning Research Team at Allegro 和 Linguistic Engineering Group at Institute of Computer Science, Polish Academy of Sciences 训练。
您可以通过 klejbenchmark@allegro.pl 与我们联系。