T5 Base Swedish

🚀 Google T5模型

Google T5是一个强大的自然语言处理模型，它通过统一的文本到文本框架探索迁移学习的极限，在多个自然语言处理任务中取得了先进的成果。该模型基于特定的预训练数据集，相关研究成果发表在对应的论文中。

🚀 快速开始

此模型基于Google的T5架构，以下是相关信息：

• 预训练模型链接：Google's T5
• 预训练数据集：C4
• 论文链接：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
• 论文作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习是自然语言处理（NLP）中的一项强大技术，该技术先在数据丰富的任务上对模型进行预训练，然后在下游任务上进行微调。迁移学习的有效性催生了多种方法、方法论和实践。在本文中，我们通过引入一个统一的框架，将每个语言问题转化为文本到文本的格式，探索了NLP迁移学习技术的领域。我们的系统研究在数十个语言理解任务上比较了预训练目标、架构、无标签数据集、迁移方法和其他因素。通过将我们的探索见解与规模以及新的“Colossal Clean Crawled Corpus”相结合，我们在涵盖摘要生成、问答、文本分类等多个基准测试中取得了最先进的成果。为了促进未来NLP迁移学习的研究，我们发布了数据集、预训练模型和代码。

✨ 主要特性

• 统一框架：将各种语言问题转化为文本到文本的格式。
• 多任务表现：在摘要生成、问答、文本分类等多个基准测试中取得了先进成果。
• 资源开放：发布了数据集、预训练模型和代码，方便后续研究。

📚 详细文档

模型系列

此模型是在Huggingface Flax/Jax挑战期间使用Flax Jax在TPU上训练的一系列模型的一部分。

GPT模型

• 瑞典语GPT：Swedish Gpt
• 瑞典语GPT维基：Swedish gpt wiki
• 北欧GPT维基：Nordic gpt wiki
• 丹麦语GPT维基：Dansk gpt wiki
• 挪威语GPT维基：Norsk gpt wiki

RoBERTa模型

• 北欧RoBERTa维基：Nordic Roberta Wiki
• 瑞典语RoBERTa维基Oscar：Swe Roberta Wiki Oscar
• 瑞典语Scandi RoBERTa：Roberta Swedish Scandi
• 瑞典语RoBERTa：Roberta Swedish

瑞典语T5模型

• Swedish T5 model

📄 许可证

本项目采用Apache-2.0许可证。