T5 Base Swedish

🚀 Google T5模型

Google T5是一個強大的自然語言處理模型，它通過統一的文本到文本框架探索遷移學習的極限，在多個自然語言處理任務中取得了先進的成果。該模型基於特定的預訓練數據集，相關研究成果發表在對應的論文中。

🚀 快速開始

此模型基於Google的T5架構，以下是相關信息：

• 預訓練模型鏈接：Google's T5
• 預訓練數據集：C4
• 論文鏈接：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
• 論文作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是自然語言處理（NLP）中的一項強大技術，該技術先在數據豐富的任務上對模型進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個統一的框架，將每個語言問題轉化為文本到文本的格式，探索了NLP遷移學習技術的領域。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模以及新的“Colossal Clean Crawled Corpus”相結合，我們在涵蓋摘要生成、問答、文本分類等多個基準測試中取得了最先進的成果。為了促進未來NLP遷移學習的研究，我們發佈了數據集、預訓練模型和代碼。

✨ 主要特性

• 統一框架：將各種語言問題轉化為文本到文本的格式。
• 多任務表現：在摘要生成、問答、文本分類等多個基準測試中取得了先進成果。
• 資源開放：發佈了數據集、預訓練模型和代碼，方便後續研究。

📚 詳細文檔

模型系列

此模型是在Huggingface Flax/Jax挑戰期間使用Flax Jax在TPU上訓練的一系列模型的一部分。

GPT模型

• 瑞典語GPT：Swedish Gpt
• 瑞典語GPT維基：Swedish gpt wiki
• 北歐GPT維基：Nordic gpt wiki
• 丹麥語GPT維基：Dansk gpt wiki
• 挪威語GPT維基：Norsk gpt wiki

RoBERTa模型

• 北歐RoBERTa維基：Nordic Roberta Wiki
• 瑞典語RoBERTa維基Oscar：Swe Roberta Wiki Oscar
• 瑞典語Scandi RoBERTa：Roberta Swedish Scandi
• 瑞典語RoBERTa：Roberta Swedish

瑞典語T5模型

• Swedish T5 model

📄 許可證

本項目採用Apache-2.0許可證。