T5 Base Japanese Web

🚀 t5-base-japanese-web (支持字節回退，詞表大小32K)

megagonlabs/t5-base-japanese-web 是一個基於T5（文本到文本遷移變換器）架構，在日語網頁文本上預訓練的模型。訓練代碼可在 GitHub 上獲取。該模型的詞表大小為32K，也有8K詞表大小的版本。

✨ 主要特性

• 基於T5架構，適用於文本到文本的轉換任務。
• 在大規模日語網頁文本上進行預訓練。
• 支持字節回退，詞表大小為32K。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

文檔未提供代碼示例，故跳過該章節。

📚 詳細文檔

語料庫

本模型預訓練使用了以下語料庫：

• mC4/3.0.1 中的日語部分（採用 Tensorflow原生格式）
  • 87,425,304 個網頁
  • TFRecord 格式大小為 782 GB
• wiki40b/1.3.0 中的 日語部分
  • 828,236 篇文章（2,073,584 個示例）
  • TFRecord 格式大小為 2 GB

分詞器

使用日語維基百科訓練 SentencePiece 分詞器。

• 詞表大小：32,000
• 字節回退：啟用

參數

• T5 模型：models/t5.1.1.base.gin
• 訓練步數：1,000,000 使用 TPU v3 - 8 訓練約耗時 126 小時。

🔧 技術細節

文檔中關於技術細節的描述暫未達到50字以上的具體說明要求，故跳過該章節。

📄 許可證

本模型使用 Apache License 2.0 許可證。

🔗 相關模型

• 日語T5預訓練模型 (sonoisa/t5-base-japanese)
• 日語T5預訓練模型 (sonoisa/t5-base-japanese-mC4-Wikipedia)

📚 引用信息

mC4

包含來自 mC4 的信息，該數據集遵循 ODC 歸屬許可協議。

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

wiki40b

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}