Pyc2py Alpha2

🚀 ByT5 - Base

ByT5是谷歌T5的無分詞器版本，總體上遵循MT5的架構。它無需分詞器，能直接處理原始的UTF - 8字節數據，在處理嘈雜文本數據方面表現出色。

🚀 快速開始

ByT5是基於Transformer架構的模型，在mC4數據集上進行預訓練，平均跨度掩碼為20個UTF - 8字符。該模型在用於下游任務前需要進行微調。

✨ 主要特性

• 無分詞器：ByT5是無分詞器版本的T5模型，可直接處理原始的UTF - 8字節數據。
• 預訓練數據：僅在mC4上進行預訓練，未進行任何監督訓練，平均跨度掩碼為20個UTF - 8字符。
• 下游任務需微調：該模型在用於下游任務前需要進行微調。
• 處理嘈雜文本能力強：在嘈雜文本數據上表現出色，例如在TweetQA任務中，google/byt5 - base顯著優於[mt5 - base](https://huggingface.co/google/mt5 - base)。

💻 使用示例

基礎用法

ByT5可直接處理原始的UTF - 8字節數據，無需分詞器：

from transformers import T5ForConditionalGeneration
import torch

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')

input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + 3  # add 3 for special tokens
labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + 3  # add 3 for special tokens

loss = model(input_ids, labels=labels).loss # forward pass

高級用法

對於批量推理和訓練，建議使用分詞器類進行填充：

from transformers import T5ForConditionalGeneration, AutoTokenizer

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')
tokenizer = AutoTokenizer.from_pretrained('google/byt5-base')

model_inputs = tokenizer(["Life is like a box of chocolates.", "Today is Monday."], padding="longest", return_tensors="pt")
labels = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest", return_tensors="pt").input_ids

loss = model(**model_inputs, labels=labels).loss # forward pass

📚 詳細文檔

論文信息

• 標題：ByT5: Towards a token - free future with pre - trained byte - to - byte models
• 作者：Linting Xue, Aditya Barua, Noah Constant, Rami Al - Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel

模型優勢

大多數廣泛使用的預訓練語言模型基於詞或子詞單元的標記序列進行操作，需要分詞器將文本編碼為標記序列。而無標記模型直接處理原始文本（字節或字符），具有諸多優勢：能直接處理任何語言的文本，對噪聲更具魯棒性，並且通過去除複雜且易出錯的文本預處理流程減少了技術負擔。

模型架構

該論文表明，只需對標準的Transformer架構進行最小的修改，就可以處理字節序列。研究人員仔細分析了參數數量、訓練FLOPs和推理速度等方面的權衡，並表明字節級模型與標記級模型具有競爭力。此外，字節級模型對噪聲更具魯棒性，在對拼寫和發音敏感的任務上表現更好。

模型發佈

作為研究成果的一部分，研究人員發佈了一組基於T5架構的預訓練字節級Transformer模型，以及實驗中使用的所有代碼和數據。

📄 許可證

本項目採用Apache - 2.0許可證。