Pyc2py Alpha2

🚀 ByT5 - Base

ByT5は、GoogleのT5のトークナイザーなしバージョンで、全体的にMT5のアーキテクチャに従っています。トークナイザーを必要とせず、生のUTF - 8バイトデータを直接処理でき、ノイジーなテキストデータの処理に優れています。

🚀 クイックスタート

ByT5はTransformerアーキテクチャに基づくモデルで、mC4データセットで平均20個のUTF - 8文字のスパンマスクを用いて事前学習されています。このモデルは下流タスクに使用する前に微調整が必要です。

✨ 主な機能

• トークナイザー不要：ByT5はトークナイザーなしのT5モデルで、生のUTF - 8バイトデータを直接処理できます。
• 事前学習データ：mC4のみで事前学習されており、何らかの教師付き学習は行われておらず、平均20個のUTF - 8文字のスパンマスクが適用されています。
• 下流タスクでは微調整が必要：このモデルは下流タスクに使用する前に微調整が必要です。
• ノイジーなテキストの処理能力が高い：ノイジーなテキストデータで優れた性能を発揮します。例えば、TweetQAタスクでは、google/byt5 - baseが[mt5 - base](https://huggingface.co/google/mt5 - base)を大きく上回っています。

💻 使用例

基本的な使用法

ByT5はトークナイザーを必要とせず、生のUTF - 8バイトデータを直接処理できます。

from transformers import T5ForConditionalGeneration
import torch

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')

input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + 3  # add 3 for special tokens
labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + 3  # add 3 for special tokens

loss = model(input_ids, labels=labels).loss # forward pass

高度な使用法

バッチ推論や学習の場合は、トークナイザークラスを使用してパディングすることをおすすめします。

from transformers import T5ForConditionalGeneration, AutoTokenizer

model = T5ForConditionalGeneration.from_pretrained('google/byt5-base')
tokenizer = AutoTokenizer.from_pretrained('google/byt5-base')

model_inputs = tokenizer(["Life is like a box of chocolates.", "Today is Monday."], padding="longest", return_tensors="pt")
labels = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest", return_tensors="pt").input_ids

loss = model(**model_inputs, labels=labels).loss # forward pass

📚 ドキュメント

論文情報

• タイトル：ByT5: Towards a token - free future with pre - trained byte - to - byte models
• 著者：Linting Xue, Aditya Barua, Noah Constant, Rami Al - Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel

モデルの利点

ほとんどの広く使用されている事前学習言語モデルは、単語またはサブワード単位のトークン列で動作し、テキストをトークン列にエンコードするためにトークナイザーが必要です。一方、トークンなしモデルは生のテキスト（バイトまたは文字）を直接処理し、多くの利点があります。任意の言語のテキストを直接処理でき、ノイズに対してよりロバストであり、複雑でエラーが発生しやすいテキスト前処理プロセスを排除することで技術的な負担を軽減します。

モデルアーキテクチャ

この論文では、標準的なTransformerアーキテクチャに最小限の変更を加えるだけで、バイト列を処理できることが示されています。研究チームは、パラメータ数、学習時のFLOPs、推論速度などのトレードオフを詳細に分析し、バイトレベルのモデルがトークンレベルのモデルと競争力があることを示しています。さらに、バイトレベルのモデルはノイズに対してよりロバストで、スペルや発音に敏感なタスクでより良い性能を発揮します。

モデルの公開

研究成果の一部として、研究チームはT5アーキテクチャに基づく事前学習済みのバイトレベルTransformerモデルのセットと、実験で使用されたすべてのコードとデータを公開しました。

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。