Byt5 Xxl

🚀 ByT5 - xxl

ByT5は、GoogleのT5のトークナイザーを使用しないバージョンで、一般的にMT5のアーキテクチャに従っています。ByT5は、平均20文字のUTF - 8文字のスパンマスクを使用して、mC4のみで事前学習され、教師あり学習は行われていません。したがって、このモデルは下流のタスクで使用する前に微調整する必要があります。ByT5は、ノイズの多いテキストデータで特に良好な性能を発揮します。例えば、google/byt5-xxlは、TweetQAでmt5-xxlを大幅に上回っています。

🚀 クイックスタート

ByT5は、生のUTF - 8バイトで動作し、トークナイザーを使用せずに利用できます。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration
import torch

model = T5ForConditionalGeneration.from_pretrained('google/byt5-xxl')

input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + 3  # add 3 for special tokens
labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + 3  # add 3 for special tokens

loss = model(input_ids, labels=labels).loss # forward pass

高度な使用法

バッチ推論や学習の場合は、パディングのためにトークナイザークラスを使用することをおすすめします。

from transformers import T5ForConditionalGeneration, AutoTokenizer

model = T5ForConditionalGeneration.from_pretrained('google/byt5-xxl')
tokenizer = AutoTokenizer.from_pretrained('google/byt5-xxl')

model_inputs = tokenizer(["Life is like a box of chocolates.", "Today is Monday."], padding="longest", return_tensors="pt")
labels = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest", return_tensors="pt").input_ids

loss = model(**model_inputs, labels=labels).loss # forward pass

📚 ドキュメント

概要

最も広く使用されている事前学習済み言語モデルは、単語またはサブワード単位に対応するトークンのシーケンスで動作します。テキストをトークンのシーケンスとしてエンコードするには、通常、モデルとは独立したアーティファクトとして作成されるトークナイザーが必要です。代わりに生のテキスト（バイトまたは文字）で直接動作するトークンフリーモデルには多くの利点があります。すなわち、どの言語のテキストもそのまま処理でき、ノイズに対してより堅牢であり、複雑でエラーが発生しやすいテキスト前処理パイプラインを削除することで技術的負債を最小限に抑えることができます。バイトまたは文字のシーケンスはトークンシーケンスよりも長いため、これまでのトークンフリーモデルに関する研究では、生のテキストで直接動作するコストを分散するために新しいモデルアーキテクチャを導入することが多かったです。この論文では、標準的なTransformerアーキテクチャを最小限の変更でバイトシーケンスを処理するために使用できることを示します。パラメータ数、学習時のFLOP数、推論速度の観点からトレードオフを慎重に分析し、バイトレベルのモデルがトークンレベルのモデルと競合できることを示します。また、バイトレベルのモデルはノイズに対して大幅に堅牢であり、綴りや発音に敏感なタスクでより良い性能を発揮することを実証します。私たちの貢献の一環として、T5アーキテクチャに基づく新しい事前学習済みバイトレベルのTransformerモデルのセットと、実験で使用したすべてのコードとデータを公開します。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。