オープンソースのByT5-smallモデル - 無料でのデプロイが可能、多言語テキスト処理に対応、ノイズデータにも非常に強い

ホーム

Byt5 Small

googleによって開発

ByT5はGoogleのT5のトークナイザーフリーバージョンで、生のUTF-8バイトを直接処理し、多言語テキスト処理をサポートし、ノイズデータに対して優れた性能を発揮します。

大規模言語モデル複数言語対応オープンソースライセンス:Apache-2.0 #バイトレベルの処理 #多言語サポート #ノイズ耐性

ダウンロード数 1.4M

リリース時間 : 3/2/2022

モデル概要

ByT5はT5アーキテクチャに基づくトークナイザーフリーの事前学習モデルで、トークン化せずにバイトシーケンスを直接処理し、複数の言語をサポートし、特にノイズテキストデータの処理に適しています。

モデル特徴

トークナイザーフリーデザイン

生のUTF-8バイトを直接処理し、トークナイザーが不要で、テキスト処理の流れを簡素化します。

多言語サポート

100以上の言語をサポートし、複数の言語のテキストデータを処理できます。

ノイズ耐性

スペルミスや非標準テキストなどのノイズテキストデータに対して優れた性能を発揮します。

統一アーキテクチャ

標準のTransformerアーキテクチャに基づいており、バイトシーケンスを処理するために最小限の変更のみが必要です。

モデル能力

テキスト生成

テキスト理解

多言語翻訳

ノイズテキスト処理

使用事例

テキスト生成

多言語テキスト生成

複数の言語のテキストコンテンツを生成し、国際化アプリケーションに適しています。

流暢な多言語テキストを生成できます。

テキスト翻訳

多言語翻訳

ある言語のテキストを別の言語に翻訳します。

複数の言語ペアで良好な性能を発揮します。

ノイズテキスト処理

ソーシャルメディアテキスト処理

スペルミスや非標準的な用法を含むソーシャルメディアテキストを処理します。

TweetQAなどのタスクでトークナイザーモデルよりも優れた性能を示します。

🚀 ByT5 - Small

ByT5は、GoogleのT5のトークナイザーを必要としないバージョンで、一般的にMT5のアーキテクチャに従っています。このモデルは、下流タスクで使用する前にファインチューニングする必要がありますが、ノイズの多いテキストデータで特に良好な性能を発揮します。

🚀 クイックスタート

ByT5は、トークナイザーなしで生のUTF - 8バイトで動作します。以下に基本的な使用例を示します。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration
import torch

model = T5ForConditionalGeneration.from_pretrained('google/byt5-small')

input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + 3  # add 3 for special tokens
labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + 3  # add 3 for special tokens

loss = model(input_ids, labels=labels).loss # forward pass

高度な使用法

バッチ推論やトレーニングの場合は、パディングのためにトークナイザークラスを使用することをおすすめします。

from transformers import T5ForConditionalGeneration, AutoTokenizer

model = T5ForConditionalGeneration.from_pretrained('google/byt5-small')
tokenizer = AutoTokenizer.from_pretrained('google/byt5-small')

model_inputs = tokenizer(["Life is like a box of chocolates.", "Today is Monday."], padding="longest", return_tensors="pt")
labels = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest", return_tensors="pt").input_ids

loss = model(**model_inputs, labels=labels).loss # forward pass

📚 ドキュメント

概要

ほとんどの広く使用されている事前学習言語モデルは、単語またはサブワード単位に対応するトークンのシーケンスで動作します。テキストをトークンのシーケンスとしてエンコードするにはトークナイザーが必要で、これは通常、モデルとは独立したアーティファクトとして作成されます。代わりに生のテキスト（バイトまたは文字）で直接動作するトークンフリーのモデルには多くの利点があります。それらはどの言語のテキストもそのまま処理でき、ノイズに対してより強く、複雑でエラーが発生しやすいテキスト前処理パイプラインを削除することで技術的負債を最小限に抑えます。この論文では、標準的なTransformerアーキテクチャを最小限の変更でバイトシーケンスを処理するために使用できることを示しています。

モデル画像

論文情報

論文: ByT5: Towards a token-free future with pre-trained byte-to-byte models
著者: Linting Xue, Aditya Barua, Noah Constant, Rami Al - Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel