Flan T5 Small

🚀 FLAN-T5 small モデルカード

FLAN-T5 smallは、多言語に対応したテキスト生成モデルです。このモデルは、様々なNLPタスクに対応しており、研究や開発に役立ちます。

🚀 クイックスタート

このモデルは、多言語に対応したテキスト生成モデルです。以下に、transformersライブラリを使用してモデルを使用する例を示します。

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高度な使用法

GPUでの実行

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

異なる精度でGPUで実行する

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主な機能

• 多言語対応：英語、スペイン語、日本語など、100以上の言語に対応しています。
• 多様なタスク対応：翻訳、質問応答、論理推論など、様々なNLPタスクに対応しています。
• 事前学習済みモデルの微調整：事前学習済みのT5モデルを微調整することで、ゼロショットやフューションショットの性能を向上させています。

📦 インストール

このモデルはtransformersライブラリを使用して使用できます。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデル詳細

使用用途

直接使用と下流の使用

このモデルの主な使用用途は、言語モデルの研究です。具体的には、ゼロショットNLPタスクや文脈内のフューションショット学習NLPタスク（推論や質問応答など）の研究、公平性と安全性の研究の推進、および現在の大規模言語モデルの制限の理解です。詳細については、研究論文を参照してください。

範囲外の使用

詳細情報は必要です。

バイアス、リスク、および制限

倫理的な考慮事項とリスク

Flan-T5は、明示的なコンテンツについてフィルタリングされていない、または既存のバイアスについて評価されていない大量のテキストデータで微調整されています。その結果、モデル自体は、同等に不適切なコンテンツを生成したり、基盤となるデータに内在するバイアスを再現したりする可能性があります。

既知の制限

Flan-T5は、実世界のアプリケーションでテストされていません。

敏感な使用

Flan-T5は、許容できないユースケース（例：虐待的なスピーチの生成）には適用しないでください。

学習詳細

学習データ

このモデルは、以下の表に記載されているタスクを含むタスクの混合物で学習されています（元の論文、図2より）。

学習手順

これらのモデルは、事前学習済みのT5（Raffel et al., 2020）に基づいており、ゼロショットとフューションショットの性能を向上させるために指示付きで微調整されています。T5モデルのサイズごとに1つの微調整されたFlanモデルがあります。モデルは、TPU v3またはTPU v4ポッドで、t5xコードベースとjaxを使用して学習されています。

評価

テストデータ、要因、およびメトリクス

著者らは、様々な言語（合計1836言語）をカバーする様々なタスクでモデルを評価しました。以下の表に、いくつかの定量的な評価を示します。 詳細については、研究論文を参照してください。

結果

FLAN-T5-Smallの完全な結果については、研究論文の表3を参照してください。

環境への影響

炭素排出量は、Lacoste et al. (2019)に提示されているMachine Learning Impact calculatorを使用して推定できます。

• ハードウェアタイプ：Google Cloud TPU Pods - TPU v3またはTPU v4 | チップ数 ≥ 4
• 使用時間：詳細情報は必要です
• クラウドプロバイダー：GCP
• コンピュートリージョン：詳細情報は必要です
• 排出された炭素量：詳細情報は必要です

引用

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。