🚀 Switch Transformers C - 2048エキスパート (3.1 TBに対して1.6Tパラメータ)
Switch Transformersは、Masked Language Modeling (MLM) タスクで学習されたMixture of Experts (MoE) モデルです。このモデルは、大規模な言語モデルの学習において、T5よりも高速な学習と、微調整タスクでの優れた性能を実現します。
📚 目次
- TL;DR
- モデルの詳細
- 使用方法
- 用途
- バイアス、リスク、制限事項
- 学習の詳細
- 評価
- 環境への影響
- 引用
- モデルカードの作成者
📋 TL;DR
Switch Transformersは、Masked Language Modeling (MLM) タスクで学習されたMixture of Experts (MoE) モデルです。モデルアーキテクチャは古典的なT5に似ていますが、Feed Forward層が「エキスパート」MLPを含むSparse MLP層に置き換えられています。元の論文によると、このモデルは学習速度を向上させ（スケーリング特性）、微調整タスクでT5よりも優れた性能を発揮します。
要約の冒頭で述べられているように：
我々は、「Colossal Clean Crawled Corpus」で最大1兆パラメータのモデルを事前学習することで、現在の言語モデルの規模を拡大し、T5 - XXLモデルよりも4倍の速度向上を達成しました。
免責事項: このモデルカードの内容はHugging Faceチームによって作成され、一部は元の論文からコピーされています。
📊 モデルの詳細
モデルの説明
💻 使用方法
これらのチェックポイントはMasked - Language Modeling (MLM) タスクで学習されています。したがって、下流タスクで「すぐに使える」状態ではありません。微調整された重みを使用するにはFLAN - T5を確認するか、このノートブックに従って独自のMoEを微調整することができます。
以下に、transformersでモデルを使用する例を示します。ただし、このモデルは非常に大きいため、accelerateのディスクオフロードを使用することを検討してください。
Pytorchモデルの使用
CPUでモデルを実行する
展開するにはクリック
from transformers import AutoTokenizer, SwitchTransformersForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained("google/switch-c-2048")
model = SwitchTransformersForConditionalGeneration.from_pretrained("google/switch-c-2048", device_map="auto", offload_folder=<OFFLOAD_FOLDER>)
input_text = "A <extra_id_0> walks into a bar a orders a <extra_id_1> with <extra_id_2> pinch of <extra_id_3>."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))
>>> <pad> <extra_id_0> man<extra_id_1> beer<extra_id_2> a<extra_id_3> salt<extra_id_4>.</s>
GPUでモデルを実行する
展開するにはクリック
from transformers import AutoTokenizer, SwitchTransformersForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained("google/switch-c-2048")
model = SwitchTransformersForConditionalGeneration.from_pretrained("google/switch-c-2048", device_map="auto", offload_folder=<OFFLOAD_FOLDER>)
input_text = "A <extra_id_0> walks into a bar a orders a <extra_id_1> with <extra_id_2> pinch of <extra_id_3>."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to(0)
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))
>>> <pad> <extra_id_0> man<extra_id_1> beer<extra_id_2> a<extra_id_3> salt<extra_id_4>.</s>
異なる精度でGPUでモデルを実行する
BF16
展開するにはクリック
from transformers import AutoTokenizer, SwitchTransformersForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained("google/switch-c-2048")
model = SwitchTransformersForConditionalGeneration.from_pretrained("google/switch-c-2048", device_map="auto", torch_dtype=torch.bfloat16, offload_folder=<OFFLOAD_FOLDER>)
input_text = "A <extra_id_0> walks into a bar a orders a <extra_id_1> with <extra_id_2> pinch of <extra_id_3>."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to(0)
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))
>>> <pad> <extra_id_0> man<extra_id_1> beer<extra_id_2> a<extra_id_3> salt<extra_id_4>.</s>
INT8
展開するにはクリック
from transformers import AutoTokenizer, SwitchTransformersForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained("google/switch-c-2048")
model = SwitchTransformersForConditionalGeneration.from_pretrained("google/switch-c-2048", device_map="auto", offload_folder=<OFFLOAD_FOLDER>)
input_text = "A <extra_id_0> walks into a bar a orders a <extra_id_1> with <extra_id_2> pinch of <extra_id_3>."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to(0)
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))
>>> <pad> <extra_id_0> man<extra_id_1> beer<extra_id_2> a<extra_id_3> salt<extra_id_4>.</s>
📌 用途
直接的な使用と下流の使用
詳細については、研究論文を参照してください。
範囲外の使用
詳細情報が必要です。
⚠️ バイアス、リスク、制限事項
倫理的な考慮事項とリスク
詳細情報が必要です。
既知の制限事項
詳細情報が必要です。
敏感な使用
詳細情報が必要です。
📈 学習の詳細
学習データ
このモデルは、Colossal Clean Crawled Corpus (C4) データセットを使用して、T5と同じ手順でMasked Language Modelingタスクで学習されました。
学習手順
元の論文のモデルカードによると、このモデルはTPU v3またはTPU v4ポッドで、t5xコードベースとjaxを使用して学習されました。
🧪 評価
テストデータ、要因、指標
著者らは、様々なタスクでモデルを評価し、結果をT5と比較しました。定量的な評価の一部を以下の表に示します。
詳細については、研究論文を参照してください。
結果
Switch Transformersの完全な結果については、研究論文の表5を参照してください。
🌱 環境への影響
炭素排出量は、Lacoste et al. (2019)で提示されたMachine Learning Impact calculatorを使用して推定できます。
- ハードウェアタイプ: Google Cloud TPU Pods - TPU v3またはTPU v4 | チップ数 ≥ 4。
- 使用時間: 詳細情報が必要です。
- クラウドプロバイダー: GCP
- コンピュートリージョン: 詳細情報が必要です。
- 排出された炭素: 詳細情報が必要です。
📖 引用
BibTeX:
@misc{https://doi.org/10.48550/arxiv.2101.03961,
doi = {10.48550/ARXIV.2101.03961},
url = {https://arxiv.org/abs/2101.03961},
author = {Fedus, William and Zoph, Barret and Shazeer, Noam},
keywords = {Machine Learning (cs.LG), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity},
publisher = {arXiv},
year = {2021},
copyright = {arXiv.org perpetual, non-exclusive license}
}
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応