Flan T5 Xl

🚀 FLAN - T5 XL模型卡片

FLAN - T5 XL是基於預訓練T5模型微調的語言模型，在超1000個額外任務上微調，支持多語言，能用於零樣本和少樣本學習的NLP任務，如推理、問答等。

🚀 快速開始

模型使用示例

在transformers庫中使用該模型的示例腳本如下：

使用PyTorch模型

在CPU上運行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上運行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度運行模型

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多語言支持：支持英語、西班牙語、日語、波斯語、印地語、法語、中文等眾多語言。
• 多任務處理：可用於文本生成、問答、邏輯推理、科學知識問答、布爾表達式計算、數學推理等多種任務。

📦 安裝指南

文檔未提及具體安裝命令，跳過該章節。

💻 使用示例

基礎用法

文檔中已給出在不同環境（CPU、GPU、不同精度）下運行模型進行翻譯任務的代碼示例，如在CPU上運行模型的代碼：

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高級用法

文檔未提及高級用法相關代碼示例，跳過該部分。

📚 詳細文檔

模型詳情

模型描述

用途

直接使用和下游使用

作者在原論文的模型卡片中指出：該模型的主要用途是語言模型研究，包括零樣本NLP任務和上下文少樣本學習NLP任務的研究，如推理和問答；推動公平性和安全性研究，以及瞭解當前大語言模型的侷限性。更多詳情見研究論文。

超出適用範圍的使用

需要更多信息。

偏差、風險和侷限性

此部分信息摘自模型的官方模型卡片：

• 倫理考量和風險：Flan - T5在大量文本數據上進行微調，這些數據未經過明確內容過濾或現有偏差評估。因此，模型本身可能容易生成不當內容或複製底層數據中固有的偏差。
• 已知侷限性：Flan - T5尚未在現實世界應用中進行測試。
• 敏感使用：Flan - T5不應應用於任何不可接受的用例，例如生成辱罵性言論。

訓練詳情

訓練數據

該模型在多種任務的混合數據上進行訓練，包括下表（來自原論文圖2）中描述的任務：

訓練過程

根據原論文的模型卡片：這些模型基於預訓練的T5（Raffel等人，2020），並使用指令進行微調，以獲得更好的零樣本和少樣本性能。每個T5模型大小對應一個微調後的Flan模型。該模型在TPU v3或TPU v4集群上使用t5x代碼庫和jax進行訓練。

評估

測試數據、因素和指標

作者在涵蓋多種語言（總共1836種）的各種任務上對模型進行了評估。以下表格展示了一些定量評估結果： 完整詳情請查看研究論文。

結果

FLAN - T5 - XL的完整結果請查看研究論文中的表3。

環境影響

可以使用Lacoste等人（2019）提出的機器學習影響計算器來估算碳排放：

• 硬件類型：谷歌雲TPU集群 - TPU v3或TPU v4，芯片數量≥4。
• 使用時長：需要更多信息。
• 雲服務提供商：GCP。
• 計算區域：需要更多信息。
• 碳排放：需要更多信息。

引用

BibTeX：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

數據集和標籤

• 支持語言：英語、法語、羅馬尼亞語、德語、多語言
• 標籤：文本到文本生成
• 數據集：svakulenk0/qrecc、taskmaster2、djaym7/wiki_dialog、deepmind/code_contests、lambada、gsm8k、aqua_rat、esnli、quasc、qed

示例

📄 許可證

本模型使用的許可證為Apache - 2.0。