Flan T5 Xl

🚀 FLAN - T5 XL模型卡片

FLAN - T5 XL是基于预训练T5模型微调的语言模型，在超1000个额外任务上微调，支持多语言，能用于零样本和少样本学习的NLP任务，如推理、问答等。

🚀 快速开始

模型使用示例

在transformers库中使用该模型的示例脚本如下：

使用PyTorch模型

在CPU上运行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度运行模型

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多语言支持：支持英语、西班牙语、日语、波斯语、印地语、法语、中文等众多语言。
• 多任务处理：可用于文本生成、问答、逻辑推理、科学知识问答、布尔表达式计算、数学推理等多种任务。

📦 安装指南

文档未提及具体安装命令，跳过该章节。

💻 使用示例

基础用法

文档中已给出在不同环境（CPU、GPU、不同精度）下运行模型进行翻译任务的代码示例，如在CPU上运行模型的代码：

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高级用法

文档未提及高级用法相关代码示例，跳过该部分。

📚 详细文档

模型详情

模型描述

用途

直接使用和下游使用

作者在原论文的模型卡片中指出：该模型的主要用途是语言模型研究，包括零样本NLP任务和上下文少样本学习NLP任务的研究，如推理和问答；推动公平性和安全性研究，以及了解当前大语言模型的局限性。更多详情见研究论文。

超出适用范围的使用

需要更多信息。

偏差、风险和局限性

此部分信息摘自模型的官方模型卡片：

• 伦理考量和风险：Flan - T5在大量文本数据上进行微调，这些数据未经过明确内容过滤或现有偏差评估。因此，模型本身可能容易生成不当内容或复制底层数据中固有的偏差。
• 已知局限性：Flan - T5尚未在现实世界应用中进行测试。
• 敏感使用：Flan - T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练数据

该模型在多种任务的混合数据上进行训练，包括下表（来自原论文图2）中描述的任务：

训练过程

根据原论文的模型卡片：这些模型基于预训练的T5（Raffel等人，2020），并使用指令进行微调，以获得更好的零样本和少样本性能。每个T5模型大小对应一个微调后的Flan模型。该模型在TPU v3或TPU v4集群上使用t5x代码库和jax进行训练。

评估

测试数据、因素和指标

作者在涵盖多种语言（总共1836种）的各种任务上对模型进行了评估。以下表格展示了一些定量评估结果： 完整详情请查看研究论文。

结果

FLAN - T5 - XL的完整结果请查看研究论文中的表3。

环境影响

可以使用Lacoste等人（2019）提出的机器学习影响计算器来估算碳排放：

• 硬件类型：谷歌云TPU集群 - TPU v3或TPU v4，芯片数量≥4。
• 使用时长：需要更多信息。
• 云服务提供商：GCP。
• 计算区域：需要更多信息。
• 碳排放：需要更多信息。

引用

BibTeX：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

数据集和标签

• 支持语言：英语、法语、罗马尼亚语、德语、多语言
• 标签：文本到文本生成
• 数据集：svakulenk0/qrecc、taskmaster2、djaym7/wiki_dialog、deepmind/code_contests、lambada、gsm8k、aqua_rat、esnli、quasc、qed

示例

📄 许可证

本模型使用的许可证为Apache - 2.0。