Flan T5 Small

🚀 FLAN - T5小模型卡片

FLAN - T5 small是一款语言模型，在相同参数数量下，相比其他模型在多任务处理和多语言支持上表现更优。它基于预训练的T5模型进行微调，能在零样本和少样本任务中展现出色性能，可用于推理、问答等多种自然语言处理任务。

🚀 快速开始

模型使用示例

以下是在transformers库中使用该模型的示例脚本。

使用PyTorch模型

在CPU上运行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度运行模型

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-small")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-small", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多语言支持：支持英语、西班牙语、日语、波斯语、印地语等多达180多种语言。
• 多任务处理：可用于翻译、问答、逻辑推理、科学知识问答、数学推理等多种自然语言处理任务。
• 零样本和少样本学习：基于预训练的T5模型进行微调，能在零样本和少样本任务中展现出色性能。

📦 安装指南

文档未提及具体安装命令，暂不提供安装指南。

📚 详细文档

模型详情

模型描述

模型用途

直接使用和下游使用

根据原始论文的模型卡片，该模型的主要用途是语言模型研究，包括零样本自然语言处理任务和上下文少样本学习自然语言处理任务的研究，如推理和问答；推进公平性和安全性研究，以及了解当前大语言模型的局限性。更多详情请参阅研究论文。

超出适用范围的使用

需要更多信息。

偏差、风险和局限性

本节信息摘自模型的官方模型卡片。

伦理考量和风险

FLAN - T5在未过滤明确内容或评估现有偏差的大量文本数据上进行了微调。因此，该模型本身可能容易生成同样不适当的内容，或复制底层数据中固有的偏差。

已知局限性

FLAN - T5尚未在现实世界应用中进行测试。

敏感使用

FLAN - T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练数据

该模型在多种任务的混合数据集上进行训练，包括下表（来自原始论文，图2）中描述的任务：

训练过程

根据原始论文的模型卡片：这些模型基于预训练的T5（Raffel等人，2020），并使用指令进行微调，以获得更好的零样本和少样本性能。每个T5模型大小对应一个微调后的Flan模型。该模型在TPU v3或TPU v4集群上使用[t5x](https://github.com/google - research/t5x)代码库和jax进行训练。

评估

测试数据、因素和指标

作者在涵盖多种语言（总共1836种）的各种任务上对模型进行了评估。以下表格展示了一些定量评估结果：

完整详情请查看研究论文。

评估结果

FLAN - T5 - Small的完整评估结果请参阅研究论文中的表3。

环境影响

可以使用机器学习影响计算器（来自Lacoste等人（2019））来估算碳排放。

• 硬件类型：谷歌云TPU集群 - TPU v3或TPU v4 | 芯片数量 ≥ 4。
• 使用时长：需要更多信息。
• 云服务提供商：GCP
• 计算区域：需要更多信息。
• 碳排放：需要更多信息。

引用

BibTeX：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

📄 许可证

本模型使用的许可证为Apache - 2.0。