Flan T5 Large

🚀 FLAN - T5 large模型卡片

FLAN - T5 large是基於預訓練T5模型進行微調的語言模型，在超過1000個額外任務上進行了微調，覆蓋更多語言，能在零樣本和少樣本任務中表現出色，可用於語言研究、推理、問答等場景。

🚀 快速開始

模型使用示例

在transformers庫中使用該模型的示例腳本如下：

使用PyTorch模型

在CPU上運行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上運行模型

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上使用不同精度運行模型

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多語言支持：支持英語、西班牙語、日語、波斯語、印地語等多種語言。
• 任務多樣性：可用於文本到文本生成任務，如翻譯、問答、邏輯推理、科學知識問答等。
• 少樣本和零樣本性能：基於預訓練T5模型微調，在零樣本和少樣本任務中表現出色。

📦 安裝指南

文檔未提及具體安裝步驟，可參考Hugging Face的transformers庫安裝說明來安裝所需依賴。

📚 詳細文檔

模型詳情

模型描述

應用場景

直接使用和下游使用

該模型主要用於語言模型研究，包括零樣本NLP任務和上下文少樣本學習NLP任務，如推理和問答；推動公平性和安全性研究，以及瞭解當前大語言模型的侷限性。詳情可參考研究論文。

超出適用範圍的使用

需要更多信息。

偏差、風險和侷限性

倫理考量和風險

FLAN - T5在未對明確內容進行過濾或對現有偏差進行評估的大量文本數據語料庫上進行微調。因此，該模型本身可能容易生成同樣不適當的內容或複製基礎數據中固有的偏差。

已知侷限性

FLAN - T5尚未在現實世界應用中進行測試。

敏感使用

FLAN - T5不應應用於任何不可接受的用例，例如生成辱罵性言論。

訓練詳情

訓練數據

該模型在多種任務的混合數據上進行訓練，包括原論文圖2中描述的任務：

訓練過程

這些模型基於預訓練的T5（Raffel等人，2020），並使用指令進行微調，以獲得更好的零樣本和少樣本性能。每個T5模型大小對應一個微調後的Flan模型。該模型在TPU v3或TPU v4 pod上使用t5x代碼庫和jax進行訓練。

評估

測試數據、因素和指標

作者在涵蓋多種語言（總共1836種）的各種任務上對模型進行了評估。定量評估如下： 完整詳情請查看研究論文。

評估結果

FLAN - T5 - Large的完整評估結果請查看研究論文中的表3。

環境影響

可以使用機器學習影響計算器（來自Lacoste等人（2019））來估算碳排放。

引用

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

📄 許可證

本模型使用的許可證為Apache - 2.0。