Vikhrt5 240m

🚀 FLAN - T5 base模型卡

FLAN - T5 base是一款用於文本生成任務的模型，可處理問答、翻譯等多種任務，在自然語言處理研究領域有重要價值。

🚀 快速開始

以下是在transformers中使用該模型的示例腳本。

💻 使用示例

基礎用法

在CPU上運行模型：

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("AlexWortega/Flan_base_translated")
model = T5ForConditionalGeneration.from_pretrained("AlexWortega/Flan_base_translated")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高級用法

在GPU上運行模型：

# pip install accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("AlexWortega/Flan_base_translated")
model = T5ForConditionalGeneration.from_pretrained("AlexWortega/Flan_base_translated", device_map="auto")

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

使用不同精度在GPU上運行模型：

FP16

# pip install accelerate
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("AlexWortega/Flan_base_translated")
model = T5ForConditionalGeneration.from_pretrained("AlexWortega/Flan_base_translated", device_map="auto", torch_dtype=torch.float16)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

INT8

# pip install bitsandbytes accelerate
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("AlexWortega/Flan_base_translated")
model = T5ForConditionalGeneration.from_pretrained("AlexWortega/Flan_base_translated", device_map="auto", load_in_8bit=True)

input_text = "translate English to German: How old are you?"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

支持的語言

• 英語
• 俄語
• 多語言

標籤

• 文本到文本生成

示例任務

模型支持多種任務，以下是一些示例：

數據集

• svakulenk0/qrecc
• taskmaster2
• djaym7/wiki_dialog
• deepmind/code_contests
• lambada
• gsm8k
• aqua_rat
• esnli
• quasc
• qed

📚 詳細文檔

直接使用和下游使用

原論文的模型卡（鏈接）中提到：該模型的主要用途是語言模型研究，包括零樣本自然語言處理任務和上下文少樣本學習自然語言處理任務的研究，如推理和問答；推進公平性和安全性研究，以及瞭解當前大語言模型的侷限性。更多詳情請參閱研究論文。

超出範圍的使用

需要更多信息。

🔧 技術細節

偏差、風險和侷限性

以下信息摘自模型的官方模型卡：

⚠️ 重要提示

根據Rae等人（2021年）的研究，包括Flan - T5在內的語言模型有可能被用於有害的語言生成。在未對特定應用的安全性和公平性問題進行事先評估的情況下，不應直接將Flan - T5用於任何應用。

倫理考量和風險

Flan - T5是在大量文本數據語料庫上進行微調的，這些數據沒有經過明確內容過濾或現有偏差評估。因此，模型本身有可能生成不適當的內容，或複製底層數據中固有的偏差。

已知侷限性

Flan - T5尚未在實際應用中進行測試。

敏感使用

Flan - T5不應應用於任何不可接受的用例，例如生成辱罵性言論。

訓練詳情

訓練數據

文檔未提供詳細信息。

訓練過程

文檔未提供詳細信息。

評估

測試數據、因素和指標

文檔未提供詳細信息。

引用

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

📄 許可證

本模型採用Apache - 2.0許可證。