Flan T5 Xxl Sharded Fp16

🚀 FORK of FLAN-T5 XXL

這是對google/flan-t5-xxl的一個分支，實現了一個自定義的handler.py，作為如何在單個NVIDIA A10G上使用t5-11b進行推理端點的示例。本項目能幫助你更便捷地使用FLAN-T5 XXL模型進行推理。

🚀 快速開始

你可以通過一鍵部署來部署flan-t5-xxl。由於我們使用的是“量化”版本，因此可以將實例類型切換為**"GPU [medium] · 1x Nvidia A10G"**。

📚 詳細文檔

TL;DR

如果你已經瞭解T5，那麼FLAN-T5在各方面都更勝一籌。在參數數量相同的情況下，這些模型在1000多個額外任務上進行了微調，並且覆蓋了更多語言。正如摘要開頭幾行所提到的：

Flan-PaLM 540B在多個基準測試中取得了最先進的性能，例如在五樣本MMLU上達到了75.2%。我們還公開發布了Flan-T5的檢查點，即使與更大的模型（如PaLM 62B）相比，這些檢查點在少樣本學習中也表現出色。總體而言，指令微調是一種提高預訓練語言模型性能和可用性的通用方法。

免責聲明：本模型卡片的內容由Hugging Face團隊編寫，部分內容從T5模型卡片複製粘貼而來。

模型詳情

模型描述

📄 許可證

本項目採用Apache 2.0許可證。