T5 Spanish Efficient Tiny

🚀 T5-西班牙語高效精簡版（全新 深度窄化西班牙語版本 - 2024年3月）

T5-高效精簡版是 谷歌原始T5 的一個變體，遵循 T5模型架構。該變體由 量子人工智能公司 的 哈維爾·阿爾巴拉辛 訓練。原始版本由 易·泰、穆斯塔法·德赫加尼、金峰·饒、威廉·費杜斯、薩米拉·阿卜納爾、洪元鍾、沙蘭·納朗、達尼·約加塔馬、阿什什·瓦斯瓦尼、唐納德·梅茨勒 在論文 高效擴展：預訓練和微調Transformer的見解 中發佈。

此版本的模型使用西班牙語數據集從頭開始訓練。該版本 需要微調，尚未針對任何任務進行訓練。該模型的優點在於它使用西班牙語，可用於訓練簡單任務。由於其相對較低的複雜度和小於29MB的大小，非常適合在CPU上使用。

它有自己的西班牙語分詞器（僅小寫字母），大小為5000個標記。

✨ 主要特性

模型架構細節

這個 T5-西班牙語高效精簡版 模型屬於 精簡型，在維度和前饋層大小上有所變化。它有 1794 萬個參數，在 全精度（fp32）下需要 29 MB 內存，在 半精度（fp16 或 bf16）下需要 15 MB 內存。

這個 西班牙語模型 比原始的精簡模型更輕量級。

原始T5模型的總結如下：

使用的縮寫如下：

如果模型檢查點沒有特定的 el 或 dl，則編碼器和解碼器層的數量都對應於 nl。

預訓練

該模型使用西班牙語的MSMARCO數據集中200萬個隨機記錄進行了預訓練。

微調

⚠️ 重要提示

此模型 需要 微調才能工作，以下是一些微調方法的示例：

PyTorch

• 摘要生成
• 問答系統
• 文本分類 - 注意：你需要對這裡的訓練示例進行一些調整，使其適用於編碼器 - 解碼器模型。

Tensorflow

• 摘要生成
• 文本分類 - 注意：你需要對這裡的訓練示例進行一些調整，使其適用於編碼器 - 解碼器模型。

JAX/Flax

• 摘要生成
• 文本分類 - 注意：你需要對這裡的訓練示例進行一些調整，使其適用於編碼器 - 解碼器模型。

📄 許可證

本項目採用Apache-2.0許可證。