T5 Spanish Efficient Tiny

🚀 T5-Spanish-Efficient-TINY (新しい 2024年3月版のDeep-Narrowスペイン語バージョン)

T5-Efficient-TINYは、GoogleのオリジナルT5 をベースに、T5モデルのアーキテクチャ に沿ったバリエーションです。このモデルは、Quantico AI の Javier Albarracín によって開発されました。オリジナルのバージョンは、Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, Donald Metzler らによる論文 Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers で公開されています。

このモデルは、スペイン語のデータセットを使ってゼロから学習されています。ただし、このバージョンは ファインチューニングが必要 で、特定のタスクに対して学習されていません。モデルの利点は、スペイン語であり、簡単なタスクの学習に役立つことです。比較的低い複雑性と29MB未満のサイズのため、CPUでの使用に最適です。

このモデルには、独自のスペイン語トークナイザー（小文字のみ）があり、トークンサイズは5000です。

✨ 主な機能

• スペイン語での学習が可能で、簡単なタスクのトレーニングに役立つ。
• 比較的低い複雑性と小さいサイズ（<29MB）のため、CPUでの使用に適している。
• 独自のスペイン語トークナイザーを持つ。

📚 ドキュメント

🔧 技術詳細

モデルのアーキテクチャ詳細

この T5-spanish-efficient-tiny モデルは、Tiny タイプで、feed forward 層の次元とサイズに変更が加えられています。モデルは 1794 万個のパラメータを持ち、full precision (fp32) では 29 MB、half precision (fp16 または bf16) では 15 MB のメモリを必要とします。

このスペイン語モデルは、元のTinyモデルよりも軽量な特性を持っています。

オリジナルのT5モデルの概要は以下の通りです。

使用されている略語の定義は以下の通りです。

モデルのチェックポイントに el または dl が指定されていない場合、エンコーダとデコーダの層の数は nl に対応します。

事前学習

このモデルは、スペイン語のMSMARCOデータセットからランダムに選択された200万件のレコードを使って事前学習されています。

ファインチューニング

⚠️ 重要提示

このモデルは、機能するために ファインチューニングが必要 です。以下に、ファインチューニングの方法の例を示します。

PyTorch:

• 要約
• 質問応答
• テキスト分類 - 注意: エンコーダ-デコーダモデルで動作させるために、学習例を少し調整する必要があります。

Tensorflow:

• 要約
• テキスト分類 - 注意: エンコーダ-デコーダモデルで動作させるために、学習例を少し調整する必要があります。

JAX/Flax:

• 要約
• テキスト分類 - 注意: エンコーダ-デコーダモデルで動作させるために、学習例を少し調整する必要があります。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。