Tamillion

🚀 TaMillion

このモデルは、Google ResearchのELECTRAを用いて学習されたタミル語言語モデルの第2版です。このモデルは、タミル語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このセクションでは、TaMillionモデルの概要とバージョン情報をご紹介します。

モデル概要

• トークン化と事前学習のCoLab: https://colab.research.google.com/drive/1Pwia5HJIb6Ad4Hvbx5f-IjND-vCaJzSE?usp=sharing

バージョン情報

• V1: GPUを使用した小型モデル、190,000ステップ
• V2 (現在): TPUとより大きなコーパスを使用したベースモデル、224,000ステップ

✨ 主な機能

分類タスク

Sudalai RajkumarのTamil-NLPページには、分類と回帰タスクが含まれています。

• Tamil-NLPページ: https://www.kaggle.com/sudalairajkumar/tamil-nlp
• ノートブック: https://colab.research.google.com/drive/1_rW9HZb6G87-5DraxHvhPOzGmSMUc67_?usp=sharin

このモデルは、ニュース分類タスクにおいてmBERTを上回る性能を発揮しました。

• ランダム: 16.7%
• mBERT: 53.0%
• TaMillion: 75.1%

また、映画レビュータスクにおいてもmBERTを僅かに上回る性能を示しました。

• RMSE - mBERT: 0.657
• TaMillion: 0.626

Tirukkuralトピックタスクでは、同等の精度を達成しています。

質問応答タスク

タミル語の質問応答データセットは見つかりませんでしたが、このモデルを微調整してQAモデルを学習させることができます。ヒンディー語とベンガル語の例はこちらを参照してください。

• 参照例: https://colab.research.google.com/drive/1i6fidh2tItf_-IDkljMuaIGmEU6HT2Ar

📚 ドキュメント

コーパス

このモデルは以下のコーパスを使用して学習されています。

• IndicCorp Tamil (11GB): https://indicnlp.ai4bharat.org/corpora/
• 2020年10月1日のhttps://ta.wikipedia.orgのダンプ (482MB)

語彙

アップロードされたvocab.txtに語彙が含まれています。