Tamillion

🚀 TaMillion

TaMillion是泰米爾語模型的第二個版本，它使用Google Research的ELECTRA進行訓練。該模型旨在為泰米爾語處理提供更強大的支持，解決泰米爾語在自然語言處理中的諸多難題，具有重要的應用價值。

🚀 快速開始

你可以通過以下鏈接查看分詞和預訓練的CoLab：Tokenization and pre - training CoLab

版本信息

• V1：適用於GPU的小型模型，訓練步數為190,000步。
• V2（當前版本）：使用TPU和更大語料庫的基礎模型，訓練步數為224,000步。

✨ 主要特性

分類任務表現

• Sudalai Rajkumar的泰米爾語自然語言處理頁面包含分類和迴歸任務：Tamil - NLP page
• 相關Notebook：Notebook
• 新聞分類：該模型在新聞分類任務上的表現優於mBERT。（隨機分類準確率：16.7%，mBERT：53.0%，TaMillion：75.1%）
• 電影評論：在電影評論任務中，該模型也略微優於mBERT。（均方根誤差 - mBERT：0.657，TaMillion：0.626）
• 提魯古拉爾主題任務：在提魯古拉爾主題任務中，該模型與mBERT具有相當的準確率。

問答任務潛力

雖然目前尚未找到泰米爾語的問答數據集，但該模型可以進行微調以訓練問答模型。可參考印地語和孟加拉語的示例：Hindi and Bengali examples

📦 訓練語料

該模型基於以下語料進行訓練：

• IndicCorp泰米爾語語料（11GB）：IndicCorp Tamil
• 2020年10月1日的泰米爾語維基百科轉儲（482MB）：ta.wikipedia.org dump

📚 詞彙表

詞彙表以vocab.txt文件的形式包含在上傳內容中。