Bengali T5 Base

🚀 孟加拉語T5基礎模型 (bengali-t5-base)

孟加拉語T5基礎模型 (bengali-t5-base) 是在MT5數據集的孟加拉語部分上訓練的模型。我們使用了T5-base模型架構來構建此模型。

該項目由HuggingFace組織的Flax/Jax社區周發起，並且谷歌贊助了TPU的使用。

該模型在約110億個標記（批次大小為64，每個批次512個標記，訓練350k步）上進行訓練。

🚀 快速開始

📦 加載分詞器

>>> tokenizer = transformers.AutoTokenizer.from_pretrained("flax-community/bengali-t5-base")
>>> tokenizer.encode("আমি বাংলার গান গাই")
>>> tokenizer.decode([93, 1912, 814, 5995, 3, 1])

[93, 1912, 814, 5995, 3, 1]
'আমি বাংলার গান গাই </s>'

📦 加載模型

>>> config  = T5Config.from_pretrained("flax-community/bengali-t5-base")
>>> model = FlaxT5ForConditionalGeneration.from_pretrained("flax-community/bengali-t5-base", config=config)

🔧 技術細節

該模型基於去噪目標進行訓練，訓練腳本可參考此處和此處。目前，該模型不具備生成能力。如果您希望該模型具備生成能力，請根據論文中提到的前綴語言模型 (prefix-LM)目標進行微調。

您可以在訓練指標 (Training metrics)標籤中查看TensorBoard日誌。

請注意，我們尚未在任何下游任務中對該模型進行微調。

📚 相關文檔

• 項目提案

👥 參與者

• 伊布拉希姆·穆罕默德·穆薩 (Ibraheem Muhammad Moosa)
• 塔斯尼姆·穆希丁 (Tasnim Mohiuddin)
• 哈立德·賽義夫ullah (Khalid Saifullah)
• 塔赫辛·馬伊莎 (Tahsin Mayeesha)
• M·賽富爾·巴里 (M Saiful Bari)

🔗 有用鏈接

• 社區周時間線
• 社區周README
• 掩碼語言模型示例腳本
• 模型倉庫