Bengali T5 Base

🚀 bengali-t5-base

bengali-t5-base は、MT5データセットのベンガル語部分を使って学習されたモデルです。このモデルには T5-base モデルを使用しています。

Flax/Jax Community Week は、HuggingFace によって主催され、TPUの使用はGoogleによって支援されています。

このモデルは、約110億トークン（バッチサイズ64、トークン数512、ステップ数35万）で学習されています。

🚀 クイックスタート

✨ 主な機能

• ベンガル語部分のMT5データセットを使用した学習。
• T5-base モデルをベースとしている。

📦 インストール

このセクションでは、トークナイザーとモデルの読み込み方法を説明します。

トークナイザーの読み込み

>>> tokenizer = transformers.AutoTokenizer.from_pretrained("flax-community/bengali-t5-base")
>>> tokenizer.encode("আমি বাংলার গান গাই")
>>> tokenizer.decode([93, 1912, 814, 5995, 3, 1])

[93, 1912, 814, 5995, 3, 1]
'আমি বাংলার গান গাই </s>'

モデルの読み込み

>>> config  = T5Config.from_pretrained("flax-community/bengali-t5-base")
>>> model = FlaxT5ForConditionalGeneration.from_pretrained("flax-community/bengali-t5-base", config=config)

💻 使用例

基本的な使用法

# トークナイザーの読み込み
>>> tokenizer = transformers.AutoTokenizer.from_pretrained("flax-community/bengali-t5-base")
>>> tokenizer.encode("আমি বাংলার গান গাই")
>>> tokenizer.decode([93, 1912, 814, 5995, 3, 1])

# モデルの読み込み
>>> config  = T5Config.from_pretrained("flax-community/bengali-t5-base")
>>> model = FlaxT5ForConditionalGeneration.from_pretrained("flax-community/bengali-t5-base", config=config)

📚 詳細ドキュメント

このモデルは de-noising 目的で学習されており、スクリプトは こちら と こちら を参照してください。現在、このモデルには生成機能がありません。このモデルに生成機能を持たせたい場合は、論文 で述べられている prefix-LM 目的でファインチューニングを行ってください。

Training metrics タブでTensorBoardのログを確認できます。

なお、このモデルは下流タスクでファインチューニングされていません。

🔧 技術詳細

• 学習目的: de-noising
• 学習スクリプト: run_t5_mlm_flax.py と run.sh
• 生成機能: 現在、生成機能はありません。prefix-LM 目的でファインチューニングすることで生成機能を持たせることができます。

📄 関連リンク

• プロジェクト提案
• [参加者]
  • Ibraheem Muhammad Moosa
  • Tasnim Mohiuddin
  • Khalid Saifullah
  • Tahsin Mayeesha
  • M Saiful Bari
• [有用なリンク]
  • コミュニティウィークのタイムライン
  • コミュニティウィークのREADME
  • マスク付き言語モデリングのサンプルスクリプト
  • モデルリポジトリ