Banglat5 Small

🚀 ベンガル語T5モデル（BanglaT5）

このリポジトリには、ベンガル語T5モデル（小規模版） の事前学習チェックポイントが含まれています。これは、シーケンス-to-シーケンスのTransformerモデルであり、"Span Corruption" 目標を使用して事前学習されています。このチェックポイントを使用して微調整されたモデルは、多くのベンガル語自然言語生成（NLG）タスクで最先端の結果を達成しています。

このモデルは、機械翻訳、抽象的なテキスト要約、質問応答システム など、さまざまな下流タスクに使用できます。微調整を行う場合は、公式GitHub リポジトリ のスクリプトを参照してください。

⚠️ 重要な注意事項

このモデルは特定の正規化パイプラインを使用して事前学習されており、ここ で入手できます。公式GitHubリポジトリのすべての微調整スクリプトは、デフォルトでこの正規化方法を使用しています。事前学習モデルを他のタスクに適用する場合は、最適な結果を得るために、トークン化の前にこのパイプラインを使用してテキストユニットを正規化するようにしてください。以下に基本的な例を示します。

🚀 クイックスタート

✨ 主な機能

• シーケンス-to-シーケンスのTransformerアーキテクチャに基づいており、さまざまなベンガル語NLGタスクに適しています。
• 事前学習モデルは、複数のNLGタスクで最先端の性能を達成しています。

📦 インストール

このモデルを使用する前に、必要なライブラリをインストールする必要があります。以下のコマンドを使用して正規化ライブラリをインストールできます。

pip install git+https://github.com/csebuetnlp/normalizer

💻 使用例

基本的な使用法

以下は、transformers ライブラリでこのモデルを使用するサンプルコードです（テストバージョンは4.11.0.dev0）。

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from normalizer import normalize # pip install git+https://github.com/csebuetnlp/normalizer

model = AutoModelForSeq2SeqLM.from_pretrained("csebuetnlp/banglat5_small")
tokenizer = AutoTokenizer.from_pretrained("csebuetnlp/banglat5_small", use_fast=False)

input_sentence = ""
input_ids = tokenizer(normalize(input_sentence), return_tensors="pt").input_ids
generated_tokens = model.generate(input_ids)
decoded_tokens = tokenizer.batch_decode(generated_tokens)[0]

print(decoded_tokens)

📚 ドキュメント

🔍 ベンチマークテスト

以下は、モデルの監督微調整によるベンチマークテスト結果です。

ベンチマークテストのデータセットは以下の通りです。

• 機械翻訳（MT）：データセットリンク
• 抽象的なテキスト要約（TS）：データセットリンク
• 質問応答システム（QA）：データセットリンク
• 多輪対話生成（MD）：データセットリンク
• ニュースタイトル生成（NHG）：データセットリンク
• クロス言語要約（XLS）：データセットリンク

📄 ライセンス

このプロジェクトはCC - BY - NC - SA 4.0ライセンスの下で提供されています。

📚 引用

このモデルを使用した場合は、以下の論文を引用してください。

@article{bhattacharjee2022banglanlg,
  author    = {Abhik Bhattacharjee and Tahmid Hasan and Wasi Uddin Ahmad and Rifat Shahriyar},
  title     = {BanglaNLG: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla},
  journal   = {CoRR},
  volume    = {abs/2205.11081},
  year      = {2022},
  url       = {https://arxiv.org/abs/2205.11081},
  eprinttype = {arXiv},
  eprint    = {2205.11081}
}

正規化モジュールを使用した場合は、以下の論文を引用してください。

@inproceedings{hasan-etal-2020-low,
    title = "Not Low-Resource Anymore: Aligner Ensembling, Batch Filtering, and New Datasets for {B}engali-{E}nglish Machine Translation",
    author = "Hasan, Tahmid  and
      Bhattacharjee, Abhik  and
      Samin, Kazi  and
      Hasan, Masum  and
      Basak, Madhusudan  and
      Rahman, M. Sohel  and
      Shahriyar, Rifat",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-main.207",
    doi = "10.18653/v1/2020.emnlp-main.207",
    pages = "2612--2623",
    abstract = "Despite being the seventh most widely spoken language in the world, Bengali has received much less attention in machine translation literature due to being low in resources. Most publicly available parallel corpora for Bengali are not large enough; and have rather poor quality, mostly because of incorrect sentence alignments resulting from erroneous sentence segmentation, and also because of a high volume of noise present in them. In this work, we build a customized sentence segmenter for Bengali and propose two novel methods for parallel corpus creation on low-resource setups: aligner ensembling and batch filtering. With the segmenter and the two methods combined, we compile a high-quality Bengali-English parallel corpus comprising of 2.75 million sentence pairs, more than 2 million of which were not available before. Training on neural models, we achieve an improvement of more than 9 BLEU score over previous approaches to Bengali-English machine translation. We also evaluate on a new test set of 1000 pairs made with extensive quality control. We release the segmenter, parallel corpus, and the evaluation set, thus elevating Bengali from its low-resource status. To the best of our knowledge, this is the first ever large scale study on Bengali-English machine translation. We believe our study will pave the way for future research on Bengali-English machine translation as well as other low-resource languages. Our data and code are available at https://github.com/csebuetnlp/banglanmt.",
}