Bangla Bert

🚀 バングラ語BERTベースモデル

ここでは、事前学習済みのバングラ語BERT言語モデル bangla - bert を公開しました！このモデルは現在、Hugging Faceモデルハブで利用可能です。 ここでは、BERTで説明されているマスク言語モデリングに基づく事前学習済みバングラ語モデルである[bangla - bert](https://github.com/Kowsher/bert - base - bangla)について説明します。また、GitHubの[リポジトリ](https://github.com/google - research/bert)も参照できます。

📚 詳細ドキュメント

コーパスの詳細

バングラ語BERT言語モデルは、Kaggleの[BanglaLM](https://www.kaggle.com/gakowsher/bangla - language - model - dataset)から取得したBanglaLMデータセットを使用して学習させました。このデータセットには3つのバージョンがあり、合計で約40GBのデータ量です。 データセットをダウンロードした後、マスク言語モデリングの作業に取り組みました。

💻 使用例

基本的な使用法

bangla - bert Tokenizer

from transformers import AutoTokenizer, AutoModel
bnbert_tokenizer = AutoTokenizer.from_pretrained("Kowsher/bangla-bert")
text = "খাঁটি সোনার চাইতে খাঁটি আমার দেশের মাটি"
bnbert_tokenizer.tokenize(text)
# output: ['খাটি', 'সে', '##ানার', 'চাইতে', 'খাটি', 'আমার', 'দেশের', 'মাটি']

高度な使用法

MASK Generation ここでは、マスク言語モデリングにバングラ語のBERTベースモデルを使用する例を示します。

from transformers import BertForMaskedLM, BertTokenizer, pipeline
model = BertForMaskedLM.from_pretrained("Kowsher/bangla-bert")
tokenizer = BertTokenizer.from_pretrained("Kowsher/bangla-bert")

nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)
for pred in nlp(f"আমি বাংলার গান {nlp.tokenizer.mask_token}"):
  print(pred)
# {'sequence': 'আমি বাংলার গান লিখি', 'score': 0.17955434322357178, 'token': 24749, 'token_str': 'লিখি'}


nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)
for pred in nlp(f"তুই রাজাকার তুই {nlp.tokenizer.mask_token}"):
  print(pred)
# {'sequence': 'তুই রাজাকার তুই রাজাকার', 'score': 0.9975168704986572, 'token': 13401, 'token_str': 'রাজাকার'}


nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)
for pred in nlp(f"বাংলা আমার {nlp.tokenizer.mask_token}"):
  print(pred)
# {'sequence': 'বাংলা আমার অহংকার', 'score': 0.5679506063461304, 'token': 19009, 'token_str': 'অহংকার'}  

📄 引用情報

この研究を引用する場合は、以下の文献を参照してください。 M. Kowsher, A. A. Sami, N. J. Prottasha, M. S. Arefin, P. K. Dhar and T. Koshiba, "Bangla - BERT: Transformer - based Efficient Model for Transfer Learning and Language Understanding," in IEEE Access, 2022, doi: 10.1109/ACCESS.2022.3197662.

👤 作者

Kowsher