Sanberta

🚀 サンスクリットで学習されたRoBERTa (SanBERTa)

サンスクリット言語モデリングのために学習されたRoBERTaモデルで、エンベディングやマスク予測などのタスクに使用できます。

🚀 クイックスタート

SanBERTaは、サンスクリット言語のモデリングに特化したRoBERTaモデルです。以下に、基本的な使い方を示します。

✨ 主な機能

• サンスクリット語のエンベディング生成
• サンスクリット語のマスク予測

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

エンベディングの生成

tokenizer = AutoTokenizer.from_pretrained("surajp/SanBERTa")
model = RobertaModel.from_pretrained("surajp/SanBERTa")

op = tokenizer.encode("इयं भाषा न केवलं भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।", return_tensors="pt")
ps = model(op)
ps[0].shape

'''
出力:
--------
torch.Size([1, 47, 768])

マスク予測

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="surajp/SanBERTa",
    tokenizer="surajp/SanBERTa"
)

## इयं भाषा न केवलं भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।
fill_mask("इयं भाषा न केवल<mask> भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।")

ps = model(torch.tensor(enc).unsqueeze(1))
print(ps[0].shape)

'''
出力:
--------
[{'score': 0.7516744136810303,
  'sequence': '<s> इयं भाषा न केवलं भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।</s>',
  'token': 280,
  'token_str': 'à¤Ĥ'},
 {'score': 0.06230105459690094,
  'sequence': '<s> इयं भाषा न केवली भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।</s>',
  'token': 289,
  'token_str': 'à¥Ģ'},
 {'score': 0.055410224944353104,
  'sequence': '<s> इयं भाषा न केवला भारतस्य अपि तु विश्वस्य प्राचीनतमा भाषा इति मन्यते।</s>',
  'token': 265,
  'token_str': 'ा'},
  ...]

📚 ドキュメント

データセット

• Wikipedia articles (used in iNLTK)。評価セットを含んでいます。
• Sanskrit scraps from CLTK

設定

学習

• TPU上で学習
• 言語モデリングのための学習
• エポックを通じて--block_sizeを128から256まで反復的に増加させる

評価

🔧 技術詳細

このモデルは、サンスクリット語のWikipedia記事やCLTKからのデータを使用して学習されたRoBERTaモデルです。学習はTPU上で行われ、言語モデリングの目的で行われました。

📄 ライセンス

@misc{Parmar2020Sanberta,
  author = {Parmar, Suraj},
  title = {SanBERTa - a RoBERTa trained on Sanskrit},
  year = {2020},
  month = {Jun},
  publisher = {Hugging Face Model Hub},
  url = {https://huggingface.co/surajp/SanBERTa}
}

動作確認済みです！ 🎉 🎉 🎉

作成者: Suraj Parmar/@parmarsuraj99 | LinkedIn

インドで愛を込めて作られました ♥