Gujarati XLM R Base

🚀 グジャラート語 - XLM - Rベースモデル

このモデルは、[XLM - RoBERTa](https://huggingface.co/xlm - roberta - base)（XLM - R）のベースバージョンをベースに、[OSCAR](https://oscar - corpus.com/)の単言語データセットを使用して、グジャラート語に対して微調整されています。私たちは、事前学習されたXLM - Rと同じマスク言語モデリング（MLM）の目標を採用しています。このモデルは事前学習されたXLM - Rを基に構築されているため、母モデルの知識を利用し、転移学習技術を活用しています。

✨ 主な機能

• グジャラート語を使用する様々な自然言語処理（NLP）タスクのさらなる微調整に使用できます。
• グジャラート語の単語に対して文脈に関連した単語表現を生成することができます。
• ドメイン適応に適しています。
• グジャラート語の文章中の欠落した単語を予測するために使用できます。

💻 使用例

基本的な使用法

このモデルを使用して欠落した単語を予測する例です。

from transformers import pipeline
unmasker = pipeline('fill-mask', model='ashwani-tanwar/Gujarati-XLM-R-Base')
pred_word = unmasker("અમદાવાદ એ ગુજરાતનું એક <mask> છે.")
print(pred_word) 

出力結果：

[{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક શહેર છે.</s>', 'score': 0.9463568329811096, 'token': 85227, 'token_str': '▁શહેર'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક ગામ છે.</s>', 'score': 0.013311690650880337, 'token': 66346, 'token_str': '▁ગામ'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એકનગર છે.</s>', 'score': 0.012945962138473988, 'token': 69702, 'token_str': 'નગર'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક સ્થળ છે.</s>', 'score': 0.0045941537246108055, 'token': 135436, 'token_str': '▁સ્થળ'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક મહત્વ છે.</s>', 'score': 0.00402021361514926, 'token': 126763, 'token_str': '▁મહત્વ'}]

高度な使用法

このモデルを使用して文脈に関連した単語表現を生成する例です。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("ashwani-tanwar/Gujarati-XLM-R-Base")
model = AutoModel.from_pretrained("ashwani-tanwar/Gujarati-XLM-R-Base")
sentence = "અમદાવાદ એ ગુજરાતનું એક શહેર છે."
encoded_sentence = tokenizer(sentence, return_tensors='pt')
context_word_rep = model(**encoded_sentence)

📚 ドキュメント

データセット

OSCARコーパスには、様々な言語に対応した多様なデータセットが含まれています。私たちは、CamemBERTの研究を参考にしており、この研究では、他の大規模な同質データセットと比較して、この多様なデータセットを使用することでより良い性能が得られることが示されています。

前処理と学習プロセス

詳細なプロセスについては、[このリンク](https://github.com/ashwanitanwar/nmt - transfer - learning - xlm - r#6 - finetuning - xlm - r)をご覧ください。