Quberta

🚀 QuBERTa

QuBERTaは、ケチュア語用のRoBERTaベースの言語モデルです。当社の言語モデルは、ケチュア語南部方言（コヤオとチャンカ）の500万トークンで事前学習されています。

このモデルは、サブワードトークン数が52,000のByte-level BPEトークナイザーを使用しています。

🚀 クイックスタート

重みとトークナイザーをダウンロードしたら、同じフォルダに配置する必要があります。この例では、QuBERTa フォルダを使用しています。

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="./QuBERTa",
    tokenizer="./QuBERTa"
)

テストを行いますが、現在は改善段階にあります。

fill_mask("allinllachu <mask> allinlla huk wasipita.")

[{'score': 0.23992203176021576,
 'sequence': 'allinllachu nisqaqa allinlla huk wasipita.',
 'token': 334,
 'token_str': ' nisqaqa'},
{'score': 0.061005301773548126,
 'sequence': 'allinllachu, allinlla huk wasipita.',
 'token': 16,
 'token_str': ','},
 {'score': 0.028720015659928322,
 'sequence': "allinllachu' allinlla huk wasipita.",
 'token': 11,
 'token_str': "'"},
{'score': 0.012927944771945477,
'sequence': 'allinllachu kay allinlla huk wasipita.',
'token': 377,
'token_str': ' kay'},
{'score': 0.01230092253535986,
'sequence': 'allinllachu. allinlla huk wasipita.',
 'token': 18,
'token_str': '.'}]