Quberta

🚀 QuBERTa

QuBERTa 是一個基於 RoBERTa 的克丘亞語語言模型。我們的語言模型使用 500 萬個秘魯南部克丘亞語（科拉奧和昌卡）的標記進行了預訓練。該模型使用了一個字節級的 BPE 分詞器，其詞彙表包含 52000 個詞元。

🚀 快速開始

在下載好模型權重和分詞器後，需要將它們放在同一個文件夾中，在本示例中該文件夾名為 QuBERTa。

基礎用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="./QuBERTa",
    tokenizer="./QuBERTa"
)

高級用法

以下是一個測試示例，目前該測試仍處於改進階段。

fill_mask("allinllachu <mask> allinlla huk wasipita.")

輸出結果如下：

[{'score': 0.23992203176021576,
 'sequence': 'allinllachu nisqaqa allinlla huk wasipita.',
 'token': 334,
 'token_str': ' nisqaqa'},
{'score': 0.061005301773548126,
 'sequence': 'allinllachu, allinlla huk wasipita.',
 'token': 16,
 'token_str': ','},
 {'score': 0.028720015659928322,
 'sequence': "allinllachu' allinlla huk wasipita.",
 'token': 11,
 'token_str': "'"},
{'score': 0.012927944771945477,
 'sequence': 'allinllachu kay allinlla huk wasipita.',
 'token': 377,
 'token_str': ' kay'},
{'score': 0.01230092253535986,
 'sequence': 'allinllachu. allinlla huk wasipita.',
 'token': 18,
 'token_str': '.'}]