Bodo Roberta Base

🚀 博多語基於RoBERTa的配置模型

本項目是一個基於RoBERTa的博多語配置模型。該模型不包含預訓練模型的檢查點，僅具備以下兩項內容：

• 博多語的字節級BPE分詞器
• RoBERTa基礎配置

🚀 快速開始

分詞器使用方法

你可以按照以下方式使用分詞器：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('alayaran/bodo-roberta-base')

t = tokenizer('कौटि नख'राव दैनि कानेक्सन होबाय')

# {'input_ids': [310, 294, 313, 267, 503, 11, 268, 263, 277, 298, 287, 265, 267, 321, 263, 265, 272, 310, 273, 378, 295, 266, 271, 263, 269], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
# 解碼操作
tokenizer.decode(t['input_ids'],skip_special_tokens=True)

# "कौटि नख'राव दैनि कानेक्सन होबाय"

📄 許可證

本項目採用MIT許可證。