Indo Roberta Small

🚀 印尼小版RoBERTa模型

印尼小版RoBERTa模型是一個基於掩碼的語言模型，它基於RoBERTa模型構建。該模型在最新（2020年12月下旬）的印尼語維基百科文章上進行訓練，能有效處理印尼語相關的自然語言處理任務，為印尼語的語言理解和生成提供了有力支持。

✨ 主要特性

• 基於RoBERTa架構，從頭開始訓練，在驗證數據集上實現了48.27的困惑度。
• 訓練技術參考了Hugging Face的教程筆記本。
• 使用Hugging Face的Transformers庫進行訓練，兼容PyTorch和TensorFlow。

📦 模型信息

📊 評估結果

該模型經過3個輪次的訓練，訓練結束後的最終結果如下：

💻 使用示例

基礎用法

作為掩碼語言模型

from transformers import pipeline

pretrained_name = "w11wo/indo-roberta-small"

fill_mask = pipeline(
    "fill-mask",
    model=pretrained_name,
    tokenizer=pretrained_name
)

fill_mask("Budi sedang <mask> di sekolah.")

在PyTorch中進行特徵提取

from transformers import RobertaModel, RobertaTokenizerFast

pretrained_name = "w11wo/indo-roberta-small"
model = RobertaModel.from_pretrained(pretrained_name)
tokenizer = RobertaTokenizerFast.from_pretrained(pretrained_name)

prompt = "Budi sedang berada di sekolah."
encoded_input = tokenizer(prompt, return_tensors='pt')
output = model(**encoded_input)

⚠️ 免責聲明

請記住，儘管數據集源自維基百科，但該模型並不總是能生成符合事實的文本。此外，維基百科文章中的偏差可能會延續到該模型的輸出結果中。

📄 許可證

本項目採用MIT許可證。

👨‍💻 作者

印尼小版RoBERTa模型由Wilson Wongso訓練和評估。所有的計算和開發工作均在Google Colaboratory上利用其免費的GPU完成。