Indonesian Roberta Base

🚀 印尼語RoBERTa基礎模型

印尼語RoBERTa基礎模型是一個基於RoBERTa架構的掩碼語言模型。它在OSCAR數據集上進行訓練，具體使用的是unshuffled_deduplicated_id子集。該模型從零開始訓練，評估損失為1.798，評估準確率為62.45%。

此模型使用HuggingFace的Flax框架進行訓練，是由HuggingFace組織的JAX/Flax社區周活動的一部分。所有訓練工作都在由谷歌雲團隊贊助的TPUv3 - 8虛擬機上完成。

訓練所需的所有腳本可以在文件和版本標籤中找到，通過Tensorboard記錄的訓練指標也可查看。

✨ 主要特性

• 基於RoBERTa架構構建，適用於印尼語的掩碼語言建模任務。
• 在大規模的OSCAR數據集上訓練，具有較好的語言理解能力。
• 使用HuggingFace的Flax框架訓練，支持JAX生態系統。

📦 模型信息

📊 評估結果

模型經過8個輪次的訓練，訓練結束後的最終結果如下：

💻 使用示例

基礎用法 - 作為掩碼語言模型

from transformers import pipeline

pretrained_name = "flax-community/indonesian-roberta-base"

fill_mask = pipeline(
    "fill-mask",
    model=pretrained_name,
    tokenizer=pretrained_name
)

fill_mask("Budi sedang <mask> di sekolah.")

高級用法 - 在PyTorch中進行特徵提取

from transformers import RobertaModel, RobertaTokenizerFast

pretrained_name = "flax-community/indonesian-roberta-base"
model = RobertaModel.from_pretrained(pretrained_name)
tokenizer = RobertaTokenizerFast.from_pretrained(pretrained_name)

prompt = "Budi sedang berada di sekolah."
encoded_input = tokenizer(prompt, return_tensors='pt')
output = model(**encoded_input)

👥 團隊成員

• Wilson Wongso (@w11wo)
• Steven Limcorn (@stevenlimcorn)
• Samsul Rahmadani (@munggok)
• Chew Kok Wah (@chewkokwah)

📄 許可證

本項目採用MIT許可證。