Indonesian Roberta Base

🚀 インドネシア語版RoBERTa Base

インドネシア語版RoBERTa Baseは、RoBERTaモデルに基づいたマスク言語モデルです。このモデルは、OSCARデータセットのunshuffled_deduplicated_idサブセットを使用して学習されました。モデルはゼロから学習され、評価損失1.798、評価精度62.45%を達成しました。

このモデルはHuggingFaceのFlaxフレームワークを使用して学習され、HuggingFaceが主催するJAX/Flax Community Weekの一環として開発されました。すべての学習はGoogle CloudチームによってスポンサーされたTPUv3 - 8 VM上で行われました。

学習に使用されたすべての必要なスクリプトは、Files and versionsタブに、また学習メトリクスはTensorboardを介してTraining metricsに記録されています。

✨ 主な機能

モデル情報

評価結果

モデルは8エポックで学習され、学習終了時の最終結果は以下の通りです。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

マスク言語モデルとしての使用

from transformers import pipeline

pretrained_name = "flax-community/indonesian-roberta-base"

fill_mask = pipeline(
    "fill-mask",
    model=pretrained_name,
    tokenizer=pretrained_name
)

fill_mask("Budi sedang <mask> di sekolah.")

PyTorchでの特徴抽出

from transformers import RobertaModel, RobertaTokenizerFast

pretrained_name = "flax-community/indonesian-roberta-base"
model = RobertaModel.from_pretrained(pretrained_name)
tokenizer = RobertaTokenizerFast.from_pretrained(pretrained_name)

prompt = "Budi sedang berada di sekolah."
encoded_input = tokenizer(prompt, return_tensors='pt')
output = model(**encoded_input)

🔧 技術詳細

このモデルは、HuggingFaceのFlaxフレームワークを使用して開発され、Google CloudのTPUv3 - 8 VM上で学習されました。学習に使用されたすべての必要なスクリプトは、Files and versionsタブに保存されており、学習メトリクスはTensorboardを介してTraining metricsに記録されています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

チームメンバー

• Wilson Wongso (@w11wo)
• Steven Limcorn (@stevenlimcorn)
• Samsul Rahmadani (@munggok)
• Chew Kok Wah (@chewkokwah)