Distilbert Portuguese Cased

🚀 ディスティルBERT ポルトガル語ケース対応モデル

このモデルは、ポルトガル語向けの軽量な言語モデルで、特定のタスクにおいて高精度を達成します。

🚀 クイックスタート

このモデルは BERTimbau から蒸留されたものです。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer  # Or BertTokenizer
from transformers import AutoModelForPreTraining  # Or BertForPreTraining for loading pretraining heads
from transformers import AutoModel  # or BertModel, for BERT without pretraining heads
model = AutoModelForPreTraining.from_pretrained('adalbertojunior/distilbert-portuguese-cased')
tokenizer = AutoTokenizer.from_pretrained('adalbertojunior/distilbert-portuguese-cased', do_lower_case=False)

このモデルは独自のデータでファインチューニングする必要があります。また、一部のタスクでは、元の BERTimbau に対して最大99%の精度を達成することができます。

📄 引用

@misc {adalberto_ferreira_barbosa_junior_2024,
	author       = { {Adalberto Ferreira Barbosa Junior} },
	title        = { distilbert-portuguese-cased (Revision df1fa7a) },
	year         = 2024,
	url          = { https://huggingface.co/adalbertojunior/distilbert-portuguese-cased },
	doi          = { 10.57967/hf/3041 },
	publisher    = { Hugging Face }
}