Bertimbaulaw Base Portuguese Cased

🚀 出力

このモデルは、neuralmind/bert-base-portuguese-cased をNoneデータセットでファインチューニングしたバージョンです。 評価セットでは、以下の結果を達成しています。

• 損失: 0.6440

🚀 クイックスタート

このモデルは、特定のタスクに対して neuralmind/bert-base-portuguese-cased をファインチューニングしたものです。以下のセクションでは、モデルの訓練に関する詳細な情報を提供します。

🔧 技術詳細

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0001
• 訓練バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• 勾配累積ステップ: 8
• 総訓練バッチサイズ: 128
• オプティマイザ: ベータ=(0.9, 0.999) かつイプシロン=1e-06 のAdam
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 10000
• エポック数: 15.0
• 混合精度訓練: Native AMP

訓練結果

フレームワークバージョン

• Transformers 4.12.5
• Pytorch 1.10.1+cu113
• Datasets 1.17.0
• Tokenizers 0.10.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📚 引用と著者

このモデルを使用する場合は、以下の文献を引用してください。

@incollection{Viegas_2023,
    doi = {10.1007/978-3-031-36805-9_24},
    url = {https://doi.org/10.1007%2F978-3-031-36805-9_24},
    year = 2023,
    publisher = {Springer Nature Switzerland},
    pages = {349--365},
    author = {Charles F. O. Viegas and Bruno C. Costa and Renato P. Ishii},
    title = {{JurisBERT}: A New Approach that~Converts a~Classification Corpus into~an~{STS} One},
    booktitle = {Computational Science and Its Applications {\textendash} {ICCSA} 2023}
}

📦 モデル情報