Congretimbau

🚀 congretimbau

congretimbau 模型是 BERTimbau 在巴西法律提案法案數據集上的持續訓練版本，可用於處理相關法律文本任務。

🚀 快速開始

congretimbau 模型在評估集上取得了以下結果：

• 評估損失（eval_loss）：0.4885
• 評估運行時間（eval_runtime）：798.5704
• 每秒評估樣本數（eval_samples_per_second）：169.279
• 每秒評估步數（eval_steps_per_second）：1.324
• 訓練輪數（epoch）：2.3669
• 訓練步數（step）：10000

✨ 主要特性

• 基於 BERTimbau 持續訓練，在巴西法律提案法案數據集上進行優化。
• 可用於處理與巴西法律文本相關的任務。

📚 詳細文檔

訓練和評估數據

訓練和評估數據來自巴西眾議院和聯邦參議院。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：3e - 05
• 訓練批次大小（train_batch_size）：128
• 評估批次大小（eval_batch_size）：128
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，其中 betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：300
• 訓練輪數（num_epochs）：10

框架版本

• Transformers：4.45.1
• Pytorch：2.4.1 + cu121
• Datasets：3.0.1
• Tokenizers：0.20.0

📄 許可證

本項目採用 MIT 許可證。

模型信息表格