Gischat Weibo 100k Fine Tuned Bert

🚀 GISchat-weibo-100k-fine-tuned-bert

このモデルは、bert-base-chinese を weibo-100k データセット でファインチューニングしたバージョンです。

Github リポジトリ: https://github.com/GISChat/Fine-tune-bert

評価セットでは以下の結果を達成しています:

• 損失: 0.0458
• 正解率: 0.9867

🚀 クイックスタート

このモデルは、特定のデータセットを用いてファインチューニングされたもので、特定のタスクに対して高い性能を発揮します。

📚 ドキュメント

モデルの概要

このモデルは、bert-base-chinese を weibo-100k データセット でファインチューニングしたものです。

想定される用途と制限事項

詳細な情報は後日提供予定です。

学習と評価データ

詳細な情報は後日提供予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです:

• 学習率: 1e-05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (ベータ=(0.9,0.999), イプシロン=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 1

学習結果

フレームワークのバージョン

• Transformers 4.42.4
• Pytorch 2.3.1+cu121
• Datasets 2.20.0
• Tokenizers 0.19.1