Distilbert Base Turkish Cased Allnli Tr

🚀 distilbert-base-turkish-cased_allnli_tr

このモデルは、dbmdz/distilbert-base-turkish-cased をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.6481
• 正解率: 0.7381

🚀 クイックスタート

このモデルは、トルコ語のゼロショット分類タスクに最適化されています。以下のようなメトリクスやデータセットを使用して訓練されています。

✨ 主な機能

• ゼロショット分類: 事前に訓練された知識を活用して、新しいクラスに対する分類が可能です。
• トルコ語対応: トルコ語のテキストに対して高精度な分類を行います。

🔧 技術詳細

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 2e-05
• 訓練バッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 32
• シード (seed): 42
• オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類 (lr_scheduler_type): linear
• エポック数 (num_epochs): 3

訓練結果

フレームワークバージョン

• Transformers 4.12.3
• Pytorch 1.10.0+cu102
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。