Modernbert Large Zeroshot V2.0

🚀 ModernBERT-base-zeroshot-v2.0

このモデルは、高速かつメモリ効率が高く、特定のデータセットで微調整されたものです。特定のタスクでの平均的な性能はDeBERTav3にやや劣りますが、メモリ使用量が少ないため、大きなバッチサイズでの処理が可能です。

🚀 クイックスタート

このセクションでは、このモデルの概要と特徴について説明します。

✨ 主な機能

• 非常に高速でメモリ効率が高い。DeBERTav3よりも数倍高速で、メモリ消費量が数分の一です。
• メモリ効率の高さにより、より大きなバッチサイズが可能です。bf16を有効にすることで、約2倍の速度向上が得られます。
• 特定のタスクでの平均的な性能はDeBERTav3にやや劣ります。
• 現在、より良い合成データで学習された新しいバージョンを準備中です。

📚 ドキュメント

モデルの説明

このモデルは answerdotai/ModernBERT-large を、Zeroshot Classifiers Collection の zeroshot-v2.0 モデルと同じデータセットミックスで微調整したものです。

一般的な知見

• モデルは非常に高速でメモリ効率が高い。DeBERTav3よりも数倍高速で、メモリ消費量が数分の一です。メモリ効率の高さにより、より大きなバッチサイズが可能です。bf16を有効にすることで、約2倍の速度向上が得られます。
• 以下のテストタスクでの平均的な性能はDeBERTav3にやや劣ります。
• 現在、より良い合成データで学習された新しいバージョンを準備中で、8kのコンテキストウィンドウを最大限に活用し、古い zeroshot-v2.0 モデルの学習ミックスを更新する予定です。

学習結果

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 9e-06
• 学習バッチサイズ: 16
• 評価バッチサイズ: 32
• シード: 42
• 勾配累積ステップ: 2
• 総学習バッチサイズ: 32
• オプティマイザ: betas=(0.9,0.999)、epsilon=1e-08のadamw_torchを使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップ率: 0.06
• エポック数: 2

フレームワークのバージョン

• Transformers 4.48.0.dev0
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。