Modernbert Content Regression

🚀 ModernBERT Engagement Content Regression

このプロジェクトは、テキストコンテンツのエンゲージメント指標を予測するテキスト回帰タスクにModernBERTを適用することを探索しています。具体的には、電子メールのテキストコンテンツのクリックスルー率（CTR）を予測します。

このプロジェクトでは、ModernBERTのハイパーパラメータチューニングと回帰タスクでの使用方法を調査し、ベンチマークモデルとの結果を比較します。

この種のタスクは複雑です。以下の引用を思い出すことができます。

私の広告費の半分は無駄になっています。問題は、どの半分が無駄なのかわからないことです。

• ジョン・ワナメーカ

この実験では、メールの送信時間、曜日、受信者などの他の関連要因を除外しています。

プロジェクトのリンク

• モデル - ModernBERT-Engagement-Content-Regression
• トレーニングノートブック - Training Notebook
• デモ - Demo Space

この作業は、多くのコミュニティメンバーの作業やブログ記事に感謝しています。

• ModernBERT Announcement
• Fine-tune classifier with ModernBERT in 2025
• How to set up Trainer for a regression
• ModernBERTの作成者にも追加で感謝します！

✨ 主な機能

データセット

548通の電子メールのデータセットを使用します。このデータセットには、電子メールのテキストと予測対象のCTRのラベルが含まれています。

ModernBERTの改良に期待しており、潜在的なユーザーの電子メールデータセットごとにモデルを微調整できることを期待しています。電子メールデータの変動性と小さなサイズは、興味深い回帰の課題を提起します。

ベンチマーク

テキスト回帰の簡単なベンチマークとして、Catboostライブラリを使用します。ベンチマークとModernBertの実行の両方で、メトリックとして'rmse'を使用しています。以下の結果を得ました。

📦 インストール

依存関係のインストールと仮想環境のアクティブ化

uv sync
source .venv/bin/activate

.envファイルには、以下の値を定義する必要があります。

• HUGGINGFACE_TOKEN

モデル適合のためのノートブックの実行

uv run --with jupyter jupyter lab

💻 使用例

基本的な使用法

上記の手順でモデルをトレーニングし、評価することができます。

高度な使用法

ModernBERTのハイパーパラメータチューニングを行い、回帰タスクでの性能を向上させることができます。

ModernBertモデルの性能

ModernBERTのハイパーパラメータチューニングを実行した後、以下の結果を得ました。

SMAPEを除くすべてのメトリックで改善が見られます。500件のサンプルは微調整には非常に少ないため、より大きなデータセットではModernBERTの性能がさらに向上すると考えており、この評価の結果に満足しています。

私たちについて

Forecast.ingでは、AgenticAIを使用してトレンドを自動的に調査し、キャンペーンアイデアを生成することで、ユーザーがより充実したコンテンツを作成できるプラットフォームを構築しています。コンテンツを生成し、そのコンテンツが成功する可能性の高さを微調整したスコアを作成します。

🔚 結論

ModernBERTは、テキスト回帰に強力なモデルであることがわかりました。より大きなデータセットでは、さらに良い結果が得られると考えています。ModernBERTの将来と、テキスト回帰での使用方法に期待しています。興味がある方は、robin@forecast.ingまでご連絡ください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。