Modernbert Content Regression

🚀 現代BERT參與度內容迴歸模型

本項目探索了使用現代BERT（ModernBERT）進行文本回歸任務，旨在預測文本內容的參與度指標。具體而言，我們預測電子郵件文本內容的點擊率（CTR）。本項目將研究現代BERT的超參數調整方法及其在迴歸任務中的應用，並將結果與基準模型進行比較。

🚀 快速開始

安裝依賴並激活虛擬環境

uv sync
source .venv/bin/activate

需要在 .env 文件中定義以下值：

• HUGGINGFACE_TOKEN

運行模型擬合的筆記本

uv run --with jupyter jupyter lab

✨ 主要特性

本項目主要探索了使用現代BERT進行文本回歸任務，預測電子郵件文本內容的點擊率。具體特性如下：

• 使用現代BERT：探索現代BERT在文本回歸任務中的應用，預測電子郵件文本內容的點擊率。
• 超參數調整：研究現代BERT的超參數調整方法，以優化模型性能。
• 基準比較：將現代BERT的結果與基準模型（Catboost）進行比較。
• 數據集分析：使用包含548封電子郵件的數據集，分析電子郵件文本和點擊率之間的關係。

📦 安裝指南

安裝依賴並激活虛擬環境

uv sync
source .venv/bin/activate

需要在 .env 文件中定義以下值：

• HUGGINGFACE_TOKEN

運行模型擬合的筆記本

uv run --with jupyter jupyter lab

📚 詳細文檔

項目介紹

本項目探索了使用現代BERT進行文本回歸任務，預測電子郵件文本內容的點擊率。我們將研究現代BERT的超參數調整方法及其在迴歸任務中的應用，並將結果與基準模型進行比較。

數據集

我們使用了一個包含548封電子郵件的數據集，其中包含電子郵件文本和我們試圖預測的點擊率標籤。我們期待現代BERT的改進，以便為每個潛在用戶的電子郵件數據集微調模型。電子郵件數據的可變性和小樣本量帶來了有趣的迴歸挑戰。

基準測試

我們首先使用Catboost庫作為文本回歸的簡單基準。對於基準和現代BERT運行，我們都使用 'rmse' 作為指標。我們得到以下結果：

現代BERT模型性能

在對現代BERT進行超參數調整後，我們得到以下結果：

除了SMAPE外，所有指標都有所改善。我們相信，隨著數據集的增大，現代BERT的性能會更好，因為500個樣本對於微調來說太少了，因此我們對這次評估的性能感到滿意。

項目鏈接

• 模型：ModernBERT-Engagement-Content-Regression
• 訓練筆記本：Training Notebook
• 演示：Demo Space

致謝

本項目得益於許多社區成員的工作和博客文章，特別感謝以下資源：

• ModernBERT Announcement
• Fine-tune classifier with ModernBERT in 2025
• How to set up Trainer for a regression
• 同時感謝ModernBERT的創作者！

關於我們

在 Forecast.ing，我們正在構建一個平臺，通過自動研究趨勢並使用AgenticAI生成活動創意，幫助用戶創建更豐富的內容。我們生成內容，然後為內容的成功可能性進行微調評分。

結論

我們發現現代BERT是一個強大的文本回歸模型。我們相信，隨著數據集的增大，我們將看到更好的結果。我們期待現代BERT的未來發展及其在文本回歸中的應用。如果您感興趣，請通過 robin@forecast.ing 與我聯繫。

📄 許可證

本項目採用 apache-2.0 許可證。