E5 Small Lora Ai Generated Detector

🚀 我的LoRA微調AI生成文本檢測器

這是一個使用LoRA進行微調的e5-small模型，用於序列分類任務。它經過優化，能夠高精度地將文本分類為AI生成或人類撰寫。

• 標籤0：代表人類撰寫的內容。
• 標籤1：代表AI生成的內容。

🚀 快速開始

本模型可用於文本分類任務，特別是檢測文本是否為AI生成。以下是使用示例：

# 這裡可以添加使用該模型進行文本分類的示例代碼，由於原文未提供，暫不展示具體代碼

✨ 主要特性

• 高精度分類：能夠準確區分AI生成和人類撰寫的文本。
• 基於LoRA微調：使用LoRA（低秩自適應）技術進行微調，提高模型性能。
• 適用範圍廣：可應用於多種需要檢測AI生成文本的場景。

📦 安裝指南

由於原文未提供安裝步驟，此部分暫不展示。

💻 使用示例

基礎用法

# 這裡可以添加基礎使用該模型的代碼示例，由於原文未提供，暫不展示具體代碼

高級用法

# 這裡可以添加高級場景下使用該模型的代碼示例，由於原文未提供，暫不展示具體代碼

📚 詳細文檔

模型詳情

訓練詳情

• 數據集：
  • 10,000條推文和10,000條使用GPT - 4o - mini改寫的推文。
  • 來自RAID - train的80,000條人類撰寫文本。
  • 來自RAID - train的128,000條AI生成文本。
• 硬件：在單個NVIDIA A100 GPU上進行微調。
• 訓練時間：約2小時。
• 評估指標： | 指標 | (原始) E5 - small | 微調後 | |------|------------------|--------| | 準確率 | 65.2% | 89.0% | | F1分數 | 0.653 | 0.887 | | AUC | 0.697 | 0.976 |

🔧 技術細節

本模型基於intfloat/e5-small基礎模型，使用LoRA技術進行微調。LoRA通過在預訓練模型的基礎上引入低秩矩陣來減少可訓練參數的數量，從而提高訓練效率。在訓練過程中，使用了特定的超參數，如學習率為5e-5，訓練輪數為3等，以達到較好的分類效果。

📄 許可證

本模型使用MIT許可證。

👥 合作者

• 周夢琳
• 劉佳平
• 詹曉天

📖 引用

如果您使用此模型，請按以下方式引用RAID數據集：

@inproceedings{dugan-etal-2024-raid,
    title = "{RAID}: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors",
    author = "Dugan, Liam  and
      Hwang, Alyssa  and
      Trhl{\'\i}k, Filip  and
      Zhu, Andrew  and
      Ludan, Josh Magnus  and
      Xu, Hainiu  and
      Ippolito, Daphne  and
      Callison-Burch, Chris",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-long.674",
    pages = "12463--12492",
}