E5 Small Lora Ai Generated Detector

🚀 私のLoRAファインチューニング済みAI生成検出器

これは、シーケンス分類タスクにLoRAでファインチューニングされたe5-smallモデルです。テキストをAI生成または人間による執筆のいずれかに高精度で分類するように最適化されています。

• Label_0：人間による執筆のコンテンツを表します。
• Label_1：AI生成のコンテンツを表します。

✨ 主な機能

• 高精度なテキスト分類：AI生成テキストと人間による執筆テキストを高精度で区別できます。
• 最適化されたパラメータ：特定のハイパーパラメータでファインチューニングされ、性能が向上しています。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略します。

📚 ドキュメント

モデルの詳細

学習の詳細

• データセット：
  • 10,000件のツイッターと10,000件の書き換えツイッター（GPT-4o-miniを使用）。
  • RAID-trainからの80,000件の人間による執筆テキスト。
  • RAID-trainからの128,000件のAI生成テキスト。
• ハードウェア：単一のNVIDIA A100 GPUでファインチューニング。
• 学習時間：約2時間。
• 評価指標： | 指標 | (Raw) E5-small | ファインチューニング後 | |------|---------------:|-----------:| | 正解率 | 0.652 | 0.890 | | F1スコア | 0.653 | 0.887 | | AUC | 0.697 | 0.976 |

モデルの評価結果

• モデル名：A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors
• タスク：テキスト分類
• データセット：RAID-test
• 評価指標：
  • 正解率: 0.939
• ソース：RAID Benchmark Leaderboard

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションは省略します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

このモデルを使用する場合は、RAIDデータセットを以下のように引用してください。

@inproceedings{dugan-etal-2024-raid,
    title = "{RAID}: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors",
    author = "Dugan, Liam  and
      Hwang, Alyssa  and
      Trhl{\'\i}k, Filip  and
      Zhu, Andrew  and
      Ludan, Josh Magnus  and
      Xu, Hainiu  and
      Ippolito, Daphne  and
      Callison-Burch, Chris",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-long.674",
    pages = "12463--12492",
}