Modernbert Ai Detection

🚀 機械生成テキスト検出による言語モデルの崩壊防止

このモデルは、論文 Machine-generated text detection prevents language model collapse で提示された研究の一部です。この研究では、機械生成テキスト検出器からの重要度サンプリングに基づくモデルの崩壊を防止するアプローチが提案されています。公式の実装と学習スクリプトは、GitHubリポジトリ GeorgeDrayson/model_collapse で利用可能です。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

機械生成テキストを検出するためにこのモデルを使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("GeorgeDrayson/modernbert-mage")
model = AutoModelForSequenceClassification.from_pretrained("GeorgeDrayson/modernbert-mage")

text = "Your input text here."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)
print(f"Probability of machine-generated text: {probabilities[0][1].item():.4f}")

📚 ドキュメント

モデル情報

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

📄 引用

このモデルを使用した場合、またはこの研究が役立った場合は、以下のように引用してください。

@article{drayson2025machine,
  title={Machine-generated text detection prevents language model collapse},
  author={Drayson, George and Yilmaz, Emine and Lampos, Vasileios},
  journal={arXiv preprint arXiv:2502.15654},
  year={2025}
}