Deberta V3 Base Daigenc Mgt1a

🚀 2025年国際計算言語学会（COLING）人工知能生成コンテンツ検出ワークショップ（DAIGenC）の優勝モデル

このモデルは、機械生成フラグメントの二値分類モデルで、COLING 2025 GenAI Detection Taskの単言語サブタスクで一位を獲得しました。このモデルは、DeBERTa-v3-baseをマルチタスクモードでファインチューニングしたもので、共有エンコーダと3つの並列ヘッドを持ち、推論時には1つのヘッドのみを使用します。

🚀 クイックスタート

モデルの使用方法

以下のコードを使用して、モデルを使用することができます。

import torch
from transformers import AutoTokenizer, DebertaV2ForSequenceClassification

class MLayerDebertaV2ForSequenceClassification(
    DebertaV2ForSequenceClassification
):
    def __init__(self, config, **kwargs):
        super().__init__(config)
        self.classifier = torch.nn.Sequential(
            torch.nn.Linear(config.hidden_size, 512),
            torch.nn.GELU(),
            torch.nn.Linear(512, 256),
            torch.nn.GELU(),
            torch.nn.Dropout(0.5),
            torch.nn.Linear(256, 2)
        )

tokenizer = AutoTokenizer.from_pretrained(
    "OU-Advacheck/deberta-v3-base-daigenc-mgt1a"
)
model = MLayerDebertaV2ForSequenceClassification.from_pretrained(
    "OU-Advacheck/deberta-v3-base-daigenc-mgt1a"
)
model.eval()

inputs = tokenizer(
    ['Hello, Thanks for sharing your health concern with us. I have gone through your query and here are your answers: 1. If you have regular cycles, there is no further need to use any medication to regulate cycles. 2. Establishment of regular ovulation and timing of intercourse properly is necessary. 3. If you want to conceive quickly, you have to get further evaluation and plan management. Hope this helps.',
     'He might have small intestinal TB rather than stomach TB. Amoebas also involves small intestine/some part of large intestine. If he has taken medicines for both diseases in form of a Complete Course, he should be fine. U can go for an oral+iv contrast CT scan of him. Now, the diagnosis of a lax cardiac can be confirmed by an upper GI endoscopy with manometry (if available). Lax cardiac may cause acidity with reflux.'],
    max_length=512,
    truncation=True,
    padding="max_length",
    return_tensors="pt"
)

torch.softmax(
    model(**inputs)[0], dim=1
).detach().cpu()[:, 1].tolist()

✨ 主な機能

• 高精度な二値分類：機械生成フラグメントを高精度に分類します。
• マルチタスク学習：共有エンコーダと3つの並列ヘッドを使用したマルチタスク学習により、性能を向上させます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

🔧 技術詳細

このモデルは、COLING 2025 GenAI Detection Taskの英語版データセットMGT Detection Task 1のトレーニングデータでファインチューニングされました。クラスは0 - 人間、1 - 機械です。モデルは、単一のNVIDIA RTX 3090 GPUで2段階のファインチューニングが行われ、ハイパーパラメータは論文に記載されています。

📚 ドキュメント

制限事項とバイアス

このモデルは、さまざまなソースとドメインの生成テキストと人間による生成テキストから構成されるトレーニングデータセットに限定されています。したがって、すべてのドメインのユースケースに適しているとは限りません。また、モデルは一部のケースで誤検出（誤陽性）が発生する可能性があり、これは分類の閾値によって異なります。

品質

コンテストで宣言されたテストセット（確率閾値0.92）での品質は以下の通りです。

独自のファインチューニング

このアーキテクチャを独自のデータドメインやベースモデルでファインチューニングしたい場合は、すべての手順が記載された学習と実行コードをGitHubで公開しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📖 引用

このモデルの結果を研究で使用する場合は、以下の論文を引用してください。

@misc{gritsai2024advacheckgenaidetectiontask,
      title={Advacheck at GenAI Detection Task 1: AI Detection Powered by Domain-Aware Multi-Tasking}, 
      author={German Gritsai and Anastasia Voznyuk and Ildar Khabutdinov and Andrey Grabovoy},
      year={2024},
      eprint={2411.11736},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.11736}, 
}

📋 モデル情報