Aitextdetector

🚀 AIテキスト検出器

このモデルは、テキスト分類に使用されるgpt2の微調整モデルです。このモデルは、AI生成テキスト、知乎ユーザーの回答テキスト、その他のテキストの3つのカテゴリをサポートしています。

🚀 クイックスタート

パイプラインを使用した推論

transformers.pipeline で事前に設定されたテキスト分類パイプラインを使用することで、簡単にモデルを利用できます。

from transformers import pipeline
classifier = pipeline("text-classification",model="./checkpoints",device="cuda")
text = "加密通信助长犯罪的说法并不成立，理由如下：隐私权的基本保障：加密技术保障了个人和组织的隐私权，这是基本人权的一部分。无论是个人的日常通信、商业机密，还是新闻记者的来源保护，加密通信都在确保合法和正当的隐私需求不被侵犯。"
print(classifier(text))

出力結果は以下の通りです。

[{'label': 'AI', 'score': 0.9951270818710327}]

モデルを直接使用した推論

モデル自体を使用して推論を行う方法は以下の通りです。

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("hugfaceguy0001/AITextDetector")
model = AutoModelForSequenceClassification.from_pretrained("hugfaceguy0001/AITextDetector").to("cuda")

def detect_text(text):
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors="pt").to("cuda")
        logits = model(**inputs).logits
        predicted_class_id = logits.argmax().item()
    return model.config.id2label[predicted_class_id]

text = "黑神话这个游戏，你喷它优化、喷它地图、喷它空气墙、喷它战斗、喷它剧情；这些东西不管我自己觉得有没有喷一下的必要，可也都或多或少的能理解它为什么被喷的原因。"
print(detect_text(text))

出力結果は以下の通りです。

zhihu

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが提供されていません。

📚 ドキュメント

訓練データ

訓練データには、alpaca-data-gpt4-chinese から約52,000件の回答テキストをAI生成テキストとして、Zhihu-KOL からランダムに選択した約52,000件の回答テキストを知乎ユーザーの回答テキストとして、SkyPile-150B からランダムに選択した約52,000件のテキストをその他のテキストとして使用しています。合計約15.6万件の分類テキストがデータセットを構成し、そのうち80%が訓練に、20%がテストに使用されます。

テストセットでの性能

分類の正解率は accuracy = 0.9802627363024672 です。各サンプルの真のラベルと検出結果から構成される混合行列は以下の通りです。

📄 ライセンス

このモデルはOpenRailライセンスの下で提供されています。

その他の情報