Twitter Bitcoin Spam Detection

🚀 Twitter比特币相关垃圾信息检测

本模型旨在将与比特币或加密货币主题相关的推文分类为“人类”、“垃圾信息”或“机器人”。

在已有大量相关模型的情况下开发此模型，是因为与比特币相关的推文常常会被立即归类为“垃圾信息”，这通常是因为它们与钓鱼网站或诈骗有关。而本模型基于比特币相关数据集进行训练，消除了这种偏见，使得处理比特币相关推文成为可能。

该模型是 vinai/bertweet-base 的微调版本（这是一个基于roBERTa的模型，使用8.5亿条英语推文进行了微调），并在比特币相关数据集上进行了情感分类训练。

🚀 快速开始

模型信息

环境准备

BERTweet是在经过归一化处理的推文上进行训练的，例如： tweet = "DHEC confirms HTTPURL via @USER :crying_face:" 为了获得更好的结果，建议在进行垃圾信息检测之前对文本进行归一化处理。具体做法是将用户提及和网页/URL链接分别转换为特殊标记 @USER 和 HTTPURL，并进行其他预处理修改。 要进行归一化处理，请复制或下载BERTweet网页上提供的 TweetNormalizer：

!git clone https://github.com/VinAIResearch/BERTweet.git
!pip install emoji

代码示例

from transformers import pipeline
import sys

# (可选，用于提高准确率)
sys.path.append('/content/BERTweet') # 或者下载文件夹所在的任何目录
from TweetNormalizer import normalizeTweet

classifier = pipeline("text-classification",
                      model="sandiumenge/twitter-bitcoin-spam-detection",
                      tokenizer="sandiumenge/twitter-bitcoin-spam-detection",
                      truncation=True,
                      padding=True,
                      max_length=128
)

tweet = "I'm winning iPhone XS，BTC，ETH and other Awards. Join with us!@freecoinhunt https://t.co/VIUwLmdy4n"
normalized_tweet = normalizeTweet(tweet)
# "I 'm winning iPhone XS ， BTC ， ETH and other Awards . Join with us ! @USER HTTPURL"

print(classifier(normalized_tweet))

>> [{'label': 'spam', 'score': 0.9803344011306763}]

评估结果

该模型在评估集上取得了以下结果：

• 损失：0.4793
• 准确率：0.8755
• F1值：0.8767
• 精确率：0.8792
• 召回率：0.8755

可视化结果