Bert Spam Classification Model

🚀 ファインチューニングされたBERT-base-uncased事前学習モデルによるスパムSMS分類

このモデルは、スパムSMSを分類するためにファインチューニングされたBERT-base-uncased事前学習モデルです。評価結果のログはGitHubで確認できます。

🚀 クイックスタート

このモデルは、自然言語処理（NLP）における私の2つ目のプロジェクトで、bert-base-uncasedモデルをファインチューニングしてスパムSMSを分類するようにしました。これは、このプロジェクトから大きく改善されたものです。

評価結果のログはこちらで確認できます: GitHub

💻 使用例

基本的な使用法

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('fzn0x/bert-spam-classification-model')
model = BertForSequenceClassification.from_pretrained('fzn0x/bert-spam-classification-model')

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()

def model_predict(text: str):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True).to(device)
    with torch.no_grad():
        outputs = model(**inputs)
    logits = outputs.logits
    prediction = torch.argmax(logits, dim=1).item()
    return 'SPAM' if prediction == 1 else 'HAM'

def predict():
    text = "Hello, do you know with this crypto you can be rich? contact us in 88888"
    predicted_label = model_predict(text)
    print(f"1. Predicted class: {predicted_label}") # EXPECT: SPAM

    text = "Help me richard!"
    predicted_label = model_predict(text)
    print(f"2. Predicted class: {predicted_label}") # EXPECT: HAM

    text = "You can buy loopstation for 100$, try buyloopstation.com"
    predicted_label = model_predict(text)
    print(f"3. Predicted class: {predicted_label}") # EXPECT: SPAM

    text = "Mate, I try to contact your phone, where are you?"
    predicted_label = model_predict(text)
    print(f"4. Predicted class: {predicted_label}") # EXPECT: HAM

if __name__ == "__main__":
    predict()

📚 参考文献

このリポジトリまたはそのアイデアを使用する場合は、以下を引用してください。

完全なBibTeXエントリはcitations.bibを参照してください。

• Wolf et al., Transformers: State-of-the-Art Natural Language Processing, EMNLP 2020. ACL Anthology
• Pedregosa et al., Scikit-learn: Machine Learning in Python, JMLR 2011.
• Almeida & Gómez Hidalgo, SMS Spam Collection v.1, UCI Machine Learning Repository (2011). Kaggle Link

🧠 クレジットと使用ライブラリ

• Hugging Face Transformers – モデル、トークナイザー、およびトレーニングユーティリティ
• scikit-learn – メトリクスと前処理
• ログのサイレンシングはHugging Face GitHubのディスカッションにインスパイアされました
• データセットはUCI SMS Spam Collectionから取得しました
• インスピレーションはSuyash KhareのKaggle Notebookから得ました

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。