Gibberish Sentence Detection Model Tr

🚀 胡言亂語檢測模型 - 土耳其語版

該模型主要用於檢測文本是否為胡言亂語，通過對輸入的句子進行分類，判斷其是有意義的真實語句還是無意義的亂碼，在文本處理和過濾場景中具有重要價值。

🚀 快速開始

本模型基於 dbmdz/bert-base-turkish-128k-uncased 模型進行微調，可有效檢測類似 "adssnfjnfjn" 這樣的胡言亂語句子，實現簡單的二分類任務，判斷句子是胡言亂語還是真實語句。

💻 使用示例

基礎用法

from transformers import AutoModelForSequenceClassification, AutoTokenizer
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = AutoModelForSequenceClassification.from_pretrained("TURKCELL/gibberish-detection-model-tr")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/gibberish-detection-model-tr", do_lower_case=True, use_fast=True)

model.to(device)

def get_result_for_one_sample(model, tokenizer, device, sample):
    d = {
        1: 'gibberish',
        0: 'real'
    }
    test_sample = tokenizer([sample], padding=True, truncation=True, max_length=256, return_tensors='pt').to(device)
    # test_sample
    output = model(**test_sample)
    y_pred = np.argmax(output.logits.detach().to('cpu').numpy(), axis=1)
    return d[y_pred[0]]

sentence = "nabeer rdahdaajdajdnjnjf"
result = get_result_for_one_sample(model, tokenizer, device, sentence)
print(result)

📄 許可證

本項目採用 MIT 許可證。