Gibberish Sentence Detection Model Tr

🚀 胡言乱语检测模型 - 土耳其语版

该模型主要用于检测文本是否为胡言乱语，通过对输入的句子进行分类，判断其是有意义的真实语句还是无意义的乱码，在文本处理和过滤场景中具有重要价值。

🚀 快速开始

本模型基于 dbmdz/bert-base-turkish-128k-uncased 模型进行微调，可有效检测类似 "adssnfjnfjn" 这样的胡言乱语句子，实现简单的二分类任务，判断句子是胡言乱语还是真实语句。

💻 使用示例

基础用法

from transformers import AutoModelForSequenceClassification, AutoTokenizer
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = AutoModelForSequenceClassification.from_pretrained("TURKCELL/gibberish-detection-model-tr")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/gibberish-detection-model-tr", do_lower_case=True, use_fast=True)

model.to(device)

def get_result_for_one_sample(model, tokenizer, device, sample):
    d = {
        1: 'gibberish',
        0: 'real'
    }
    test_sample = tokenizer([sample], padding=True, truncation=True, max_length=256, return_tensors='pt').to(device)
    # test_sample
    output = model(**test_sample)
    y_pred = np.argmax(output.logits.detach().to('cpu').numpy(), axis=1)
    return d[y_pred[0]]

sentence = "nabeer rdahdaajdajdnjnjf"
result = get_result_for_one_sample(model, tokenizer, device, sentence)
print(result)

📄 许可证

本项目采用 MIT 许可证。