Gibberish Sentence Detection Model Tr

🚀 ギブリッシュ検出モデル (トルコ語)

このモデルは、文章が意味のあるものかギブリッシュ（意味のない文字列）かを検出するためのテキスト分類モデルです。dbmdz/bert-base-turkish-128k-uncased モデルをファインチューニングして作成されています。

🚀 クイックスタート

このセクションでは、モデルの使用方法を説明します。以下のコード例を参考に、文章がギブリッシュかどうかを判定できます。

💻 使用例

基本的な使用法

from transformers import AutoModelForSequenceClassification, AutoTokenizer
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = AutoModelForSequenceClassification.from_pretrained("TURKCELL/gibberish-detection-model-tr")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/gibberish-detection-model-tr", do_lower_case=True, use_fast=True)

model.to(device)

def get_result_for_one_sample(model, tokenizer, device, sample):
    d = {
        1: 'gibberish',
        0: 'real'
    }
    test_sample = tokenizer([sample], padding=True, truncation=True, max_length=256, return_tensors='pt').to(device)
    # test_sample
    output = model(**test_sample)
    y_pred = np.argmax(output.logits.detach().to('cpu').numpy(), axis=1)
    return d[y_pred[0]]

sentence = "nabeer rdahdaajdajdnjnjf"
result = get_result_for_one_sample(model, tokenizer, device, sentence)
print(result)

📄 ライセンス

このプロジェクトは MIT ライセンスの下で公開されています。