Rubert Tiny Questions Classifier

🚀 Den4ikAI/ruBert-tiny-questions-classifier

このモデルは質問を2つのクラスに分類します。

1. 具体的な質問 (exact_question) - 明確で事実に基づいた回答を必要とする質問。
2. 抽象的な質問 (innacurate_question) - 考察や哲学的な質問を含む質問。

🚀 クイックスタート

このモデルを使用することで、質問を具体的な質問と抽象的な質問に分類できます。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

class RuBertQuestionClassifier:
    def __init__(self):
        self.device = torch.device("cpu")
        self.tokenizer = AutoTokenizer.from_pretrained("Den4ikAI/ruBert-tiny-questions-classifier")
        self.model = AutoModelForSequenceClassification.from_pretrained("Den4ikAI/ruBert-tiny-questions-classifier").to(
            self.device).eval()
        self.classes = ['exact_question', 'inaccurate_question']

    def get_question_type(self, text):
        text = text.lower().replace(',', '').replace('?', '')
        inputs = self.tokenizer(text, max_length=512, add_special_tokens=False, truncation=True,
                                return_tensors='pt').to(self.device)
        with torch.no_grad():
            logits = self.model(**inputs).logits
            probas = list(torch.sigmoid(logits)[0].cpu().detach().numpy())
        out = self.classes[probas.index(max(probas))]
        # self.logger.debug('Mode: {}'.format(out))
        return out
classifier = RuBertQuestionClassifier()
print(classifier.get_question_type('когда я найду своего принца'))
print(classifier.get_question_type('что такое цианид'))

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

📚 引用

@MISC{Den4ikAI/ruBert-tiny-questions-classifier,
    author  = {Denis Petrov},
    title   = {Russian question type classifier model},
    url     = {https://huggingface.co/Den4ikAI/ruBert-tiny-questions-classifier},
    year    = 2023
}