Granite Question Classifier

🚀 グラニット質問分類器

ibm-granite/granite-embedding-30m-englishを微調整したバージョンで、質問を「特定対象向け」または「汎用」に分類することを目的としています。

🚀 クイックスタート

このモデルは、質問を「特定対象向け」または「汎用」に分類することを目的としています。特定対象向けでない質問の場合、RAGパイプラインで実行するアクションを変更することができます（例えば、要約を求める質問のように汎用的な質問では、意味検索が直接的には役に立たない場合があります）。学習中に達成された精度は94%です。このモデルは、以前のモデル（https://huggingface.co/cnmoro/bert-tiny-question-classifier ）のアップグレード版として設計されています。

✨ 主な機能

• 質問を「特定対象向け」または「汎用」に分類します。
• RAGパイプラインでのアクションを最適化するために使用できます。
• 学習中に94%の精度を達成しました。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_id = "cnmoro/granite-question-classifier"
model = AutoModelForSequenceClassification.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model.eval()

def predict_question_category(question):  
    inputs = tokenizer.encode_plus(
        question,
        add_special_tokens=True,
        max_length=512,
        return_tensors="pt",
        truncation=True
    )
    
    input_ids = inputs["input_ids"]
    attention_mask = inputs["attention_mask"]
    
    with torch.no_grad():
        outputs = model(input_ids, attention_mask=attention_mask)
        logits = outputs.logits.squeeze(-1)
        print(logits)
        prediction = (logits > 0).float().item()
    
    # Map prediction to category
    return "directed" if prediction == 1.0 else "generic"

predict_question_category("Qual o resumo do texto?") # generic
predict_question_category("Qual foi a crítica que o autor recebeu do jornal, em relação a sua opinião?") # directed

📚 ドキュメント

📄 ライセンス

このモデルはMITライセンスの下で提供されています。