Nli Entailment Verifier Xxl

🚀 nli-entailment-verifier-xxl

nli-entailment-verifier-xxlは、flan - t5 - xxlモデルに基づいており、ランキング目的（与えられた前提に対する一対の仮説の中から最も支持される仮説をランク付けする）で微調整されています。詳細については、当社の論文Are Machines Better at Complex Reasoning? Unveiling Human - Machine Inference Gaps in Entailment Verificationを参照してください。

このモデルは、与えられた前提が仮説を支持するかどうかを検証するために構築されています。NLI形式のデータセットとCoTの論理根拠の両方に対応しています。特に、複数文の前提（CoTの論理根拠や他の最新のLLMのユースケースで想定されるものと同様）を扱うように訓練されています。

⚠️ 重要な注意

量子化を4ビット/8ビットで使用することで、GPUメモリの使用量を削減できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

def get_score(model, tokenizer, input_ids):
    pos_ids = tokenizer('Yes').input_ids
    neg_ids = tokenizer('No').input_ids
    pos_id = pos_ids[0]
    neg_id = neg_ids[0]
    
    logits = model(input_ids, decoder_input_ids=torch.zeros((input_ids.size(0), 1), dtype=torch.long)).logits
    pos_logits = logits[:, 0, pos_id]
    neg_logits = logits[:, 0, neg_id]
    posneg_logits = torch.cat([pos_logits.unsqueeze(-1), neg_logits.unsqueeze(-1)], dim=1)
    scores = torch.nn.functional.softmax(posneg_logits, dim=1)[:, 0]
    return scores

tokenizer = AutoTokenizer.from_pretrained('google/flan-t5-xxl')
model = AutoModelForSeq2SeqLM.from_pretrained('soumyasanyal/nli-entailment-verifier-xxl')

premise = "A fossil fuel is a kind of natural resource. Coal is a kind of fossil fuel."
hypothesis = "Coal is a kind of natural resource."
prompt = f"Premise: {premise}\nHypothesis: {hypothesis}\nGiven the premise, is the hypothesis correct?\nAnswer:"

input_ids = tokenizer(prompt, return_tensors='pt').input_ids

scores = get_score(model, tokenizer, input_ids)
print(f'Hypothesis entails the premise: {bool(scores >= 0.5)}')

['Hypothesis entails the premise: False']