Fact Checking

🚀 事実検証

この生成モデルはFEVERデータセットで訓練されており、主張が与えられた証拠と一致するかどうかを予測することを目的としています。

🚀 クイックスタート

このモデルを使うための手順を説明します。

📦 インストール

インストールする簡単な方法は、以下のコマンドを入力することです。

pip install fact_checking

💻 使用例

基本的な使用法

インストール後、以下のコードを使用してモデルを使うことができます。

from transformers import (
    GPT2LMHeadModel,
    GPT2Tokenizer,
)

from fact_checking import FactChecker

_evidence = """
Justine Tanya Bateman (born February 19, 1966) is an American writer, producer, and actress . She is best known for her regular role as Mallory Keaton on the sitcom Family Ties (1982 -- 1989). Until recently, Bateman ran a production and consulting company, SECTION 5 . In the fall of 2012, she started studying computer science at UCLA.
"""

_claim = 'Justine Bateman is a poet.'

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
fact_checking_model = GPT2LMHeadModel.from_pretrained('fractalego/fact-checking')
fact_checker = FactChecker(fact_checking_model, tokenizer)
is_claim_true = fact_checker.validate(_evidence, _claim)

print(is_claim_true)

このコードの出力は以下のようになります。

False

高度な使用法

出力に確率的な要素を含めることができます。これは、出力生成を複数回繰り返すことで得られます。システムは複数の回答を生成し、YesまたはNoでグループ化します。

例えば、以下のコードを実行できます。

from transformers import (
    GPT2LMHeadModel,
    GPT2Tokenizer,
)

from fact_checking import FactChecker

_evidence = """
Jane writes code for Huggingface.
"""

_claim = 'Jane is an engineer.'


tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
fact_checking_model = GPT2LMHeadModel.from_pretrained('fractalego/fact-checking')
fact_checker = FactChecker(fact_checking_model, tokenizer)
is_claim_true = fact_checker.validate_with_replicas(_evidence, _claim)

print(is_claim_true)

出力は以下のようになります。

{'Y': 0.95, 'N': 0.05}

📚 ドキュメント

FEVERデータセットでのスコア

予測はFEVER開発データセットのサブセットで評価されており、SUPPORTINGとREFUTINGのオプションに限定されています。

これらの結果は注意して解釈する必要があります。このモデルはまだ開発中であり、基礎となるGPT2モデルからの情報漏洩により、スコアが不自然に高くなっている可能性があります。

⚠️ 重要提示

これらの結果はまだ開発中のものであり、基礎となるGPT2モデルからの情報漏洩により、スコアが不自然に高くなっている可能性があります。