Alignscorecs

🚀 AlignScoreCS

文脈と主張のペアにおける事実の一貫性を評価するためのマルチタスク多言語モデルです。このモデルは、様々な自然言語理解（NLU）タスク、要約、質問応答（QA）、意味的テキスト類似度（STS）、言い換え、事実検証（FV）、**自然言語推論（NLI）**などに対応しています。

AlignScoreCSは、700万件の文書からなる大規模なマルチタスクデータセットでファインチューニングされており、これらのNLUタスクをチェコ語と英語の両方でカバーしています。多言語事前学習により、他の様々な言語での利用も可能です。アーキテクチャは、回帰、2値分類、または3値分類を使用してタスクを処理できますが、評価目的ではAlignScore関数の使用を推奨します。

この研究は、英語版のAlignScore: Evaluating Factual Consistency with a Unified Alignment Functionに影響を受けています。ただし、学習時には異種バッチではなく同種バッチを使用し、1つのエンコーダを共有する3つの異なるアーキテクチャを利用しました。この設定により、各アーキテクチャをその分類ヘッドとともに独立して使用できます。

🚀 クイックスタート

このモデルは、チェコ語と英語の様々なNLUタスクにおける事実性を評価するためのマルチタスク多言語モデルです。元の論文 AlignScore を参考にしています。モデルは、チェックポイント xlm - roberta - large [xlm - roberta](https://huggingface.co/FacebookAI/xlm - roberta - large) の共有アーキテクチャを使用し、回帰、2値分類、および3値分類の3つの線形層を持つように学習されています。

✨ 主な機能

• 多言語対応で、チェコ語と英語のデータセットでファインチューニングされ、他の言語での利用も可能。
• 回帰、2値分類、3値分類のタスクを処理できるアーキテクチャ。
• 評価にはAlignScore関数を推奨。

💻 使用例

基本的な使用法

  # Assuming you copied the attached Files_and_versions/AlignScore.py file for ease of use in transformers.
  from AlignScoreCS import AlignScoreCS
  alignScoreCS = AlignScoreCS.from_pretrained("krotima1/AlignScoreCS")
  # put the model to cuda to accelerate
  print(alignScoreCS.score(context="This is context", claim="This is claim"))

📚 ドキュメント

評価方法

論文 AlignScore と同様に、AlignScore関数を使用しています。この関数は、文脈を約350トークンに分割し、主張を文に分割します。各文脈チャンクは各主張文に対して評価され、1つの一貫性スコアに集約されます。

AlignScoreCSモデルは、1つのエンコーダを共有する3つのXLM - RoBERTaアーキテクチャに基づいて構築されています。

学習データセット

以下の表は、モデルの学習に使用されたデータセットを示しています。これらの英語のデータセットは、seamLessM4tを使用してチェコ語に翻訳されました。

📄 ライセンス

この作品は cc - by - 4.0 ライセンスの下で提供されています。