Alignscorecs

🚀 AlignScoreCS

AlignScoreCS是一個多任務多語言模型，旨在評估各種自然語言理解（NLU）任務中上下文-聲明對的事實一致性。這些任務包括摘要生成、問答（QA）、語義文本相似度（STS）、釋義、事實驗證（FV）和自然語言推理（NLI）。

該模型在包含700萬份文檔的大規模多任務數據集上進行了微調，涵蓋了捷克語和英語的上述NLU任務。其多語言預訓練使其有潛力應用於其他多種語言。模型架構能夠通過迴歸、二元分類或三元分類來處理任務，但為了評估目的，我們建議使用AlignScore函數。

這項工作受到了其英文版本AlignScore: Evaluating Factual Consistency with a Unified Alignment Function的啟發。不過，我們在訓練時使用了同質批次而非異質批次，並採用了三種不同的架構共享一個編碼器。這種設置允許每個架構及其分類頭獨立使用。

🚀 快速開始

模型信息

模型使用

  # 假設你為了方便在transformers中使用，複製了附帶的Files_and_versions/AlignScore.py文件。
  from AlignScoreCS import AlignScoreCS
  alignScoreCS = AlignScoreCS.from_pretrained("krotima1/AlignScoreCS")
  # 將模型放到cuda上以加速
  print(alignScoreCS.score(context="This is context", claim="This is claim"))

✨ 主要特性

• 多任務處理：能夠處理多種自然語言理解任務，包括摘要生成、問答、語義文本相似度等。
• 多語言支持：在捷克語和英語數據集上進行微調，且多語言預訓練使其有潛力用於其他語言。
• 靈活架構：架構可通過迴歸、二元分類或三元分類處理任務，每個架構及其分類頭可獨立使用。

📚 詳細文檔

評估方法

與論文AlignScore類似，我們使用其AlignScore函數，將上下文大致分塊為350個標記，並將聲明拆分為句子。每個上下文塊與每個聲明句子進行評估，並彙總為一個一致性分數。

AlignScoreCS模型基於三個共享一個編碼器的XLM - RoBERTa架構構建。

訓練架構

我們使用了檢查點xlm - roberta - large [xlm - roberta](https://huggingface.co/FacebookAI/xlm - roberta - large)的共享架構，並帶有三個用於迴歸、二元分類和三元分類的線性層來訓練模型。

📦 訓練數據集

以下表格展示了用於訓練模型的數據集，我們使用seamLessM4t將這些英文數據集翻譯成了捷克語。

📄 許可證

本項目採用CC BY 4.0許可證。