Monotransquest Da Si En Wiki

🚀 TransQuest: クロス言語Transformerを用いた翻訳品質推定

翻訳品質推定（Quality Estimation, QE）の目標は、参照訳を参照することなく翻訳の品質を評価することです。多くの言語ペアに対して簡単に展開できる高精度のQEは、多くの潜在的な用途があるため、多くの商用翻訳ワークフローに欠かせない要素です。複数の翻訳エンジンがある場合に最適な翻訳を選択するために使用したり、自動翻訳されたコンテンツの信頼性をエンドユーザーに知らせることができます。さらに、QEシステムは、翻訳が特定のコンテキストでそのまま公開できるか、公開前に人手による編集が必要か、または人による最初からの翻訳が必要かを判断するために使用できます。品質推定は、ドキュメントレベル、文レベル、単語レベルなどの異なるレベルで行うことができます。

TransQuestでは、翻訳品質推定に関する研究をオープンソース化しています。この研究は、WMT 2020の文レベルの直接評価品質推定共有タスクで優勝しました。TransQuestは、OpenKiwiやDeepQuestなどの現在のオープンソースの品質推定フレームワークを上回っています。

✨ 主な機能

• 文レベルの翻訳品質推定：編集後の作業量の予測と直接評価の両面に対応。
• 単語レベルの翻訳品質推定：原文の単語、翻訳後の単語、および翻訳後の空白部分の品質を予測可能。
• 実験したすべての言語において、DeepQuestやOpenKiwiなどの最新の品質推定手法を上回る性能を発揮。
• 15の言語ペアに対する事前学習済みの品質推定モデルがHuggingFaceで利用可能。

📦 インストール

pipからのインストール

pip install transquest

ソースコードからのインストール

git clone https://github.com/TharinduDR/TransQuest.git
cd TransQuest
pip install -r requirements.txt

💻 使用例

基本的な使用法

import torch
from transquest.algo.sentence_level.monotransquest.run_model import MonoTransQuestModel

model = MonoTransQuestModel("xlmroberta", "TransQuest/monotransquest-da-si_en-wiki", num_labels=1, use_cuda=torch.cuda.is_available())
predictions, raw_outputs = model.predict([["Reducerea acestor conflicte este importantă pentru conservare.", "Reducing these conflicts is not important for preservation."]])
print(predictions)

📚 ドキュメント

詳細については、以下のドキュメントを参照してください。

1. インストール - pipを使用してローカルにTransQuestをインストールします。
2. アーキテクチャ - TransQuestで実装されているアーキテクチャを確認します。
   1. 文レベルのアーキテクチャ - 文レベルの品質推定を行うために、MonoTransQuestとSiameseTransQuestの2つのアーキテクチャを公開しています。
   2. 単語レベルのアーキテクチャ - 単語レベルの品質推定を行うために、MicroTransQuestを公開しています。
3. 使用例 - 最近のWMT品質推定共有タスクにおけるTransQuestの使用方法のいくつかの例を提供しています。
   1. 文レベルの使用例
   2. 単語レベルの使用例
4. 事前学習済みモデル - 文レベルと単語レベルの両方をカバーする15の言語ペアに対する事前学習済みの品質推定モデルを提供しています。
   1. 文レベルのモデル
   2. 単語レベルのモデル
5. お問い合わせ - TransQuestに関する問題がある場合は、お問い合わせください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

📚 引用

単語レベルのアーキテクチャを使用する場合は、ACL 2021に掲載されたこの論文を引用してください。

@InProceedings{ranasinghe2021,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {An Exploratory Analysis of Multilingual Word Level Quality Estimation with Cross-Lingual Transformers},
booktitle = {Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
year = {2021}
}

文レベルのアーキテクチャを使用する場合は、COLING 2020およびWMT 2020（EMNLP 2020）で発表されたこれらの論文を引用してください。

@InProceedings{transquest:2020a,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest: Translation Quality Estimation with Cross-lingual Transformers},
booktitle = {Proceedings of the 28th International Conference on Computational Linguistics},
year = {2020}
}

@InProceedings{transquest:2020b,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest at WMT2020: Sentence-Level Direct Assessment},
booktitle = {Proceedings of the Fifth Conference on Machine Translation},
year = {2020}
}