Siamesetransquest Da Ro En Wiki

🚀 TransQuest：クロス言語Transformerに基づく翻訳品質評価

翻訳品質評価（Quality Estimation, QE）は、参照訳を用いずに翻訳品質を評価することを目的としています。高精度のQEは、多くの商業的な翻訳プロセスで欠けている重要な要素であり、多くの言語ペアに容易に適用でき、幅広い潜在的な用途を持っています。複数の翻訳エンジンがある場合、QEは最適な翻訳を選択するために使用でき、また自動翻訳の内容の信頼性をエンドユーザーに知らせることもできます。さらに、QEシステムは、翻訳が特定のコンテキストで直接公開できるか、人工的な後編集が必要か、または人工的に再翻訳する必要があるかを判断することができます。翻訳品質評価は、文書レベル、文レベル、単語レベルなど、さまざまなレベルで行うことができます。

TransQuestを通じて、我々は翻訳品質評価の研究成果をオープンソースで公開しています。この成果は、WMT 2020の文レベルの直接評価品質評価共有タスクで優勝しました。現在のオープンソース品質評価フレームワークであるOpenKiwiやDeepQuestと比較して、TransQuestはより優れた性能を発揮します。

✨ 主な機能

• 文レベルの翻訳品質評価：予測後編集作業量と直接評価の両面から文レベルの翻訳品質評価を行うことができます。
• 単語レベルの翻訳品質評価：ソース単語、ターゲット単語、ターゲットの欠損の品質を予測することができます。
• 卓越した性能：すべての実験言語において、DeepQuestやOpenKiwiなどの現在の最先端の品質評価方法よりも優れた性能を発揮します。
• 豊富な事前学習モデル：HuggingFace上で15の言語ペアの事前学習品質評価モデルを提供しています。

📦 インストール

pipを使用したインストール

pip install transquest

ソースコードからのインストール

git clone https://github.com/TharinduDR/TransQuest.git
cd TransQuest
pip install -r requirements.txt

💻 使用例

基本的な使用法

import torch
from transquest.algo.sentence_level.siamesetransquest.run_model import SiameseTransQuestModel

model = SiameseTransQuestModel("TransQuest/siamesetransquest-da-ro_en-wiki")
predictions = model.predict([["Reducerea acestor conflicte este importantă pentru conservare.", "Reducing these conflicts is not important for preservation."]])
print(predictions)

📚 ドキュメント

詳細な情報は、以下のドキュメントを参照してください。

1. インストール：pipを使用してローカルにTransQuestをインストールする方法です。
2. アーキテクチャ：TransQuestで実装されているアーキテクチャを確認できます。
   1. 文レベルのアーキテクチャ：文レベルの品質評価を行うための2つのアーキテクチャ、MonoTransQuestとSiameseTransQuestを公開しています。
   2. 単語レベルのアーキテクチャ：単語レベルの品質評価を行うためのMicroTransQuestを公開しています。
3. 使用例：最近のWMT品質評価共有タスクでTransQuestを使用したいくつかの例を提供しています。
   1. 文レベルの使用例
   2. 単語レベルの使用例
4. 事前学習モデル：文レベルと単語レベルを含む15の言語ペアの事前学習品質評価モデルを提供しています。
   1. 文レベルのモデル
   2. 単語レベルのモデル
5. お問い合わせ：TransQuestの使用中に問題が発生した場合は、お問い合わせください。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。

📚 引用

単語レベルのアーキテクチャを使用する場合は、ACL 2021で受け入れられたこの論文を引用することを検討してください。

@InProceedings{ranasinghe2021,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {An Exploratory Analysis of Multilingual Word Level Quality Estimation with Cross-Lingual Transformers},
booktitle = {Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
year = {2021}
}

文レベルのアーキテクチャを使用する場合は、COLING 2020とWMT 2020（EMNLP 2020）で発表されたこれらの論文を引用することを検討してください。

@InProceedings{transquest:2020a,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest: Translation Quality Estimation with Cross-lingual Transformers},
booktitle = {Proceedings of the 28th International Conference on Computational Linguistics},
year = {2020}
}

@InProceedings{transquest:2020b,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest at WMT2020: Sentence-Level Direct Assessment},
booktitle = {Proceedings of the Fifth Conference on Machine Translation},
year = {2020}
}