Microtransquest En Lv Pharmaceutical Smt

🚀 TransQuest：クロス言語Transformerを用いた翻訳品質評価

翻訳品質評価（QE）の目的は、参照訳がない状況で翻訳の品質を評価することです。高精度のQEは、多くの商用翻訳ワークフローに欠けている要素であり、多くの潜在的な用途があり、様々な言語ペアに容易に適用できます。複数の翻訳エンジンが利用可能な場合、QEは最適な翻訳を選択するために使用でき、最終ユーザーに自動翻訳内容の信頼性を知らせることもできます。さらに、QEシステムは、特定の文脈で翻訳文を直接公開できるか、公開前に人手による事後編集が必要か、あるいは人手による再翻訳が必要かを判断するためにも使用できます。品質評価は、文書レベル、文レベル、単語レベルの異なるレベルで行うことができます。

TransQuestを通じて、我々は翻訳品質評価に関する研究成果をオープンソース化しました。この成果は、WMT 2020の文レベルの直接評価品質評価共有タスクで勝利しました。TransQuestは、OpenKiwiやDeepQuestなどの現在のオープンソース品質評価フレームワークを上回っています。

🚀 クイックスタート

翻訳品質評価（QE）の目的は、参照訳がない状況で翻訳の品質を評価することです。高精度のQEは多くの商用翻訳ワークフローに欠けている要素であり、多くの潜在的な用途があります。TransQuestを用いることで、この分野の研究成果を利用できます。

✨ 主な機能

• 文レベルの翻訳品質評価で、事後編集作業量の予測と直接評価の両面をカバーします。
• 単語レベルの翻訳品質評価で、ソース単語、ターゲット単語、ターゲットギャップの品質を予測できます。
• すべての実験言語において、DeepQuestやOpenKiwiなどの現在の最先端の品質評価方法を上回る性能を発揮します。
• HuggingFace上で15の言語ペアの事前学習済み品質評価モデルを提供しています。

📦 インストール

pipからのインストール

pip install transquest

ソースコードからのインストール

git clone https://github.com/TharinduDR/TransQuest.git
cd TransQuest
pip install -r requirements.txt

💻 使用例

基本的な使用法

from transquest.algo.word_level.microtransquest.run_model import MicroTransQuestModel
import torch

model = MicroTransQuestModel("xlmroberta", "TransQuest/microtransquest-en_lv-pharmaceutical-smt", labels=["OK", "BAD"], use_cuda=torch.cuda.is_available())
source_tags, target_tags = model.predict([["if not , you may not be protected against the diseases . ", "ja tā nav , Jūs varat nepasargāt no slimībām . "]])

📚 ドキュメント

詳細情報は以下のドキュメントを参照してください。

1. インストール - pipを使ってローカルにTransQuestをインストールします。
2. アーキテクチャ - TransQuestで実装されているアーキテクチャを確認します。
   1. 文レベルのアーキテクチャ - 文レベルの品質評価を行うために、MonoTransQuestとSiameseTransQuestの2つのアーキテクチャを公開しています。
   2. 単語レベルのアーキテクチャ - 単語レベルの品質評価を行うために、MicroTransQuestを公開しています。
3. 使用例 - 最近のWMT品質評価共有タスクでTransQuestを使用する方法のいくつかの例を提供しています。
   1. 文レベルの使用例
   2. 単語レベルの使用例
4. 事前学習済みモデル - 文レベルと単語レベルを含む15の言語ペアの事前学習済み品質評価モデルを提供しています。
   1. 文レベルのモデル
   2. 単語レベルのモデル
5. お問い合わせ - TransQuestに関する質問があれば、お問い合わせください。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。

📖 引用

単語レベルのアーキテクチャを使用する場合は、ACL 2021で採択されたこの論文を引用することを検討してください。

@InProceedings{ranasinghe2021,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {An Exploratory Analysis of Multilingual Word Level Quality Estimation with Cross-Lingual Transformers},
booktitle = {Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
year = {2021}
}

文レベルのアーキテクチャを使用する場合は、COLING 2020とWMT 2020（EMNLP 2020で開催）で発表されたこれらの論文を引用することを検討してください。

@InProceedings{transquest:2020a,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest: Translation Quality Estimation with Cross-lingual Transformers},
booktitle = {Proceedings of the 28th International Conference on Computational Linguistics},
year = {2020}
}

@InProceedings{transquest:2020b,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest at WMT2020: Sentence-Level Direct Assessment},
booktitle = {Proceedings of the Fifth Conference on Machine Translation},
year = {2020}
}