Bidi Eng Pol

🚀 多斯拉夫雙向模型

多斯拉夫雙向模型是一組支持雙向翻譯的編碼器 - 解碼器香草變壓器模型，可用於多種斯拉夫語言及英語的互譯，為跨語言交流提供有力支持。

🚀 快速開始

要使用 BiDi 模型，你需要指定翻譯的目標語言。目標語言標記以 3 字母的 ISO 639 - 3 語言代碼形式嵌入在 >>xxx<< 格式中。以下是使用模型的示例代碼片段。由於存在一個 bug，必須顯式使用 MarianMTModel。請記得根據你的使用場景調整源語言和目標語言。

from transformers import AutoTokenizer, MarianMTModel

source_lang = "pol"
target_lang = "ces"
first_lang, second_lang = sorted([source_lang, target_lang])
model_name = f"Allegro/BiDi-{first_lang}-{second_lang}"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

text = f">>{target_lang}<<" + " " + "Allegro to internetowa platforma e-commerce, na której swoje produkty sprzedają średnie i małe firmy, jak również duże marki."

batch_to_translate = [text]
translations = model.generate(**tokenizer.batch_encode_plus(batch_to_translate, return_tensors="pt"))
decoded_translation = tokenizer.batch_decode(translations, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0]

print(decoded_translation)

生成的捷克語輸出如下：

Allegro je online e-commerce platforma, na které své výrobky prodávají střední a malé firmy, stejně jako velké značky.

✨ 主要特性

• 雙向翻譯：BiDi 是一組在句子級機器翻譯任務上訓練的編碼器 - 解碼器香草變壓器模型集合，每個模型都支持雙向翻譯。
• 多語言支持：支持捷克語、英語、波蘭語、斯洛伐克語和斯洛文尼亞語等多種語言的翻譯。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, MarianMTModel

source_lang = "pol"
target_lang = "ces"
first_lang, second_lang = sorted([source_lang, target_lang])
model_name = f"Allegro/BiDi-{first_lang}-{second_lang}"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

text = f">>{target_lang}<<" + " " + "Allegro to internetowa platforma e-commerce, na której swoje produkty sprzedają średnie i małe firmy, jak również duże marki."

batch_to_translate = [text]
translations = model.generate(**tokenizer.batch_encode_plus(batch_to_translate, return_tensors="pt"))
decoded_translation = tokenizer.batch_decode(translations, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0]

print(decoded_translation)

高級用法

文檔未提及高級用法示例，故跳過該部分。

📚 詳細文檔

支持的語言

要使用 BiDi 模型，你必須提供翻譯的目標語言。目標語言標記以 3 字母的 ISO 639 - 3 語言代碼形式嵌入在 >>xxx<< 格式中。所有接受的翻譯方向及其相應的標記如下所示。請注意，每個模型僅支持兩個方向。每個方向都作為特殊標記添加到了 Sentence - Piece 分詞器中。

可用的雙向模型

我們提供了 10 個 BiDi 模型，可實現 20 種語言之間的翻譯。

訓練

SentencePiece 分詞器的詞彙表總大小為 32k（每種語言 16k）。分詞器是在訓練語料庫的隨機採樣部分上訓練的。在訓練過程中，我們使用了 [MarianNMT](https://marian - nmt.github.io/) 框架。使用的基礎 Marian 配置為：[transfromer - big](https://github.com/marian - nmt/marian - dev/blob/master/src/common/aliases.cpp#L113)。所有訓練參數如下表所示。

訓練超參數：

訓練語料庫

主要研究問題是：“添加額外的相關語言如何影響模型的質量？” 我們在斯拉夫語系中進行了探索。BiDi 模型是我們在通過使用更高級別的多語言性擴展數據機制之前的基線。

數據集是通過 MT - Data 庫下載的。過濾和去重後，總示例數量會根據支持的語言而有所不同，如下表所示。

使用的數據集（僅適用於特定方向）：

評估

模型的評估是在 Flores200 數據集上進行的。下表比較了開源模型和我們集合中所有適用模型的性能。使用的指標為：Unbabel/wmt22 - comet - da。

◊ 由 2 個模型 Many2XXX 和 XXX2Many 組成的系統，見 [P5 - ces2many](https://huggingface.co/allegro/p5 - ces2many)

• 所有雙向模型的綜合結果；每個值對應適用的模型

侷限性和偏差

我們沒有評估訓練數據集中包含的固有偏差。建議在特定領域驗證我們模型的偏差。這在從英語到斯拉夫語的翻譯中可能尤其成問題，因為斯拉夫語需要明確指示性別，並且可能會基於訓練數據中存在的偏差產生幻覺。

🔧 技術細節

文檔中關於技術細節部分已在詳細文檔的訓練部分詳細說明，此處不再重複。

📄 許可證

該模型採用 CC BY 4.0 許可證，允許商業使用。

聯繫信息

作者：

• MLR @ Allegro：Artur Kot，Mikołaj Koszowski，[Wojciech Chojnowski](https://linkedin.com/in/wojciech - chojnowski - 744702348)，[Mieszko Rutkowski](https://linkedin.com/in/mieszko - rutkowski)
• Laniqo.com：[Artur Nowakowski](https://linkedin.com/in/artur - nowakowski - mt)，[Kamil Guttmann](https://linkedin.com/in/kamil - guttmann)，[Mikołaj Pokrywka](https://linkedin.com/in/mikolaj - pokrywka)

如果您有任何問題或建議，請隨時聯繫作者：

• 電子郵件：artur.kot@allegro.com 或 mikolaj.koszowski@allegro.com
• LinkedIn：Artur Kot 或 Mikołaj Koszowski

引用

即將更新 🤗