Mt Dspec Legislation En Cy

🚀 mt-dspec-legislation-en-cy

英語とウェールズ語間の翻訳を行う言語翻訳モデルで、立法ドメインに特化しています。

🚀 クイックスタート

このモデルは、英語とウェールズ語間の翻訳を行う言語翻訳モデルで、立法の特定ドメインに特化しています。

このモデルは、Marian NMT を用いたカスタムDVCパイプラインで学習されました。準備されたデータセットは以下のソースから生成されました。

• UK Government Legislation data
• OPUS-cy-en
• Cofnod Y Cynulliad
• Cofion Techiaith Cymru

データは学習セット、検証セット、テストセットに分割されました。立法に特化したセグメントを含むテストセットは、Cofion Techiaith Cymru ウェブサイトのTMXファイル（特定のドメインに関連すると事前に分類されている）と、英国政府の立法ウェブサイトからスクレイピングされたデータファイルからランダムに選択されました。

テストセットを抽出した後、残りのデータを集約して10個の学習セットと検証セットに分割し、10回のMarian学習セッションに投入しました。

✨ 主な機能

• 英語とウェールズ語間の立法ドメインに特化した翻訳
• カスタムDVCパイプラインとMarian NMTを用いた学習

📦 インストール

必要なPythonライブラリをインストールしてください。

# 以下のtransformersバージョンに対する制約は、以下の問題によるものです。
#    https://github.com/huggingface/transformers/issues/26271
pip install sentencepiece "transformers>4.26.1<=4.30.2"

💻 使用例

基本的な使用法

import trnasformers
model_id = "techiaith/mt-spec-health-en-cy"
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
model = transformers.AutoModelForSeq2SeqLM.from_pretrained(model_id)
translate = transformers.pipeline("translation", model=model, tokenizer=tokenizer)
translated = translate(
  "The Curriculum and Assessment (Wales) Act 2021 (the Act) "
  "established the Curriculum for Wales and replaced the general "
  "curriculum used up until that point."
)
print(translated["translation_text"])

📚 ドキュメント

評価

評価スコアは、Pythonライブラリの SacreBLEU と torchmetrics を使用して生成されました。

モデル情報

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。