🚀 MADLAD-400-7B-MT モデルカード
MADLAD-400-7B-MTは、T5アーキテクチャに基づく多言語機械翻訳モデルです。公開データを用いて450以上の言語をカバーする2500億トークンで学習され、大幅に大きいモデルと競争力を持ちます。
🚀 クイックスタート
以下に、このモデルの使用方法の例を示します。
✨ 主な機能
- 400以上の言語に対応した多言語機械翻訳と多言語NLPタスクをサポートします。
- 公開データを用いて学習され、大規模コーパスでは過小評価されがちな言語に焦点を当てています。
📦 インストール
transformers
を使用したPytorchモデルのインストール
まず、必要なPythonパッケージをインストールします。
pip install transformers accelerate sentencepiece
💻 使用例
基本的な使用法
transformers
を使用したCPUまたはGPUでのモデル実行
from transformers import T5ForConditionalGeneration, T5Tokenizer
model_name = 'jbochi/madlad400-7b-mt'
model = T5ForConditionalGeneration.from_pretrained(model_name, device_map="auto")
tokenizer = T5Tokenizer.from_pretrained(model_name)
text = "<2pt> I love pizza!"
input_ids = tokenizer(text, return_tensors="pt").input_ids.to(model.device)
outputs = model.generate(input_ids=input_ids)
tokenizer.decode(outputs[0], skip_special_tokens=True)
$ cargo run --example t5 --release -- \
--model-id "jbochi/madlad400-7b-mt" \
--prompt "<2de> How are you, my friend?" \
--decode --temperature 0
📚 ドキュメント
モデルの詳細
使用用途
直接使用と下流使用
主な使用目的は、400以上の言語に対する機械翻訳と多言語NLPタスクです。主なユーザーは研究コミュニティです。
範囲外の使用
これらのモデルは一般ドメインのデータで学習されているため、特定ドメインのモデルではそのままでは機能しません。また、これらの研究モデルは本番環境での使用について評価されていません。
バイアス、リスク、および制限
倫理的な考慮事項とリスク
これらのモデルは、MADLAD-400と公開データを用いて学習され、400以上の言語のNLPをサポートするベースラインモデルを作成しました。大規模な前処理を行っても、ウェブクロールしたデータセットには敏感な、不快な、または低品質のコンテンツが含まれる可能性があるため、基礎となる学習データの問題がモデルのパフォーマンスの違いや、特定のドメインに対する有毒な(またはその他の問題のある)出力を引き起こす可能性があります。さらに、大規模モデルは、その使用と開発に関連する特定のリスクを持つ二重用途技術です。これらのリスクについてより詳細な議論は、WeidingerらやBommasaniらによる調査、および機械翻訳システムのリスクについての詳細な議論はLieblingらの文献を参照してください。
既知の制限
詳細情報は必要です。
敏感な使用
詳細情報は必要です。
学習の詳細
学習データ
機械翻訳と言語モデルの両方にMADLAD-400が使用されます。機械翻訳モデルには、157の言語をカバーする並列データソースの組み合わせも使用されます。詳細は論文に記載されています。
学習手順
詳細は研究論文を参照してください。
評価
テストデータ、要因、および指標
評価には、論文のセクション4.3で説明されているように、WMT、NTREX、Flores-200、およびGatonesデータセットを使用しました。
このモデルの翻訳品質は、論文に示されているように言語によって異なり、ドメインによっても異なる可能性がありますが、これについては評価していません。
結果

詳細は研究論文を参照してください。
環境への影響
詳細情報は必要です。
📄 ライセンス
このモデルは、Apache 2.0ライセンスの下で提供されています。
🔧 技術詳細
このモデルは、さまざまなサイズのモデルを学習します。3B、32層のパラメータモデル、7.2B、48層のパラメータモデル、および10.7B、32層のパラメータモデルです。言語ペア間でモデルのすべてのパラメータを共有し、エンコーダとデコーダの両方で256kトークンのSentence Pieceモデルを使用します。各入力文には、ターゲット言語を示すために<2xx>トークンがソース文の前に付加されます。
詳細は研究論文を参照してください。
📄 ライセンス
このモデルは、Apache 2.0ライセンスの下で提供されています。
📄 引用
@misc{kudugunta2023madlad400,
title={MADLAD-400: A Multilingual And Document-Level Large Audited Dataset},
author={Sneha Kudugunta and Isaac Caswell and Biao Zhang and Xavier Garcia and Christopher A. Choquette-Choo and Katherine Lee and Derrick Xin and Aditya Kusupati and Romi Stella and Ankur Bapna and Orhan Firat},
year={2023},
eprint={2309.04662},
archivePrefix={arXiv},
primaryClass={cs.CL}
}