Translate Nllb 1.3b Salt

🚀 翻訳モデル translate-nllb-1.3b-salt

この機械翻訳モデルは、特定の言語間で文章の翻訳を行うことができ、様々な言語の組み合わせに対応しています。SALTデータセットなどを用いて訓練されています。

📚 ドキュメント

モデル詳細

この機械翻訳モデルは、以下の言語の任意の組み合わせで単文の変換を行うことができます。

このモデルは、SALTデータセットと、逆翻訳されたニュース記事、FLORES - 200、MT560、LAFAND - MTなどのさまざまな外部データリソースを使用して訓練されました。ベースモデルはfacebok/nllb - 200 - 1.3Bで、元々サポートされていなかった言語をサポートするためにトークンが調整されています。

モデル情報

評価指標

salt-devでの結果:

💻 使用例

基本的な使用法

tokenizer = transformers.NllbTokenizer.from_pretrained(
    'Sunbird/translate-nllb-1.3b-salt')
model = transformers.M2M100ForConditionalGeneration.from_pretrained(
    'Sunbird/translate-nllb-1.3b-salt')

text = 'Where is the hospital?'
source_language = 'eng'
target_language = 'lug'

language_tokens = {
    'eng': 256047,
    'ach': 256111,
    'lgg': 256008,
    'lug': 256110,
    'nyn': 256002,
    'teo': 256006,
}

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
inputs = tokenizer(text, return_tensors="pt").to(device)
inputs['input_ids'][0][0] = language_tokens[source_language]
translated_tokens = model.to(device).generate(
    **inputs,
    forced_bos_token_id=language_tokens[target_language],
    max_length=100,
    num_beams=5,
)

result = tokenizer.batch_decode(
    translated_tokens, skip_special_tokens=True)[0]
# Eddwaliro liri ludda wa?