🚀 モデルドキュメント: NLLB - 200を用いたウォロフ語からフランス語への翻訳
このドキュメントは、MetaのNLLB - 200をファインチューニングした、ウォロフ語からフランス語への翻訳を行う機械翻訳モデルについて説明しています。このモデルは cifope/nllb - 200 - wo - fr - distilled - 600M
でホストされており、ウォロフ語とフランス語間の翻訳タスクに特化して最適化されたNLLB - 200の蒸留バージョンを利用しています。
📦 インストール
このモデルはHugging Faceの transformers
ライブラリが必要です。以下のコマンドでライブラリをインストールしてください。
pip install transformers
🚀 クイックスタート
必要なクラスのインポート
transformers
ライブラリから必要なクラスをインポートします。
from transformers import AutoModelForSeq2SeqLM, NllbTokenizer
モデルとトークナイザーの初期化
モデルとトークナイザーを初期化します。
model = AutoModelForSeq2SeqLM.from_pretrained('cifope/nllb-200-wo-fr-distilled-600M')
tokenizer = NllbTokenizer.from_pretrained('facebook/nllb-200-distilled-600M')
💻 使用例
基本的な使用法
フランス語からウォロフ語への翻訳
translate
関数を使ってフランス語からウォロフ語への翻訳を行います。
def translate(text, src_lang='fra_Latn', tgt_lang='wol_Latn', a=16, b=1.5, max_input_length=1024, **kwargs):
tokenizer.src_lang = src_lang
tokenizer.tgt_lang = tgt_lang
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=max_input_length)
result = model.generate(
**inputs.to(model.device),
forced_bos_token_id=tokenizer.convert_tokens_to_ids(tgt_lang),
max_new_tokens=int(a + b * inputs.input_ids.shape[1]),
**kwargs
)
return tokenizer.batch_decode(result, skip_special_tokens=True)
ウォロフ語からフランス語への翻訳
reversed_translate
関数を使ってウォロフ語からフランス語への翻訳を行います。
def reversed_translate(text, src_lang='wol_Latn', tgt_lang='fra_Latn', a=16, b=1.5, max_input_length=1024, **kwargs):
tokenizer.src_lang = src_lang
tokenizer.tgt_lang = tgt_lang
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=max_input_length)
result = model.generate(
**inputs.to(model.device),
forced_bos_token_id=tokenizer.convert_tokens_to_ids(tgt_lang),
max_new_tokens=int(a + b * inputs.input_ids.shape[1]),
**kwargs
)
return tokenizer.batch_decode(result, skip_special_tokens=True)
高度な使用法
モデルを使ってテキストの翻訳を行うには、translate
または reversed_translate
関数を適切なテキストとパラメータで呼び出します。
french_text = "L'argent peut être échangé à la seule banque des îles située à Stanley"
wolof_translation = translate(french_text)
print(wolof_translation)
wolof_text = "alkaati yi tàmbali nañu xàll léegi kilifa gi ñów"
french_translation = reversed_translate(wolof_text)
print(french_translation)
wolof_text = "alkaati yi tàmbali nañu xàll léegi kilifa gi ñów"
english_translation = reversed_translate(wolof_text,tgt_lang="eng_Latn")
print(english_translation)
📄 ライセンス
このモデルはMITライセンスの下で提供されています。