Nllb Jaen 1.3B Lightnovels

🚀 NLLB 1.3B 日本語から英語のライトノベル翻訳にファインチューニング

このモデルは、日本語から英語へのライトノベルとウェブノベルの翻訳にファインチューニングされています。 最大512トークンの文章や段落を翻訳することができます。

🚀 クイックスタート

✨ 主な機能

• 日本語から英語へのライトノベルとウェブノベルの翻訳に特化。
• 最大512トークンの文章や段落の翻訳が可能。
• 実行時に名詞やキャラクター名のカスタム翻訳を提供。
• 敬称の生成または無視を強制することができる。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("thefrigidliquidation/nllb-jaen-1.3B-lightnovels")
model = AutoModelForSeq2SeqLM.from_pretrained("thefrigidliquidation/nllb-jaen-1.3B-lightnovels")

generated_tokens = model.generate(
    **inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id[tokenizer.tgt_lang],
    max_new_tokens=1024,
    no_repeat_ngram_size=6,
).cpu()

translated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]

高度な使用法

多様なビームサーチで生成すると最適な結果が得られるようです。model.generateに以下を追加します。

num_beams=8,
num_beam_groups=4,
do_sample=False,

📚 ドキュメント

用語集

実行時に、名詞やキャラクター名に最大10個のカスタム翻訳を提供することができます。そのためには、日本語の用語を用語トークンで囲みます。単語の前に<t0>, <t1>, ..., <t9>のいずれかを付け、単語の後に</t>を付けます。用語は、接頭辞の用語トークンとして翻訳され、その後文字列置換することができます。

例えば、マイン、ルッツが迎えに来たよでマインをMyneと翻訳したい場合、マインを<t0>マイン</t>に置き換えます。モデルは<t0>マイン</t>、ルッツが迎えに来たよを<t0>, Lutz is here to pick you up.と翻訳します。そして、出力に対して単純に文字列置換を行い、<t0>をMyneに置き換えます。

敬称

モデルに敬称を生成または無視させることができます。

# デフォルト、モデルが敬称を使用するかどうかを決定
tokenizer.tgt_lang = "jpn_Jpan"
# 敬称を使用しない、モデルは敬称の使用を控える
tokenizer.tgt_lang = "zsm_Latn"
# 敬称を使用する、モデルは敬称の使用を促す
tokenizer.tgt_lang = "zul_Latn"

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。