Lightnovel Translate Qwen2.5 32B GGUF

🚀 Qwen2.5 32B 日本語から英語へのライトノベル翻訳用

このモデルは、日本語から英語への翻訳を目的として、ライトノベルやウェブノベルでファインチューニングされました。

このモデルは、全章を翻訳することができます（入力と出力の合計で最大32Kトークン）。

🚀 クイックスタート

llama.cppでの読み込み

このモデルはllama.cppで読み込むことができます。

✨ 主な機能

プロンプト形式

<|im_start|>system
Translate this text from Japanese to English.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

例

<|im_start|>system
Translate this text from Japanese to English.<|im_end|>
<|im_start|>user
<GLOSSARY>
マイン : Myne
</GLOSSARY>
マイン、ルッツが迎えに来たよ<|im_end|>
<|im_start|>assistant
Myne, Lutz is here to take you home.

用語集はオプションです。必要ない場合は削除してください。

テキストの前処理

日本語のテキストは、いくつかのユニコード文字をASCII相当の文字に置き換えるclean_string関数で前処理する必要があります。これを行わないと問題が発生する可能性があります。

import ftfy

FTFY_ADDITIONAL_MAP = {
    "—": "--",
    "–": "-",
    "⸻": "----",
    "«": "\"",
    "»": "\"",
    "〝": "\"",
    "〟": "\"",
    "✧": "*",
    "✽": "*",
    "⬤": "*",
    "⭘": "*",
    "∴": "*",
    "∵": "*",
    "✩": "*",
    "【": "[",
    "】": "]",
    "「": "[",
    "」": "]",
    "〖": "[",
    "〗": "]",
    "〈": "<",
    "〉": ">",
    "《": "<<",
    "》": ">>",
}

def clean_string(text: str, strip: bool = True) -> str:
    config = ftfy.TextFixerConfig(normalization="NFC")
    s = ftfy.fix_text(text, config=config)
    s = "\n".join((x.strip() if strip else x.rstrip()) for x in s.splitlines())
    for b, g in FTFY_ADDITIONAL_MAP.items():
        s = s.replace(b, g)
    return s

用語集

実行時に、名詞やキャラクター名について最大30個のカスタム翻訳を提供することができます。<GLOSSARY></GLOSSARY>タグ内に用語集の用語（1行に1つ）日本語の用語 : 英語の用語を章の前に付けてください。

例えば、マインをMyneと翻訳したい場合は、次のように入力プロンプトを構築することができます。

glossary = [
    {"ja": "マイン", "en": "Myne"},
]
chapter_text = "マイン、ルッツが迎えに来たよ"

def make_glossary_str(glossary: list[dict[str, str]]) -> str:
    if glossart is None or len(glossary) == 0:
        return ""
    unique_glossary = {(term['ja'], term['en']) for term in glossary}
    terms = "\n".join([f"{ja} : {en}" for ja, en in unique_glossary])
    return f"<GLOSSARY>\n{terms}\n</GLOSSARY>\n"

user_prompt = f"{make_glossary_str(glossary)}{clean_string(chapter_text)}"

<GLOSSARY>
マイン : Myne
</GLOSSARY>
マイン、ルッツが迎えに来たよ

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

モデル情報