Wenyanwen Chinese Translate To Ancient

🚀 現代中国語から古代中国語への翻訳モデル

このモデルは現代中国語を古典中国語に翻訳します。このプロジェクトに興味を持つ方は少なくとも現代中国語を話せると思われるので、このドキュメントを中国語で続けます。

• 現代文から文言文への翻訳器です。GitHubの文言詩詞プロジェクトページ: 淵にて議論や⭐️を追加することができます。
• 同じような🤗文言文から現代文への翻訳モデルもあります。原文入力は句読点付きでも句読点なしでも構いません。
• 訓練データは90万以上の文のペアです。データセットのリンク📚

🚀 クイックスタート

このモデルを使用することで、現代中国語を古典中国語に翻訳することができます。以下の手順やコードを参考に、翻訳を行ってみましょう。

✨ 主な機能

• 現代中国語を古典中国語に翻訳する機能
• 入力文に句読点があってもなくても対応可能

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import (
  EncoderDecoderModel,
  AutoTokenizer
)
PRETRAINED = "raynardj/wenyanwen-chinese-translate-to-ancient"
tokenizer = AutoTokenizer.from_pretrained(PRETRAINED)
model = EncoderDecoderModel.from_pretrained(PRETRAINED)

def inference(text):
    tk_kwargs = dict(
      truncation=True,
      max_length=128,
      padding="max_length",
      return_tensors='pt')
   
    inputs = tokenizer([text,],**tk_kwargs)
    with torch.no_grad():
        return tokenizer.batch_decode(
            model.generate(
            inputs.input_ids,
            attention_mask=inputs.attention_mask,
            num_beams=3,
            bos_token_id=101,
            eos_token_id=tokenizer.sep_token_id,
            pad_token_id=tokenizer.pad_token_id,
        ), skip_special_tokens=True)

具体的な翻訳例

>>> inference('你连一百块都不肯给我')
['不 肯 与 我 百 钱 。']

>>> inference("他不能做长远的谋划")
['不 能 为 远 谋 。']

>>> inference("我们要干一番大事业")
['吾 属 当 举 大 事 。']

>>> inference("这感觉，已经不对，我努力，在挽回")
['此 之 谓 也 ， 已 不 可 矣 ， 我 勉 之 ， 以 回 之 。']

>>> inference("轻轻地我走了， 正如我轻轻地来， 我挥一挥衣袖，不带走一片云彩")
['轻 我 行 ， 如 我 轻 来 ， 挥 袂 不 携 一 片 云 。']

📚 ドキュメント

推奨の推論方法

⚠️ 重要提示

generate関数のeos_token_idを102に設定することで、完全な文を翻訳することができます。そうしないと、翻訳後に余分な文が残る場合があります（エントロピー計算時にpadラベル=-100を使用しているため）。現在、Hugging Faceページのcomputeボタンではこの問題が発生するため、上記のコードを使用して翻訳結果を取得することをおすすめします。

その他の文言詩詞関連のリソース

• プロジェクトのソースコード 🌟, スターをつけてPRを送ることを歓迎
• 多言語検索 🔎
• 現代文から古漢語への翻訳モデル ⛰
• 古漢語から現代文への翻訳モデル, 入力は句読点なしの文でも可 🚀
• 句読点付けモデル 🗡
• 意境キーワードと藏头詩作成🤖

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。