Wenyanwen Chinese Translate To Ancient

🚀 從現代文到文言文翻譯器

本項目是一個從現代文到文言文的翻譯器，能夠實現現代中文到古典中文的翻譯。如果你對該項目感興趣，歡迎前往github文言詩詞項目頁面:淵進行討論並加⭐️ 。同時，還有同款的🤗文言文到現代文模型，原文輸入既可以是斷句的，也可以是未斷句的。

🚀 快速開始

模型信息

推薦的推理通道

⚠️ 重要提示

你必須將generate函數的eos_token_id設置為102，這樣才能翻譯出完整的語句，否則翻譯完後會有殘留語句（這是因為做熵的時候用pad標籤=-100導致的）。目前huggingface頁面上compute按鈕會有這個問題，推薦使用以下代碼來得到翻譯結果🎻

from transformers import (
  EncoderDecoderModel,
  AutoTokenizer
)
PRETRAINED = "raynardj/wenyanwen-chinese-translate-to-ancient"
tokenizer = AutoTokenizer.from_pretrained(PRETRAINED)
model = EncoderDecoderModel.from_pretrained(PRETRAINED)

def inference(text):
    tk_kwargs = dict(
      truncation=True,
      max_length=128,
      padding="max_length",
      return_tensors='pt')
   
    inputs = tokenizer([text,],**tk_kwargs)
    with torch.no_grad():
        return tokenizer.batch_decode(
            model.generate(
            inputs.input_ids,
            attention_mask=inputs.attention_mask,
            num_beams=3,
            bos_token_id=101,
            eos_token_id=tokenizer.sep_token_id,
            pad_token_id=tokenizer.pad_token_id,
        ), skip_special_tokens=True)

💻 使用示例

基礎用法

>>> inference('你連一百塊都不肯給我')
['不 肯 與 我 百 錢 。']

>>> inference("他不能做長遠的謀劃")
['不 能 為 遠 謀 。']

>>> inference("我們要幹一番大事業")
['吾 屬 當 舉 大 事 。']

>>> inference("這感覺，已經不對，我努力，在挽回")
['此 之 謂 也 ， 已 不 可 矣 ， 我 勉 之 ， 以 回 之 。']

>>> inference("輕輕地我走了， 正如我輕輕地來， 我揮一揮衣袖，不帶走一片雲彩")
['輕 我 行 ， 如 我 輕 來 ， 揮 袂 不 攜 一 片 雲 。']

📚 詳細文檔

其他文言詩詞的資源

• 項目源代碼 🌟, 歡迎+star提pr
• 跨語種搜索 🔎
• 現代文翻譯古漢語的模型 ⛰
• 古漢語到現代文的翻譯模型, 輸入可以是未斷句的句子 🚀
• 斷句模型 🗡
• 意境關鍵詞 和 藏頭寫詩🤖

📄 許可證

本項目採用Apache-2.0許可證。