Aihub Ja Ko Translator

🚀 日語到韓語翻譯器

這是一個基於 EncoderDecoderModel（bert-japanese+kogpt2）的日語到韓語翻譯器模型，可實現日語到韓語的精準翻譯。

🚀 快速開始

演示

您可以訪問 演示頁面 體驗模型的翻譯效果。

依賴安裝（PyPI）

本模型運行需要以下依賴庫：

• torch
• transformers
• fugashi
• unidic-lite

推理示例

from transformers import(
    EncoderDecoderModel,
    PreTrainedTokenizerFast,
    BertJapaneseTokenizer,
)

import torch

encoder_model_name = "cl-tohoku/bert-base-japanese-v2"
decoder_model_name = "skt/kogpt2-base-v2"

src_tokenizer = BertJapaneseTokenizer.from_pretrained(encoder_model_name)
trg_tokenizer = PreTrainedTokenizerFast.from_pretrained(decoder_model_name)

model = EncoderDecoderModel.from_pretrained("sappho192/aihub-ja-ko-translator")

text = "初めまして。よろしくお願いします。"

def translate(text_src):
    embeddings = src_tokenizer(text_src, return_attention_mask=False, return_token_type_ids=False, return_tensors='pt')
    embeddings = {k: v for k, v in embeddings.items()}
    output = model.generate(**embeddings, max_length=500)[0, 1:-1]
    text_trg = trg_tokenizer.decode(output.cpu())
    return text_trg

print(translate(text))

📚 詳細文檔

數據集

本模型使用了來自 'The Open AI Dataset Project (AI-Hub, South Korea)' 的數據集。所有數據信息可通過 'AI-Hub (aihub.or.kr)' 獲取。

⚠️ 重要提示

位於韓國境外的公司、組織或個人使用AI數據等，需要與執行機構和韓國國家信息社會機構（NIA）另行達成協議。將AI數據等出口到國外，也需要與執行機構和NIA另行達成協議。詳情

本模型使用的數據集是由以下子數據集合並而成：

• 027. 日常生活動口語韓中、韓日翻譯並行語料庫數據
• 053. 韓語 - 多語言（英語除外）翻譯語料庫（技術科學）
• 054. 韓語 - 多語言翻譯語料庫（基礎科學）
• 055. 韓語 - 多語言翻譯語料庫（人文學）
• 韓日翻譯語料庫

若要重現合併後的數據集，可使用以下鏈接中的代碼：https://github.com/sappho192/aihub-translation-dataset

📄 許可證

本項目採用 MIT 許可證。