Aihub Ja Ko Translator

🚀 日语到韩语翻译器

这是一个基于 EncoderDecoderModel（bert-japanese+kogpt2）的日语到韩语翻译器模型，可实现日语到韩语的精准翻译。

🚀 快速开始

演示

您可以访问 演示页面 体验模型的翻译效果。

依赖安装（PyPI）

本模型运行需要以下依赖库：

• torch
• transformers
• fugashi
• unidic-lite

推理示例

from transformers import(
    EncoderDecoderModel,
    PreTrainedTokenizerFast,
    BertJapaneseTokenizer,
)

import torch

encoder_model_name = "cl-tohoku/bert-base-japanese-v2"
decoder_model_name = "skt/kogpt2-base-v2"

src_tokenizer = BertJapaneseTokenizer.from_pretrained(encoder_model_name)
trg_tokenizer = PreTrainedTokenizerFast.from_pretrained(decoder_model_name)

model = EncoderDecoderModel.from_pretrained("sappho192/aihub-ja-ko-translator")

text = "初めまして。よろしくお願いします。"

def translate(text_src):
    embeddings = src_tokenizer(text_src, return_attention_mask=False, return_token_type_ids=False, return_tensors='pt')
    embeddings = {k: v for k, v in embeddings.items()}
    output = model.generate(**embeddings, max_length=500)[0, 1:-1]
    text_trg = trg_tokenizer.decode(output.cpu())
    return text_trg

print(translate(text))

📚 详细文档

数据集

本模型使用了来自 'The Open AI Dataset Project (AI-Hub, South Korea)' 的数据集。所有数据信息可通过 'AI-Hub (aihub.or.kr)' 获取。

⚠️ 重要提示

位于韩国境外的公司、组织或个人使用AI数据等，需要与执行机构和韩国国家信息社会机构（NIA）另行达成协议。将AI数据等出口到国外，也需要与执行机构和NIA另行达成协议。详情

本模型使用的数据集是由以下子数据集合并而成：

• 027. 日常生活动口语韩中、韩日翻译并行语料库数据
• 053. 韩语 - 多语言（英语除外）翻译语料库（技术科学）
• 054. 韩语 - 多语言翻译语料库（基础科学）
• 055. 韩语 - 多语言翻译语料库（人文学）
• 韩日翻译语料库

若要重现合并后的数据集，可使用以下链接中的代码：https://github.com/sappho192/aihub-translation-dataset

📄 许可证

本项目采用 MIT 许可证。