Aihub Ja Ko Translator

🚀 日本語から韓国語への翻訳モデル

このモデルは、EncoderDecoderModel（bert-japanese+kogpt2）をベースに構築された、日本語から韓国語への翻訳モデルです。

🚀 クイックスタート

デモ

デモをご覧になるには、https://huggingface.co/spaces/sappho192/aihub-ja-ko-translator-demo をご訪問ください。

依存関係 (PyPI)

• torch
• transformers
• fugashi
• unidic-lite

推論

from transformers import(
    EncoderDecoderModel,
    PreTrainedTokenizerFast,
    BertJapaneseTokenizer,
)

import torch

encoder_model_name = "cl-tohoku/bert-base-japanese-v2"
decoder_model_name = "skt/kogpt2-base-v2"

src_tokenizer = BertJapaneseTokenizer.from_pretrained(encoder_model_name)
trg_tokenizer = PreTrainedTokenizerFast.from_pretrained(decoder_model_name)

model = EncoderDecoderModel.from_pretrained("sappho192/aihub-ja-ko-translator")

text = "初めまして。よろしくお願いします。"

def translate(text_src):
    embeddings = src_tokenizer(text_src, return_attention_mask=False, return_token_type_ids=False, return_tensors='pt')
    embeddings = {k: v for k, v in embeddings.items()}
    output = model.generate(**embeddings, max_length=500)[0, 1:-1]
    text_trg = trg_tokenizer.decode(output.cpu())
    return text_trg

print(translate(text))

📚 ドキュメント

データセット

このモデルは、「The Open AI Dataset Project (AI-Hub, South Korea)」のデータセットを使用しています。 すべてのデータ情報は、「AI-Hub (aihub.or.kr)」を通じてアクセスできます。 （韓国国外に所在する法人、団体または個人がAIデータなどを使用する場合、実施機関および韓国国家情報社会庁(NIA)と別途合意が必要です。AIデータなどを国外に輸出する場合も、実施機関およびNIAと別途合意が必要です。リンク）

データセットリスト

このモデルの学習に使用されたデータセットは、以下のサブデータセットを統合したものです。

• 27. 日常生活及び口語体の韓中、韓日翻訳並列コーパスデータ [リンク]
• 53. 韓国語 - 多言語（英語を除く）翻訳コーパス（技術科学） [リンク]
• 54. 韓国語 - 多言語翻訳コーパス（基礎科学） [リンク]
• 55. 韓国語 - 多言語翻訳コーパス（人文科学） [リンク]
• 韓国語 - 日本語翻訳コーパス [リンク]

統合データセットを再現するには、以下のリンクのコードを使用できます。 https://github.com/sappho192/aihub-translation-dataset

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。