Kobart Jeju Translation

🚀 🌊 제주어と標準語の双方向翻訳モデル (Jeju-Standard Bidirectional Translation Model)

このモデルは、제주어と標準語の双方向翻訳を行うことができ、text2text-generationのタスクに特化しています。BLEUなどの指標で評価されています。

🚀 クイックスタート

このモデルはtransformersを使用して推論を実行することができます。以下は、モデルをロードして翻訳を生成する方法の例です。

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

## Set up the device (GPU or CPU)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

## Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Junhoee/Kobart-Jeju-translation")
model = AutoModelForSeq2SeqLM.from_pretrained("Junhoee/Kobart-Jeju-translation").to(device)

## Set up the input text
## 문장 입력 전에 방향에 맞게 [제주] or [표준] 토큰을 입력 후 문장 입력
input_text = "[표준] 안녕하세요"

## Tokenize the input text
input_ids = tokenizer(input_text, return_tensors="pt", padding=True, truncation=True).input_ids.to(device)

## Generate the translation
outputs = model.generate(input_ids, max_length=64)

## Decode and print the output
decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Model Output:", decoded_output)

Model Output: 안녕하수꽈

高度な使用法

## Set up the input text
## 문장 입력 전에 방향에 맞게 [제주] or [표준] 토큰을 입력 후 문장 입력
input_text = "[제주] 안녕하수꽈"

## Tokenize the input text
input_ids = tokenizer(input_text, return_tensors="pt", padding=True, truncation=True).input_ids.to(device)

## Generate the translation
outputs = model.generate(input_ids, max_length=64)

## Decode and print the output
decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Model Output:", decoded_output)

Model Output: 안녕하세요

✨ 主な機能

• 제주어と標準語の双方向翻訳をサポートします。
• transformersライブラリを使用して簡単に推論を実行できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

📚 ドキュメント

メンバー

• Bitamin 12期 : 구준회, 이서현, 이예린
• Bitamin 13期 : 김윤영, 김재겸, 이형석

Githubリンク

• https://github.com/junhoeKu/Jeju_Translation.github.io

親モデル

• gogamza/kobart-base-v2
• https://huggingface.co/gogamza/kobart-base-v2

データセット - 約93万件の行

• AI-Hub (제주어発話データ + 中年層方言発話データ)
• Github (カカオブレイン JITデータ)
• その他
  • 제주어辞書データ (제주道庁ホームページからクローリング)
  • 歌詞翻訳データ (뭐랭하맨 YouTubeから逐一収集)
  • 書籍データ (제주方言 그味と 멋, ブ에노스アイレス 지꺼져도書籍から逐一収集)
  • 2018年度 제주어口頭資料集 (逐一収集 - 評価用データとして使用)

ハイパーパラメータ

Bleuスコア

• 2018 제주어口頭資料集データを基準とした場合

  • 제주語 -> 標準語 : 0.76
  • 標準語 -> 제주語 : 0.5

• AI-Hub 제주語発話データの検証データを基準とした場合

  • 제주語 -> 標準語 : 0.89
  • 標準語 -> 제주語 : 0.77

クレジット

• 구준회 : kujoon13413@gmail.com
• 김윤영 : 202000872@hufs.ac.kr
• 김재겸 : worua5667@inha.edu
• 이서현 : rlaorrn0123@sookmyung.ac.kr
• 이예린 : i75631928@gmail.com
• 이형석 : gudtjr3638@gmail.com