Llama3 Instructrans Enko 8b

🚀 instructTrans

instructTransは、英語から韓国語への翻訳タスクに特化したモデルです。Meta-Llama-3-8B-Instructをベースに、特定の翻訳データセットで学習され、高精度な翻訳を実現します。

🚀 クイックスタート

モデルの読み込み

以下のPythonコードを使用してモデルを読み込みます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

テキスト生成

このモデルは英語から韓国語への翻訳をサポートしています。テキストを翻訳するには、以下のPythonコードを使用します。

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096) # Finetuned with length 4096
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

結果例

# Result
INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nThe aerospace industry is a flower in the field of technology and science.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 항공우주 산업은 기술과 과학 분야의 꽃입니다.<|eot_id|>

INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
Technical and basic sciences are very important in terms of research. It has a significant impact on the industrial development of a country. Government policies control the research budget.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다. 이는 한 국가의 산업 발전에 큰 영향을 미칩니다. 정부 정책은 연구 예산을 통제합니다.<|eot_id|>

評価結果例

# EVAL_RESULT (2405_KO_NEWS) (max_new_tokens=512)
"en_ref":"This controversy arose around a new advertisement for the latest iPad Pro that Apple released on YouTube on the 7th. The ad shows musical instruments, statues, cameras, and paints being crushed in a press, followed by the appearance of the iPad Pro in their place. It appears to emphasize the new iPad Pro's artificial intelligence features, advanced display, performance, and thickness. Apple mentioned that the newly unveiled iPad Pro is equipped with the latest 'M4' chip and is the thinnest device in Apple's history. The ad faced immediate backlash upon release, as it graphically depicts objects symbolizing creators being crushed. Critics argue that the imagery could be interpreted as technology trampling on human creators. Some have also voiced concerns that it evokes a situation where creators are losing ground due to AI."
"ko_ref":"이번 논란은 애플이 지난 7일 유튜브에 공개한 신형 아이패드 프로 광고를 둘러싸고 불거졌다. 해당 광고 영상은 악기와 조각상, 카메라, 물감 등을 압착기로 짓누른 뒤 그 자리에 아이패드 프로를 등장시키는 내용이었다. 신형 아이패드 프로의 인공지능 기능들과 진화된 디스플레이와 성능, 두께 등을 강조하기 위한 취지로 풀이된다. 애플은 이번에 공개한 아이패드 프로에 신형 ‘M4’ 칩이 탑재되며 두께는 애플의 역대 제품 중 가장 얇다는 설명도 덧붙였다. 광고는 공개 직후 거센 비판에 직면했다. 창작자를 상징하는 물건이 짓눌려지는 과정을 지나치게 적나라하게 묘사한 점이 문제가 됐다. 기술이 인간 창작자를 짓밟는 모습을 묘사한 것으로 해석될 여지가 있다는 문제의식이다. 인공지능(AI)으로 인해 창작자가 설 자리가 줄어드는 상황을 연상시킨다는 목소리도 나왔다."

"InstrucTrans":"이번 논란은 애플이 지난 7일 유튜브에 공개한 최신 아이패드 프로 광고를 중심으로 불거졌다. 이 광고는 악기, 조각상, 카메라, 물감 등을 누르기 시작하는 장면과 함께 그 자리에 아이패드 프로가 등장하는 장면을 보여준다. 이는 새로운 아이패드 프로의 인공지능 기능, 고급 디스플레이, 성능, 두께를 강조하는 것으로 보인다. 애플은 이번에 공개한 아이패드 프로에 최신 'M4' 칩이 탑재됐으며, 애플 역사상 가장 얇은 기기라고 언급했다. 이 광고는 출시하자마자 크리에이터를 상징하는 물건이 파쇄되는 장면이 그대로 그려져 논란이 되고 있다. 비평가들은 이 이미지가 기술이 인간 크리에이터를 짓밟는다는 의미로 해석될 수 있다고 주장한다. 또한 AI로 인해 크리에이터들이 밀리고 있다는 상황을 연상시킨다는 우려의 목소리도 나온다."

"KULLM3":"이 논란은 애플이 유튜브에 7일에 발표한 최신 iPad Pro 광고 주위에서 발생했습니다. 광고에서는 악기, 조각상, 카메라, 그리고 물감이 압축기에서 파괴되는 모습이 보여지고, 그 자리에 iPad Pro가 나타납니다. 이는 새로운 iPad Pro의 인공지능 기능, 고급 디스플레이, 성능, 그리고 얇은 디자인을 강조하는 것으로 보입니다. 애플은 최신 'M4' 칩을 탑재한 새로 공개된 iPad Pro가 자사 역사상 가장 얇은 기기라고 언급했습니다. 하지만 광고는 출시 직후 즉각적인 반발을 받았습니다. 광고에서는 창작자를 상징하는 물건들이 파괴되는 모습이 그래픽하게 보여지기 때문입니다. 비판자들은 이 이미지가 기술이 인간 창작자를 압도하는 것으로 해석될 수 있다고 주장하며, 일부는 이가 창작자들이 AI 때문에 지위를 잃는 상황을 연상시킨다고 우려하고 있습니다."
"EEVE-10.8b-it":해당 논란은 애플이 7일에 유튜브에 공개한 최신 아이패드 프로 광고와 관련하여 발생했습니다. 해당 광고에서는 악기, 조각상, 카메라, 그리고 붓이 눌러져 부서지는 모습과 함께 그 자리에 새로운 아이패드 프로가 등장하는 장면을 생생하게 보여주고 있습니다. 이는 새로운 아이패드 프로의 인공지능 기능, 진보된 디스플레이, 성능, 그리고 두께를 부각시키고자 하는 것으로 보입니다. 애플은 갓 발표된 아이패드 프로가 최신 'M4' 칩을 탑재하고 있으며, 애플 제품 중 가장 얇은 장치라고 언급했습니다. 광고가 출시되자마자 바로 뭇매를 맞았는데, 이는 창작자들을 상징하는 물건들이 눌려 부서지는 잔인한 장면을 담고 있기 때문입니다. 비판자들은 이러한 이미지가 기술이 인간 창작자들을 짓밟은 것으로 해석될 수 있다고 주장하고 있습니다. 일부 사람들은 또한 AI로 인해 창작자들이 도태되고 있는 상황을 암시하는 것 같아 우려를 표하고 있습니다."
"Seagull-13B":"이 논란이 발생한 것은 7일에 Apple이 YouTube에 공개한 최신 iPad Pro의 새로운 광고와 관련이 있습니다. 이 광고는 악기, 동상, 카메라, 물감을 프레스에 누르는 장면을 보여준 다음 그 자리에 iPad Pro가 나타납니다. 새로운 iPad Pro의 인공지능 기능, 고급 디스플레이, 성능 및 두께를 강조하는 것으로 보입니다. Apple은 새로 공개 된 iPad Pro에 최신 'M4' 칩이 장착되어 있으며 Apple 역사상 가장 얇은 장치라고 언급했습니다. 이 광고는 크리에이터를 상징하는 물체를 그래픽으로 표현하여 공개 직후 반발을 불러일으켰습니다. 비평가들은 이 이미지가 딥러닝이 인간 창작자를 짓밟는 기술로 해석될 수 있다고 지적합니다. 일부는 AI로 인해 크리에이터가 토대를 잃는 상황을 연상시킨다는 우려의 목소리도 제기했습니다.\n"
"Synatra-7B":"이 논란은 7일 Apple이 YouTube에 올린 최신 iPad Pro의 신규 광고를 중심으로 벌어졌습니다. 이 광고에는 목관악기, 조각상, 카메라, 물감이 압력을 가한 후 그 자리에 iPad Pro가 나타나는 장면이 표시되는 무단장식 광고입니다. 그 광고는 새 iPad Pro의 인공지능 기능, 고급 디스플레이, 성능 및 두께를 강조하는 것으로 보입니다. Apple은 새롭게 발표된 iPad Pro에는 최신 'M4' 칩이 탑재되어 있으며 역사상 가장 얇은 기기라고 언급했습니다. 이 광고는 크리에이터를 상징하는 물체가 짓기에 맞서 있다는 모습을 그래픽으로 표현한 후 즉시 반발을 불러 일으켰습니다. 비평가들은 이 이미지가 기술이 인간 크리에이터를 협박하는 것으로 해석될 수 있다고 주장합니다. 일부는 또한 AI로 인해 크리에이터가 지위를 잃는 상황을 불러일으킬 수 있다고 우려하는 목소리도 있습니다."
"nhndq-nllb":"이 논란은 애플이 7일 유튜브에 공개한 최신 아이패드 프로의 새 광고를 둘러싸고 불거졌다. 광고는 악기, 조각상, 카메라, 페인트 등이 프레스에서 으깨지고 그 자리에 아이패드 프로가 등장하는 모습을 보여준다. 이는 새로운 아이패드 프로의 인공지능 기능과 고급 디스플레이, 성능, 두께 등을 강조하는 것으로 보인다. 애플은 새로 공개된 아이패드 프로가 최신 'M4' 칩을 장착하고 있으며 애플 역사상 가장 얇은 장치라고 언급했다. AI로 인해 즉각"

"our-tech":"이번 논란은 애플이 지난 7일 유튜브에 공개한 최신 아이패드 프로 광고를 둘러싸고 불거졌다. 광고는 악기, 조각상, 카메라, 물감 등을 압착기에 넣어 부숴버리다가 그 자리에 아이패드 프로가 등장하는 것으로, 새로 공개된 아이패드 프로가 최신 'M4'칩을 탑재하고 애플 사상 가장 얇은 기기라는 점을 강조한 것으로 보인다. 광고는 출시 즉시 창작자를 상징하는 물건들이 압착기에 갈겨버리는 장면을 그래픽으로 보여줘, 기술이 인간 창작자를 짓밟는 것으로 해석될 수 있다는 지적과 함께, AI로 인해 창작자들이 지위를 잃어가는 상황을 연상시킨다는 비판이 제기됐다."
"our-general":이번 논란은 애플이 지난 7일 유튜브에 공개한 최신 아이패드 프로 광고를 중심으로 불거졌다. 광고는 악기, 조각상, 카메라, 물감 등을 누르기에 충분한 힘을 가진 프레스에 집어넣고 으깨는 모습을 보여준다. 이어 그 자리에 아이패드 프로가 등장하는 것으로, 새로 공개된 아이패드 프로가 최신 'M4' 칩을 탑재하고 애플 역사상 가장 얇은 기기라는 점을 강조한 것으로 보인다. 이 광고는 공개 직후부터 논란이 일었는데, 창작자를 상징하는 물건들이 으깨지는 장면이 그대로 담겨있어 기술이 창작자를 짓밟는다는 해석이 나올 수 있다는 지적이 나왔다. 또 AI에 밀려 창작자들이 힘을 잃는 상황을 연상시킨다는 우려도 제기됐다."
"our-sharegpt":"7일, Apple이 YouTube에 공개한 최신 iPad Pro의 새로운 광고와 관련하여 논란이 일어났습니다. 이 광고는 악기, 조각상, 카메라, 물감이 프레스에서 부서지는 장면을 보여준 후 그 자리에 iPad Pro가 등장합니다. 새로운 iPad Pro의 인공 지능 기능, 고급 디스플레이, 성능 및 두께를 강조하는 것으로 보입니다. Apple은 새로 공개된 iPad Pro가 최신 'M4' 칩이 탑재되어 있으며 Apple 역사상 가장 얇은 기기라고 언급했습니다. 이 광고는 크리에이터를 상징하는 물체가 부서지는 것을 그래픽으로 묘사하고 있어 출시와 동시에 반발을 불러일으켰습니다. 비평가들은 이 이미지가 기술이 인간 크리에이터를 짓밟는 것으로 해석될 수 있다고 주장합니다. 또한 일부에서는 크리에이터가 인공지능으로 인해 주눅 들고 있는 상황을 연상시킨다고 우려하는 목소리도 있습니다."

✨ 主な機能

• Meta-Llama-3-8B-Instructをベースに、英語から韓国語への高精度な翻訳を実現します。
• 特定の翻訳データセットで学習されており、様々なドメインのテキストを適切に翻訳します。

📦 インストール

本モデルはHugging Face Hub上で公開されており、transformersライブラリを使用して簡単に読み込むことができます。具体的なインストール方法は「クイックスタート」の「モデルの読み込み」を参照してください。

📚 ドキュメント

評価結果

英語から韓国語への翻訳性能を評価するため、以下のデータセットを使用して評価を行いました。

評価データセットの出所

• Aihub/FLoRes: traintogpb/aihub-flores-koen-integrated-sparta-30k | (test set 1k)
• iwslt-2023 : shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1 | (f_test 597, if_test 597)
• ko_news_2024: nayohan/ko_news_eval40 | (40)

モデルの評価方法

• 各モデルはHugging FaceのReadMeに記載されている推論コードを基に推論を行いました。（共通: max_new_tokens=512）
• EEVEは命令文（"당신은 번역기 입니다. 영어를 한국어로 번역하세요."）をシステムプロンプトに追加し、KULLM3は既存のシステムプロンプトを維持し、ユーザーの入力の先頭に追加しました。

Aihub英韓翻訳データセットの評価

• Aihub評価データセットは、モデルが学習データセットに含まれている可能性があります。カテゴリ別の性能を確認する目的でのみ参考にしてください。[カテゴリ説明リンク] | model | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | average | |:-----------------|------------:|------------:|------------:|------------:|------------:|--------------:|--------------:|--------------:|----------:| | EEVE-10.8b-it | 6.15 | 11.81 | 5.78 | 4.99 | 6.31 | 10.99 | 9.41 | 6.44 | 7.73 | | KULLM3 | 9.00 | 13.49 | 10.43 | 5.90 | 1.92 | 16.37 | 10.02 | 8.39 | 9.44 | | Seagull-13B | 9.8 | 18.38 | 8.51 | 5.53 | 8.74 | 17.44 | 10.11 | 11.21 | 11.21 | | Synatra-7B | 6.99 | 25.14 | 7.79 | 5.31 | 9.95 | 19.27 | 13.20 | 8.93 | 12.07 | | nhndq-nllb | 24.09 | 48.71 | 22.89 | 13.98 | 18.71 | 30.18 | 32.49 | 18.62 | 26.20 | | our-tech | 20.19 | 37.48 | 18.50 | 12.45 | 16.96 | 13.92 | 43.54 | 9.62 | 21.58 | | our-general | 24.72 | 45.22 | 21.61 | 18.97 | 17.23 | 30.00 | 32.08 | 13.55 | 25.42 | | our-sharegpt | 12.42 | 19.23 | 10.91 | 9.18 | 14.30 | 26.43 | 12.62 | 15.57 | 15.08 | | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 |26.92 |

FLoRes英韓翻訳データセットの評価

FloResは、Facebookが公開した英語と200の低リソース言語の並列翻訳ベンチマークデータセットです。 traintogpb/aihub-flores-koen-integrated-sparta-30kを使用して評価を行いました。（一文構成）

iwslt-2023

iwslt-2023データセットは、同じ英語文を韓国語の반말と尊敬語で評価するデータセットです。モデルの尊敬語/反語傾向を相対的に確認することができます。（一文構成）

ko_news_eval40

ko_news_eval40データセットは、2024年5月のニュース記事から各カテゴリ（4つ）ごとに10の文を抽出し、GPT4で翻訳した新しいデータセットです。 英語を日常の韓国語ニュースに適した韓国語に翻訳する能力を評価します。（文構成）

平均評価結果

📄 ライセンス

本モデルはllama3ライセンスの下で公開されています。