Llama3 Instructrans Enko 8b GGUF

🚀 llama3-instrucTrans-enko-8b-GGUF

本項目提供了來自 nayohan 的 llama3-instrucTrans-enko-8b 模型的量化 GGUF 格式文件。該模型專注於英韓翻譯任務，基於 Llama-3-8B-it 進行訓練，在多個翻譯數據集上表現出色。

🚀 快速開始

加載模型

使用以下 Python 代碼加載模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

生成文本

此模型支持英文到韓文的翻譯。使用以下 Python 代碼進行翻譯：

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096) # Finetuned with length 4096
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

翻譯結果示例

# Result
INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nThe aerospace industry is a flower in the field of technology and science.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 항공우주 산업은 기술과 과학 분야의 꽃입니다.<|eot_id|>

INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
Technical and basic sciences are very important in terms of research. It has a significant impact on the industrial development of a country. Government policies control the research budget.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다. 이는 한 국가의 산업 발전에 큰 영향을 미칩니다. 정부 정책은 연구 예산을 통제합니다.<|eot_id|>

評估結果示例

# EVAL_RESULT (2405_KO_NEWS) (max_new_tokens=512)
"en_ref":"This controversy arose around a new advertisement for the latest iPad Pro that Apple released on YouTube on the 7th. The ad shows musical instruments, statues, cameras, and paints being crushed in a press, followed by the appearance of the iPad Pro in their place. It appears to emphasize the new iPad Pro's artificial intelligence features, advanced display, performance, and thickness. Apple mentioned that the newly unveiled iPad Pro is equipped with the latest 'M4' chip and is the thinnest device in Apple's history. The ad faced immediate backlash upon release, as it graphically depicts objects symbolizing creators being crushed. Critics argue that the imagery could be interpreted as technology trampling on human creators. Some have also voiced concerns that it evokes a situation where creators are losing ground due to AI."
"ko_ref":"이번 논란은 애플이 지난 7일 유튜브에 공개한 신형 아이패드 프로 광고를 둘러싸고 불거졌다. 해당 광고 영상은 악기와 조각상, 카메라, 물감 등을 압착기로 짓누른 뒤 그 자리에 아이패드 프로를 등장시키는 내용이었다. 신형 아이패드 프로의 인공지능 기능들과 진화된 디스플레이와 성능, 두께 등을 강조하기 위한 취지로 풀이된다. 애플은 이번에 공개한 아이패드 프로에 신형 ‘M4’ 칩이 탑재되며 두께는 애플의 역대 제품 중 가장 얇다는 설명도 덧붙였다. 광고는 공개 직후 거센 비판에 직면했다. 창작자를 상징하는 물건이 짓눌려지는 과정을 지나치게 적나라하게 묘사한 점이 문제가 됐다. 기술이 인간 창작자를 짓밟는 모습을 묘사한 것으로 해석될 여지가 있다는 문제의식이다. 인공지능(AI)으로 인해 창작자가 설 자리가 줄어드는 상황을 연상시킨다는 목소리도 나왔다."

"our-instrucTrans":"이번 논란은 애플이 지난 7일 유튜브에 공개한 최신 아이패드 프로 광고를 둘러싸고 불거졌다. 광고는 악기, 조각상, 카메라, 물감 등을 압착기에 넣어 부숴버리다가 그 자리에 아이패드 프로가 등장하는 것으로, 새로 공개된 아이패드 프로가 최신 'M4'칩을 탑재하고 애플 사상 가장 얇은 기기라는 점을 강조한 것으로 보인다. 광고는 출시 즉시 창작자를 상징하는 물건들이 압착기에 갈겨버리는 장면을 그래픽으로 보여줘, 기술이 인간 창작자를 짓밟는 것으로 해석될 수 있다는 지적과 함께, AI로 인해 창작자들이 지위를 잃어가는 상황을 연상시킨다는 비판이 제기됐다."

✨ 主要特性

• 多數據集訓練：基於多個英韓翻譯數據集進行訓練，包括 nayohan/aihub-en-ko-translation-1.2m 和 nayohan/translate_corpus_313k，提升翻譯性能。
• 量化格式支持：提供量化的 GGUF 格式文件，便於在不同環境中使用。
• 多場景適用：在多種英韓翻譯場景下表現良好，如新聞、日常對話等。

📦 安裝指南

本項目依賴於 transformers 庫，可使用以下命令進行安裝：

pip install transformers

📚 詳細文檔

評估結果

為評估英韓翻譯性能，選擇了以下數據集進行評估：

評估數據集出處

• Aihub/FLoRes: traintogpb/aihub-flores-koen-integrated-sparta-30k | (測試集 1k)
• iwslt-2023 : shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1 | (f_test 597, if_test 597)
• ko_news_2024: nayohan/ko_news_eval40 | (40)

模型評估方法

• 每個模型基於 Hugging Face 上 README 中提供的推理代碼進行推理（通用參數：max_new_tokens=512）。
• EEVE 在系統提示中添加指令("당신은 번역기 입니다. 영어를 한국어로 번역하세요.")，KULLM3 保持原系統提示，並在用戶輸入開頭添加該指令。

各數據集評估結果

Aihub 英韓翻譯數據集評估

• Aihub 評估數據集 可能包含在模型的訓練數據集中，僅用於查看各類別性能。[類別說明鏈接] | 模型 | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | 平均 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | EEVE-10.8b-it | 6.15 | 11.81 | 5.78 | 4.99 | 6.31 | 10.99 | 9.41 | 6.44 | 7.73 | | KULLM3 | 9.00 | 13.49 | 10.43 | 5.90 | 1.92 | 16.37 | 10.02 | 8.39 | 9.44 | | Seagull-13B | 9.8 | 18.38 | 8.51 | 5.53 | 8.74 | 17.44 | 10.11 | 11.21 | 11.21 | | Synatra-7B | 6.99 | 25.14 | 7.79 | 5.31 | 9.95 | 19.27 | 13.20 | 8.93 | 12.07 | | nhndq-nllb | 24.09 | 48.71 | 22.89 | 13.98 | 18.71 | 30.18 | 32.49 | 18.62 | 26.20 | | our-tech | 20.19 | 37.48 | 18.50 | 12.45 | 16.96 | 13.92 | 43.54 | 9.62 | 21.58 | | our-general | 24.72 | 45.22 | 21.61 | 18.97 | 17.23 | 30.00 | 32.08 | 13.55 | 25.42 | | our-sharegpt | 12.42 | 19.23 | 10.91 | 9.18 | 14.30 | 26.43 | 12.62 | 15.57 | 15.08 | | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 | 26.92 |

FLoRes 英韓翻譯數據集評估

FloRes 是 Facebook 公開的英語與 200 種低資源語言的並行翻譯基準數據集。使用 traintogpb/aihub-flores-koen-integrated-sparta-30k 進行評估（單句構成）。

iwslt-2023 數據集評估

iwslt-2023 數據集 使用相同英語句子的韓語半語和敬語進行評估，可相對了解模型的敬語/半語傾向（單句構成）。

ko_news_eval40 數據集評估

ko_news_eval40 數據集 收集了 2024 年 5 月各類別（4 類）的 10 篇新聞文章段落，並使用 GPT4 進行翻譯，用於評估模型將英語翻譯為日常新聞韓語的能力（段落構成）。

綜合平均評估結果

引用信息

@article{InstrcTrans8b,
  title={llama3-instrucTrans-enko-8b},
  author={Na, Yohan},
  year={2024},
  url={https://huggingface.co/nayohan/llama3-instrucTrans-enko-8b}
}

@article{llama3modelcard,
        title={Llama 3 Model Card},
        author={AI@Meta},
        year={2024},
        url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 許可證

本模型遵循 llama3 許可證。