Llama3 Instructrans Enko 8b GGUF

🚀 llama3-instrucTrans-enko-8b-GGUF

本项目提供了来自 nayohan 的 llama3-instrucTrans-enko-8b 模型的量化 GGUF 格式文件。该模型专注于英韩翻译任务，基于 Llama-3-8B-it 进行训练，在多个翻译数据集上表现出色。

🚀 快速开始

加载模型

使用以下 Python 代码加载模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

生成文本

此模型支持英文到韩文的翻译。使用以下 Python 代码进行翻译：

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096) # Finetuned with length 4096
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

翻译结果示例

# Result
INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nThe aerospace industry is a flower in the field of technology and science.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 항공우주 산업은 기술과 과학 분야의 꽃입니다.<|eot_id|>

INPUT: <|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n당신은 번역기 입니다. 영어를 한국어로 번역하세요.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
Technical and basic sciences are very important in terms of research. It has a significant impact on the industrial development of a country. Government policies control the research budget.<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다. 이는 한 국가의 산업 발전에 큰 영향을 미칩니다. 정부 정책은 연구 예산을 통제합니다.<|eot_id|>

评估结果示例

# EVAL_RESULT (2405_KO_NEWS) (max_new_tokens=512)
"en_ref":"This controversy arose around a new advertisement for the latest iPad Pro that Apple released on YouTube on the 7th. The ad shows musical instruments, statues, cameras, and paints being crushed in a press, followed by the appearance of the iPad Pro in their place. It appears to emphasize the new iPad Pro's artificial intelligence features, advanced display, performance, and thickness. Apple mentioned that the newly unveiled iPad Pro is equipped with the latest 'M4' chip and is the thinnest device in Apple's history. The ad faced immediate backlash upon release, as it graphically depicts objects symbolizing creators being crushed. Critics argue that the imagery could be interpreted as technology trampling on human creators. Some have also voiced concerns that it evokes a situation where creators are losing ground due to AI."
"ko_ref":"이번 논란은 애플이 지난 7일 유튜브에 공개한 신형 아이패드 프로 광고를 둘러싸고 불거졌다. 해당 광고 영상은 악기와 조각상, 카메라, 물감 등을 압착기로 짓누른 뒤 그 자리에 아이패드 프로를 등장시키는 내용이었다. 신형 아이패드 프로의 인공지능 기능들과 진화된 디스플레이와 성능, 두께 등을 강조하기 위한 취지로 풀이된다. 애플은 이번에 공개한 아이패드 프로에 신형 ‘M4’ 칩이 탑재되며 두께는 애플의 역대 제품 중 가장 얇다는 설명도 덧붙였다. 광고는 공개 직후 거센 비판에 직면했다. 창작자를 상징하는 물건이 짓눌려지는 과정을 지나치게 적나라하게 묘사한 점이 문제가 됐다. 기술이 인간 창작자를 짓밟는 모습을 묘사한 것으로 해석될 여지가 있다는 문제의식이다. 인공지능(AI)으로 인해 창작자가 설 자리가 줄어드는 상황을 연상시킨다는 목소리도 나왔다."

"our-instrucTrans":"이번 논란은 애플이 지난 7일 유튜브에 공개한 최신 아이패드 프로 광고를 둘러싸고 불거졌다. 광고는 악기, 조각상, 카메라, 물감 등을 압착기에 넣어 부숴버리다가 그 자리에 아이패드 프로가 등장하는 것으로, 새로 공개된 아이패드 프로가 최신 'M4'칩을 탑재하고 애플 사상 가장 얇은 기기라는 점을 강조한 것으로 보인다. 광고는 출시 즉시 창작자를 상징하는 물건들이 압착기에 갈겨버리는 장면을 그래픽으로 보여줘, 기술이 인간 창작자를 짓밟는 것으로 해석될 수 있다는 지적과 함께, AI로 인해 창작자들이 지위를 잃어가는 상황을 연상시킨다는 비판이 제기됐다."

✨ 主要特性

• 多数据集训练：基于多个英韩翻译数据集进行训练，包括 nayohan/aihub-en-ko-translation-1.2m 和 nayohan/translate_corpus_313k，提升翻译性能。
• 量化格式支持：提供量化的 GGUF 格式文件，便于在不同环境中使用。
• 多场景适用：在多种英韩翻译场景下表现良好，如新闻、日常对话等。

📦 安装指南

本项目依赖于 transformers 库，可使用以下命令进行安装：

pip install transformers

📚 详细文档

评估结果

为评估英韩翻译性能，选择了以下数据集进行评估：

评估数据集出处

• Aihub/FLoRes: traintogpb/aihub-flores-koen-integrated-sparta-30k | (测试集 1k)
• iwslt-2023 : shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1 | (f_test 597, if_test 597)
• ko_news_2024: nayohan/ko_news_eval40 | (40)

模型评估方法

• 每个模型基于 Hugging Face 上 README 中提供的推理代码进行推理（通用参数：max_new_tokens=512）。
• EEVE 在系统提示中添加指令("당신은 번역기 입니다. 영어를 한국어로 번역하세요.")，KULLM3 保持原系统提示，并在用户输入开头添加该指令。

各数据集评估结果

Aihub 英韩翻译数据集评估

• Aihub 评估数据集 可能包含在模型的训练数据集中，仅用于查看各类别性能。[类别说明链接] | 模型 | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | 平均 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | EEVE-10.8b-it | 6.15 | 11.81 | 5.78 | 4.99 | 6.31 | 10.99 | 9.41 | 6.44 | 7.73 | | KULLM3 | 9.00 | 13.49 | 10.43 | 5.90 | 1.92 | 16.37 | 10.02 | 8.39 | 9.44 | | Seagull-13B | 9.8 | 18.38 | 8.51 | 5.53 | 8.74 | 17.44 | 10.11 | 11.21 | 11.21 | | Synatra-7B | 6.99 | 25.14 | 7.79 | 5.31 | 9.95 | 19.27 | 13.20 | 8.93 | 12.07 | | nhndq-nllb | 24.09 | 48.71 | 22.89 | 13.98 | 18.71 | 30.18 | 32.49 | 18.62 | 26.20 | | our-tech | 20.19 | 37.48 | 18.50 | 12.45 | 16.96 | 13.92 | 43.54 | 9.62 | 21.58 | | our-general | 24.72 | 45.22 | 21.61 | 18.97 | 17.23 | 30.00 | 32.08 | 13.55 | 25.42 | | our-sharegpt | 12.42 | 19.23 | 10.91 | 9.18 | 14.30 | 26.43 | 12.62 | 15.57 | 15.08 | | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 | 26.92 |

FLoRes 英韩翻译数据集评估

FloRes 是 Facebook 公开的英语与 200 种低资源语言的并行翻译基准数据集。使用 traintogpb/aihub-flores-koen-integrated-sparta-30k 进行评估（单句构成）。

iwslt-2023 数据集评估

iwslt-2023 数据集 使用相同英语句子的韩语半语和敬语进行评估，可相对了解模型的敬语/半语倾向（单句构成）。

ko_news_eval40 数据集评估

ko_news_eval40 数据集 收集了 2024 年 5 月各类别（4 类）的 10 篇新闻文章段落，并使用 GPT4 进行翻译，用于评估模型将英语翻译为日常新闻韩语的能力（段落构成）。

综合平均评估结果

引用信息

@article{InstrcTrans8b,
  title={llama3-instrucTrans-enko-8b},
  author={Na, Yohan},
  year={2024},
  url={https://huggingface.co/nayohan/llama3-instrucTrans-enko-8b}
}

@article{llama3modelcard,
        title={Llama 3 Model Card},
        author={AI@Meta},
        year={2024},
        url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 许可证

本模型遵循 llama3 许可证。