Llama3 Instructrans Enko 8b

🚀 instructTrans

instructTrans 是一个基于 Llama-3-8B-it 模型在英韩翻译数据集上微调得到的模型，能够高效地将英文指令数据集翻译成韩语，为英韩翻译任务提供了强大的支持。

🚀 快速开始

加载模型

使用以下 Python 代码加载模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

生成文本

该模型支持从英语到韩语的翻译。要翻译文本，请使用以下 Python 代码：

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096) # Finetuned with length 4096
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

✨ 主要特性

• 基于 Llama-3-8B-it：以强大的 Llama-3-8B-it 为基础模型，具备优秀的语言理解和生成能力。
• 特定领域训练：在英韩翻译数据集上进行训练，专注于英语到韩语的翻译任务，提高翻译的准确性和专业性。
• 多数据集支持：使用多个英韩翻译数据集进行训练，包括 nayohan/aihub-en-ko-translation-1.2m 和 nayohan/translate_corpus_313k，确保模型的泛化能力。

📦 安装指南

文档未提及安装相关内容，可参考 Hugging Face 上的模型页面获取更多安装信息。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

高级用法

# 可以根据具体需求调整系统提示和输入句子，以实现更复杂的翻译任务
system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요. 번역은 자연스럽고 정확하게 이루어져야 합니다."
sentence = "The aerospace industry is a flower in the field of technology and science. It represents the highest level of human innovation and technological prowess."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

📚 详细文档

评估结果

为了评估英语到韩语的翻译性能，选择了以下数据集进行评估：

• 评估数据集出处
  • Aihub/FLoRes: traintogpb/aihub-flores-koen-integrated-sparta-30k | (测试集 1k)
  • iwslt-2023: shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1 | (f_test 597, if_test 597)
  • ko_news_2024: nayohan/ko_news_eval40 | (40)
• 模型评估方法
  • 每个模型都基于 Hugging Face 上 ReadMe 中记录的推理代码进行推理。（共同参数：max_new_tokens=512）
  • EEVE 在系统提示中添加了指令（"당신은 번역기 입니다. 영어를 한국어로 번역하세요."），KULLM3 保留了原系统提示，并在用户输入的最前面添加了该指令。

各数据集评估结果

Aihub 英韩翻译数据集评估

• Aihub 评估数据集 可能已包含在模型的训练数据集中。请仅将其用作查看各分类性能的参考。[分类说明链接] | 模型 | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | 平均 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | EEVE-10.8b-it | 6.15 | 11.81 | 5.78 | 4.99 | 6.31 | 10.99 | 9.41 | 6.44 | 7.73 | | KULLM3 | 9.00 | 13.49 | 10.43 | 5.90 | 1.92 | 16.37 | 10.02 | 8.39 | 9.44 | | Seagull-13B | 9.8 | 18.38 | 8.51 | 5.53 | 8.74 | 17.44 | 10.11 | 11.21 | 11.21 | | Synatra-7B | 6.99 | 25.14 | 7.79 | 5.31 | 9.95 | 19.27 | 13.20 | 8.93 | 12.07 | | nhndq-nllb | 24.09 | 48.71 | 22.89 | 13.98 | 18.71 | 30.18 | 32.49 | 18.62 | 26.20 | | our-tech | 20.19 | 37.48 | 18.50 | 12.45 | 16.96 | 13.92 | 43.54 | 9.62 | 21.58 | | our-general | 24.72 | 45.22 | 21.61 | 18.97 | 17.23 | 30.00 | 32.08 | 13.55 | 25.42 | | our-sharegpt | 12.42 | 19.23 | 10.91 | 9.18 | 14.30 | 26.43 | 12.62 | 15.57 | 15.08 | | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 | 26.92 |

FLoRes 英韩翻译数据集评估

FloRes 是 Facebook 公开的英语和 200 种低资源语言的并行翻译基准数据集。使用 traintogpb/aihub-flores-koen-integrated-sparta-30k 进行评估（单句结构）。

iwslt-2023

iwslt-2023 数据集 由相同的英语句子分别用韩语的半语和敬语构成评估数据集。可以相对地确认模型的敬语/半语倾向（单句结构）。

ko_news_eval40

ko_news_eval40 数据集 是为了在未训练过的新数据集上进行评估，于 2024 年 5 月从各分类（4 类）新闻中各收集 10 篇文章的部分段落，并使用 GPT4 进行翻译后构成的。用于评估模型将英语翻译成日常新闻中使用的韩语的能力（段落结构）。

平均结果

引用

@article{InstrcTrans8b,
  title={llama3-instrucTrans-enko-8b},
  author={Na, Yohan},
  year={2024},
  url={https://huggingface.co/nayohan/llama3-instrucTrans-enko-8b}
}

@article{llama3modelcard,
        title={Llama 3 Model Card},
        author={AI@Meta},
        year={2024},
        url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

🔧 技术细节

文档未提供详细的技术实现细节。

📄 许可证

该模型使用 llama3 许可证。