Llama3 Instructrans Enko 8b

🚀 instructTrans

instructTrans 是一個基於 Llama-3-8B-it 模型在英韓翻譯數據集上微調得到的模型，能夠高效地將英文指令數據集翻譯成韓語，為英韓翻譯任務提供了強大的支持。

🚀 快速開始

加載模型

使用以下 Python 代碼加載模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

生成文本

該模型支持從英語到韓語的翻譯。要翻譯文本，請使用以下 Python 代碼：

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096) # Finetuned with length 4096
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

✨ 主要特性

• 基於 Llama-3-8B-it：以強大的 Llama-3-8B-it 為基礎模型，具備優秀的語言理解和生成能力。
• 特定領域訓練：在英韓翻譯數據集上進行訓練，專注於英語到韓語的翻譯任務，提高翻譯的準確性和專業性。
• 多數據集支持：使用多個英韓翻譯數據集進行訓練，包括 nayohan/aihub-en-ko-translation-1.2m 和 nayohan/translate_corpus_313k，確保模型的泛化能力。

📦 安裝指南

文檔未提及安裝相關內容，可參考 Hugging Face 上的模型頁面獲取更多安裝信息。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nayohan/llama3-instrucTrans-enko-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
  model_name,
  device_map="auto",
  torch_dtype=torch.bfloat16
)

system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요."
sentence = "The aerospace industry is a flower in the field of technology and science."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

高級用法

# 可以根據具體需求調整系統提示和輸入句子，以實現更復雜的翻譯任務
system_prompt="당신은 번역기 입니다. 영어를 한국어로 번역하세요. 번역은 자연스럽고 정확하게 이루어져야 합니다."
sentence = "The aerospace industry is a flower in the field of technology and science. It represents the highest level of human innovation and technological prowess."
conversation = [{'role': 'system', 'content': system_prompt},
                {'role': 'user', 'content': sentence}]

inputs = tokenizer.apply_chat_template(
  conversation,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors='pt'
).to("cuda")

outputs = model.generate(inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0][len(inputs[0]):]))

📚 詳細文檔

評估結果

為了評估英語到韓語的翻譯性能，選擇了以下數據集進行評估：

• 評估數據集出處
  • Aihub/FLoRes: traintogpb/aihub-flores-koen-integrated-sparta-30k | (測試集 1k)
  • iwslt-2023: shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1 | (f_test 597, if_test 597)
  • ko_news_2024: nayohan/ko_news_eval40 | (40)
• 模型評估方法
  • 每個模型都基於 Hugging Face 上 ReadMe 中記錄的推理代碼進行推理。（共同參數：max_new_tokens=512）
  • EEVE 在系統提示中添加了指令（"당신은 번역기 입니다. 영어를 한국어로 번역하세요."），KULLM3 保留了原系統提示，並在用戶輸入的最前面添加了該指令。

各數據集評估結果

Aihub 英韓翻譯數據集評估

• Aihub 評估數據集 可能已包含在模型的訓練數據集中。請僅將其用作查看各分類性能的參考。[分類說明鏈接] | 模型 | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | 平均 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | EEVE-10.8b-it | 6.15 | 11.81 | 5.78 | 4.99 | 6.31 | 10.99 | 9.41 | 6.44 | 7.73 | | KULLM3 | 9.00 | 13.49 | 10.43 | 5.90 | 1.92 | 16.37 | 10.02 | 8.39 | 9.44 | | Seagull-13B | 9.8 | 18.38 | 8.51 | 5.53 | 8.74 | 17.44 | 10.11 | 11.21 | 11.21 | | Synatra-7B | 6.99 | 25.14 | 7.79 | 5.31 | 9.95 | 19.27 | 13.20 | 8.93 | 12.07 | | nhndq-nllb | 24.09 | 48.71 | 22.89 | 13.98 | 18.71 | 30.18 | 32.49 | 18.62 | 26.20 | | our-tech | 20.19 | 37.48 | 18.50 | 12.45 | 16.96 | 13.92 | 43.54 | 9.62 | 21.58 | | our-general | 24.72 | 45.22 | 21.61 | 18.97 | 17.23 | 30.00 | 32.08 | 13.55 | 25.42 | | our-sharegpt | 12.42 | 19.23 | 10.91 | 9.18 | 14.30 | 26.43 | 12.62 | 15.57 | 15.08 | | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 | 26.92 |

FLoRes 英韓翻譯數據集評估

FloRes 是 Facebook 公開的英語和 200 種低資源語言的並行翻譯基準數據集。使用 traintogpb/aihub-flores-koen-integrated-sparta-30k 進行評估（單句結構）。

iwslt-2023

iwslt-2023 數據集 由相同的英語句子分別用韓語的半語和敬語構成評估數據集。可以相對地確認模型的敬語/半語傾向（單句結構）。

ko_news_eval40

ko_news_eval40 數據集 是為了在未訓練過的新數據集上進行評估，於 2024 年 5 月從各分類（4 類）新聞中各收集 10 篇文章的部分段落，並使用 GPT4 進行翻譯後構成的。用於評估模型將英語翻譯成日常新聞中使用的韓語的能力（段落結構）。

平均結果

引用

@article{InstrcTrans8b,
  title={llama3-instrucTrans-enko-8b},
  author={Na, Yohan},
  year={2024},
  url={https://huggingface.co/nayohan/llama3-instrucTrans-enko-8b}
}

@article{llama3modelcard,
        title={Llama 3 Model Card},
        author={AI@Meta},
        year={2024},
        url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

🔧 技術細節

文檔未提供詳細的技術實現細節。

📄 許可證

該模型使用 llama3 許可證。