Smolmaestra 1.7b Translation

🚀 SmolMaestra - 專為文本翻譯微調的輕量級模型

SmolMaestra是一個經過微調的輕量級模型，專注於英文與意大利文之間的文本翻譯，能高效、直接地輸出翻譯結果。

   _____                 _ __  __                 _             
  / ____|               | |  \/  |               | |            
 | (___  _ __ ___   ___ | | \  / | __ _  ___  ___| |_ _ __ __ _ 
  \___ \| '_ ` _ \ / _ \| | |\/| |/ _` |/ _ \/ __| __| '__/ _` |
  ____) | | | | | | (_) | | |  | | (_| |  __/\__ \ |_| | | (_| |
 |_____/|_| |_| |_|\___/|_|_|  |_|\__,_|\___||___/\__|_|  \__,_|

如需進行英文到意大利文的翻譯，也可查看 輕量級Quadrifoglio模型。

🚀 快速開始

本模型使用約300,000個英文到意大利文以及意大利文到英文的翻譯示例進行微調。微調方式使得模型能夠更直接地提供翻譯結果，而無需過多解釋。

在Nvidia A10G GPU上，微調大約花費了10個小時。由於模型規模較小，在CPU上也能很好地運行。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LeonardPuettmann/SmolMaestra-1.7b-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id, add_bos_token=True, trust_remote_code=True)

row_json = [
    {"role": "system", "content": "Your job is to return translations for sentences or words from either Italian to English or English to Italian."},
    {"role": "user", "content": "Do you sell tickets for the bus?"},
]

prompt =  tokenizer.apply_chat_template(row_json, tokenize=False)
model_input = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=1024)[0]))

📚 詳細文檔

數據來源

數據來源為tatoeba.com上的句子對。數據可從以下鏈接下載：https://tatoeba.org/downloads

相關信息