Llamaestra 3.2 1B Translation

🚀 LlaMaestra - 專為文本翻譯微調的小型Llama模型

LlaMaestra是一個經過微調的小型Llama模型，專注於英文與意大利文之間的文本翻譯，能高效、直接地給出翻譯結果。

🚀 快速開始

LlaMaestra是一個經過微調的小型Llama模型，使用約300,000個英文到意大利文以及意大利文到英文的翻譯示例進行微調。該模型經過優化，能夠更直接地提供翻譯結果，而無需過多解釋。

模型微調信息

• 微調時長：在Nvidia A10G GPU上進行微調大約花費了10小時。
• 運行環境：由於模型規模較小，在CPU上也能很好地運行。

✨ 主要特性

• 翻譯能力：支持英文到意大利文以及意大利文到英文的雙向翻譯。
• 高效運行：模型規模小，在CPU上也能流暢運行。
• 直接翻譯：經過微調，能直接給出翻譯結果，無需過多解釋。

📦 安裝指南

本部分未提及具體安裝命令，暫不展示安裝步驟。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LeonardPuettmann/LlaMaestra-3.2-1B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id, add_bos_token=True, trust_remote_code=True)

row_json = [
    {"role": "system", "content": "Your job is to return translations for sentences or words from either Italian to English or English to Italian."},
    {"role": "user", "content": "Do you sell tickets for the bus?"},
]

prompt =  tokenizer.apply_chat_template(row_json, tokenize=False)
model_input = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=1024)[0]))

📚 詳細文檔

數據來源

用於微調的數據來自tatoeba.com的句子對。你可以從以下鏈接下載數據：https://tatoeba.org/downloads

相關模型推薦

對於英文到意大利文的翻譯，你也可以查看輕量級Quadrifoglio模型。

🔧 技術細節

本模型使用約300,000個英文到意大利文以及意大利文到英文的翻譯示例進行微調。微調過程旨在讓模型更直接地提供翻譯結果，而無需過多解釋。在Nvidia A10G GPU上進行微調大約花費了10小時。由於模型規模較小，它在CPU上也能很好地運行。

📄 許可證

本模型的許可證為llama3.2。

🔗 參考信息

• 基礎模型：meta-llama/Llama-3.2-1B-Instruct
• 微調者：Leonard Püttmann https://www.linkedin.com/in/leonard-püttmann-4648231a9/