Llamaestra 3.2 1B Translation

🚀 LlaMaestra - テキスト翻訳用に微調整された小型Llamaモデル

LlaMaestraは、微調整された小型のLlamaモデルで、英語とイタリア語間のテキスト翻訳に特化しており、効率的かつ直接的に翻訳結果を提供します。

🚀 クイックスタート

LlaMaestraは、約300,000個の英語からイタリア語、およびイタリア語から英語の翻訳例を使用して微調整された小型のLlamaモデルです。このモデルは、余計な説明なしに直接的に翻訳結果を提供するように最適化されています。

モデル微調整情報

• 微調整時間：Nvidia A10G GPU上での微調整には約10時間かかりました。
• 実行環境：モデルの規模が小さいため、CPU上でも良好に動作します。

✨ 主な機能

• 翻訳能力：英語からイタリア語、およびイタリア語から英語の双方向の翻訳をサポートします。
• 効率的な実行：モデルの規模が小さいため、CPU上でもスムーズに動作します。
• 直接翻訳：微調整により、余計な説明なしに直接的に翻訳結果を提供します。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LeonardPuettmann/LlaMaestra-3.2-1B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id, add_bos_token=True, trust_remote_code=True)

row_json = [
    {"role": "system", "content": "Your job is to return translations for sentences or words from either Italian to English or English to Italian."},
    {"role": "user", "content": "Do you sell tickets for the bus?"},
]

prompt =  tokenizer.apply_chat_template(row_json, tokenize=False)
model_input = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=1024)[0]))

📚 ドキュメント

データソース

微調整に使用されたデータは、tatoeba.comの文章ペアに由来します。データは以下のリンクからダウンロードできます：https://tatoeba.org/downloads

関連モデルの推奨

英語からイタリア語の翻訳については、軽量Quadrifoglioモデルも参照できます。

🔧 技術詳細

このモデルは、約300,000個の英語からイタリア語、およびイタリア語から英語の翻訳例を使用して微調整されています。微調整の目的は、余計な説明なしに直接的に翻訳結果を提供することです。Nvidia A10G GPU上での微調整には約10時間かかりました。モデルの規模が小さいため、CPU上でも良好に動作します。

📄 ライセンス

このモデルのライセンスはllama3.2です。

🔗 参考情報

• ベースモデル：meta-llama/Llama-3.2-1B-Instruct
• 微調整者：Leonard Püttmann https://www.linkedin.com/in/leonard-püttmann-4648231a9/