Llama 2 7b Mt French To English

🚀 Model Card for Model ID

このモデルは、MetaのLlama 2 7Bをファインチューニングして、フランス語のテキストを英語に翻訳するためのアダプターです。

🚀 クイックスタート

このアダプターは、Llama 2 7Bの上にロードする必要があり、QLoRAでファインチューニングされています。最適な結果を得るためには、ベースモデルをファインチューニング時とまったく同じ設定でロードする必要があります。

以下のコードを使用してモデルをロードできます：

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import torch
from peft import PeftModel

base_model = "meta-llama/Llama-2-7b-hf"
compute_dtype = getattr(torch, "float16")
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=True,
)
model = AutoModelForCausalLM.from_pretrained(
        original_model_directory, device_map={"": 0}, quantization_config=bnb_config
)
tokenizer = AutoTokenizer.from_pretrained(base_model, use_fast=True)
model = PeftModel.from_pretrained(model, "kaitchup/Llama-2-7b-mt-French-to-English")

次に、以下のようにモデルを実行します：

my_text = "" # ここに翻訳するテキストを入力します

prompt = my_text+" ###>"

tokenized_input = tokenizer(prompt, return_tensors="pt")
input_ids = tokenized_input["input_ids"].cuda()

generation_output = model.generate(
        input_ids=input_ids,
        num_beams=10,
        return_dict_in_generate=True,
        output_scores=True,
        max_new_tokens=130

)
for seq in generation_output.sequences:
    output = tokenizer.decode(seq, skip_special_tokens=True)
    print(output.split("###>")[1].strip()) 

✨ 主な機能

• MetaのLlama 2 7Bをベースに、フランス語から英語への翻訳に特化したアダプターです。
• QLoRAを用いてファインチューニングされており、効率的な学習が行われています。

📚 ドキュメント

モデルの詳細

• 開発者: The Kaitchup
• モデルの種類: Llama 2 7B用のLoRAアダプター
• 言語: フランス語、英語
• ライセンス: MITライセンス

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

モデルカードの問い合わせ先

The Kaitchup