Gemma2b Turkish Instruction

🚀 Gemma2b土耳其語指令模型卡

本模型是使用土耳其語指令 - 響應對微調的Gemma - 2b模型，可用於文本生成任務。

🚀 快速開始

模型使用示例

以下是使用該模型進行文本生成的Python代碼示例：

import torch,re
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "erythropygia/Gemma2b-Turkish-Instruction"

model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
tokenizer = AutoTokenizer.from_pretrained(model_id, add_eos_token=True, padding_side="left")

def get_completion(query: str, model, tokenizer) -> str:
  device = "cuda:0"

  prompt_template = """
  <start_of_turn>user
  Alt satırdaki soruya cevap ver:\n
  {query}
  <end_of_turn>\n<start_of_turn>model
  """
  prompt = prompt_template.format(query=query)

  encodeds = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)

  model_inputs = encodeds.to(device)


  #max_new_tokens = 200, temperature = 0.9, repetition_penalty = 0.5,  disabled
  #num_return_sequences=1, max_length = 256,
  generated_ids = model.generate(**model_inputs, max_new_tokens = 256, do_sample=True, pad_token_id=tokenizer.eos_token_id)
  decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=False)


  decoded = re.sub(r'<(end_of_turn|start_of_turn|eos|bos)>[^<]*$', '', decoded)

  decoded = re.sub(r'<(end_of_turn|start_of_turn|eos|bos)>', '', decoded)

  return decoded.strip()

result = get_completion(query="int türünde üç parametre alan ve bunların toplamını döndüren bir işlev oluşturun.", model=model, tokenizer=tokenizer)
print(result)

✨ 主要特性

• 使用土耳其語指令 - 響應對微調Gemma - 2b模型，適用於土耳其語的文本生成任務。

📦 訓練信息

訓練數據

• 數據集大小：約75k

訓練超參數

• 訓練輪數（Epochs）：1
• 最大步數（MaxSteps）：300
• 上下文長度（Context length）：1024
• LoRA秩（LoRA Rank）：32
• LoRA Alpha：64
• LoRA丟棄率（LoRA Dropout）：0.05

訓練結果

• 訓練損失（training_loss）：2.077697410186132 （如果有足夠的GPU資源，結果可能會更好）

📄 許可證

本模型採用CC - BY - NC - 4.0許可證。Gemma模型遵循在ai.google.dev/gemma/terms上找到的Gemma使用條款。在開始使用該模型之前，請參考Gemma的使用限制：https://ai.google.dev/gemma/terms#3.2-use

⚠️ 重要提示

請遵守Gemma的使用條款和使用限制，確保合法使用該模型。