Gemma2b Turkish Instruction

🚀 Gemma2b-Turkish-Instructionモデルカード

Gemma-2bをトルコ語の命令応答ペアでファインチューニングしたモデルです。

🚀 クイックスタート

モデルの使用方法

import torch,re
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "erythropygia/Gemma2b-Turkish-Instruction"

model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
tokenizer = AutoTokenizer.from_pretrained(model_id, add_eos_token=True, padding_side="left")

def get_completion(query: str, model, tokenizer) -> str:
  device = "cuda:0"

  prompt_template = """
  <start_of_turn>user
  Alt satırdaki soruya cevap ver:\n
  {query}
  <end_of_turn>\n<start_of_turn>model
  """
  prompt = prompt_template.format(query=query)

  encodeds = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)

  model_inputs = encodeds.to(device)


  #max_new_tokens = 200, temperature = 0.9, repetition_penalty = 0.5,  disabled
  #num_return_sequences=1, max_length = 256,
  generated_ids = model.generate(**model_inputs, max_new_tokens = 256, do_sample=True, pad_token_id=tokenizer.eos_token_id)
  decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=False)


  decoded = re.sub(r'<(end_of_turn|start_of_turn|eos|bos)>[^<]*$', '', decoded)

  decoded = re.sub(r'<(end_of_turn|start_of_turn|eos|bos)>', '', decoded)

  return decoded.strip()

result = get_completion(query="int türünde üç parametre alan ve bunların toplamını döndüren bir işlev oluşturun.", model=model, tokenizer=tokenizer)
print(result)

✨ 主な機能

このモデルは、トルコ語の命令応答ペアでファインチューニングされており、トルコ語のテキスト生成に特化しています。

📦 インストール

コード内で必要なライブラリをインストールすることで、モデルを使用できます。

📚 ドキュメント

トレーニングデータ

• データセットサイズ: ~75k

トレーニングハイパーパラメータ

トレーニング結果

• トレーニング損失: 2.077697410186132 (十分なGPUアクセスが得られれば改善の余地あり)

🔧 制限事項

Gemmaは、ai.google.dev/gemma/termsに記載されているGemma利用規約の下で提供されています。モデルを使用する前に、Gemmaの利用制限を参照してください。 利用規約

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。