Turkish Gemma 9b V0.1

🚀 土耳其语Gemma-9b-v0.1

土耳其语Gemma-9b-v0.1是基于Gemma-2-9b开发的模型，通过持续预训练、监督微调（SFT）、直接偏好优化（DPO）和模型合并等方法训练而成。该模型专为土耳其语文本生成任务设计，能够提供连贯且与上下文相关的续写和回答。不过，由于训练数据的多样性（包括大规模预训练语料库、指令调优数据和人类偏好数据），模型可能存在偏差，用户在使用时应予以关注并负责任地部署。

你可以在这里轻松体验模型演示（即将推出！）：https://cosmos.yildiz.edu.tr/cosmosllm

为了评估模型性能，我们精心设计了一个包含1450个问题的数据集，涵盖多个不同类别。每个问题由18位人工标注员进行审核和评分，以便在多个模型之间进行可靠比较。

🚀 快速开始

模型使用示例

Transformers pipeline

import transformers
import torch
model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:

# X² = 1

# Bu denklemin çözümleri:

# X = 1 ve X = -1

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=False,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:

# X² = 1

# Bu denklemin çözümleri:

# X = 1 ve X = -1

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.

✨ 主要特性

• 基于Gemma-2-9b：以Gemma-2-9b为基础模型进行开发。
• 多方法训练：结合持续预训练、监督微调（SFT）、直接偏好优化（DPO）和模型合并等方法。
• 土耳其语适配：专为土耳其语文本生成任务设计，能提供高质量的文本续写和回答。

📚 详细文档

🏆 模型比较：胜率

投票方法

将一个问题和来自不同模型的两个答案呈现给人类评委，评委根据自己的偏好选择更好的答案。例如，在下面的问题中，评委选择了右侧的答案：

📊 土耳其语评估基准结果（通过 malhajar17/lm-evaluation-harness_turkish）

🔧 技术细节

该模型基于Gemma-2-9b，通过持续预训练、监督微调（SFT）、直接偏好优化（DPO）和模型合并等技术进行开发。训练数据包括大规模预训练语料库、指令调优数据和人类偏好数据。

📄 许可证

许可证：gemma2

致谢

• 感谢Hugging Face团队的慷慨支持，使我们能够从他们的S3存储中下载模型 🤗
• 本研究使用的计算资源由土耳其国家高性能计算中心（UHeM）提供，资助编号为1016912023和1018512024。

联系方式

COSMOS人工智能研究小组，伊迪兹技术大学计算机工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr