Turkish Gemma 9b V0.1

🚀 土耳其語Gemma-9b-v0.1

土耳其語Gemma-9b-v0.1是基於Gemma-2-9b開發的模型，通過持續預訓練、監督微調（SFT）、直接偏好優化（DPO）和模型合併等方法訓練而成。該模型專為土耳其語文本生成任務設計，能夠提供連貫且與上下文相關的續寫和回答。不過，由於訓練數據的多樣性（包括大規模預訓練語料庫、指令調優數據和人類偏好數據），模型可能存在偏差，用戶在使用時應予以關注並負責任地部署。

你可以在這裡輕鬆體驗模型演示（即將推出！）：https://cosmos.yildiz.edu.tr/cosmosllm

為了評估模型性能，我們精心設計了一個包含1450個問題的數據集，涵蓋多個不同類別。每個問題由18位人工標註員進行審核和評分，以便在多個模型之間進行可靠比較。

🚀 快速開始

模型使用示例

Transformers pipeline

import transformers
import torch
model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:

# X² = 1

# Bu denklemin çözümleri:

# X = 1 ve X = -1

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=False,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:

# X² = 1

# Bu denklemin çözümleri:

# X = 1 ve X = -1

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.

✨ 主要特性

• 基於Gemma-2-9b：以Gemma-2-9b為基礎模型進行開發。
• 多方法訓練：結合持續預訓練、監督微調（SFT）、直接偏好優化（DPO）和模型合併等方法。
• 土耳其語適配：專為土耳其語文本生成任務設計，能提供高質量的文本續寫和回答。

📚 詳細文檔

🏆 模型比較：勝率

投票方法

將一個問題和來自不同模型的兩個答案呈現給人類評委，評委根據自己的偏好選擇更好的答案。例如，在下面的問題中，評委選擇了右側的答案：

📊 土耳其語評估基準結果（通過 malhajar17/lm-evaluation-harness_turkish）

🔧 技術細節

該模型基於Gemma-2-9b，通過持續預訓練、監督微調（SFT）、直接偏好優化（DPO）和模型合併等技術進行開發。訓練數據包括大規模預訓練語料庫、指令調優數據和人類偏好數據。

📄 許可證

許可證：gemma2

致謝

• 感謝Hugging Face團隊的慷慨支持，使我們能夠從他們的S3存儲中下載模型 🤗
• 本研究使用的計算資源由土耳其國家高性能計算中心（UHeM）提供，資助編號為1016912023和1018512024。

聯繫方式

COSMOS人工智能研究小組，伊迪茲技術大學計算機工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr