Turkish Llama 8b V0.1

🚀 Cosmos LLaMa

Cosmos LLaMa是基于LLaMA - 3 8B模型，使用30GB土耳其语数据集进行全量微调得到的模型。它专为文本生成任务设计，能够以连贯且符合上下文的方式续写给定的文本片段。不过，由于训练数据来源广泛，包含网站、书籍等多种文本，该模型可能存在偏差，使用者需注意并负责任地使用。

🚀 快速开始

本部分将展示如何在colab中使用该模型。

✨ 主要特性

• 基于LLaMA - 3 8B模型全量微调。
• 采用30GB土耳其语数据集训练。
• 可用于文本生成任务，能连贯续写文本。

📦 安装指南

在colab中运行以下命令进行必要库的安装：

!pip install -U accelerate bitsandbytes

💻 使用示例

基础用法

以下代码展示了如何加载模型和分词器：

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from transformers import BitsAndBytesConfig
import time

model_name = "ytu-ce-cosmos/Turkish-Llama-8b-v0.1"

bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_8bit_compute_dtype=torch.bfloat16,
    load_in_8bit_fp32_cpu_offload=True,
    device_map = 'auto'
)

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    quantization_config=bnb_config,
)

高级用法

以下代码展示了如何使用加载好的模型进行文本生成：

text_generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    temperature=0.3,
    repetition_penalty=1.1,
    top_p=0.9,
    max_length=610,
    do_sample=True,
    return_full_text=False,
    min_new_tokens=32
)

text = """Yapay zeka hakkında 3 tespit yaz.\n"""

r = text_generator(text)

print(r[0]['generated_text'])

"""
1. Yapay Zeka (AI), makinelerin insan benzeri bilişsel işlevleri gerçekleştirmesini sağlayan bir teknoloji alanıdır.

2. Yapay zekanın geliştirilmesi ve uygulanması, sağlık hizmetlerinden eğlenceye kadar çeşitli sektörlerde çok sayıda fırsat sunmaktadır.

3. Yapay zeka teknolojisinin potansiyel faydaları önemli olsa da mahremiyet, işten çıkarma ve etik hususlar gibi konularla ilgili endişeler de var.
"""

📚 详细文档

致谢

• 感谢Hugging Face团队的慷慨支持，使得我们能够从其S3存储中下载模型 🤗
• 本研究使用的计算资源由土耳其国家高性能计算中心（UHeM）提供，资助编号为1016912023和1018512024。
• 本研究得到了谷歌TPU研究云（TRC）的Cloud TPU支持。

联系方式

伊迪兹技术大学计算机工程系COSMOS AI研究小组
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

引用

如需引用该模型，请使用以下BibTeX格式：

@inproceedings{kesgin2024optimizing,
  title={Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and {\.I}nce, Elif and Erdem, Yusuf and Shbib, Osama and Zeer, Ahmed and Amasyali, M Fatih},
  booktitle={2024 Innovations in Intelligent Systems and Applications Conference (ASYU)},
  pages={1--6},
  year={2024},
  organization={IEEE}
}

📄 许可证

本模型使用的许可证为llama3。