Turkish Llama 8b V0.1

🚀 Cosmos LLaMa

このモデルは、30GBのトルコ語データセットを用いて、LLaMA - 3 8Bモデルを完全にファインチューニングしたものです。Cosmos LLaMaは、与えられたテキスト断片を首尾一貫した文脈に沿って続ける能力を備えた、テキスト生成タスク向けに設計されています。トレーニングデータにはウェブサイト、書籍、その他のテキストソースが含まれる多様な性質のため、このモデルにはバイアスが存在する可能性があります。ユーザーはこれらのバイアスに留意し、責任を持ってモデルを使用する必要があります。

🚀 クイックスタート

このモデルは、トルコ語のテキスト生成タスクに最適化されています。以下の使用例を参考に、モデルを使い始めることができます。

✨ 主な機能

• 与えられたテキスト断片を首尾一貫した文脈に沿って続けることができます。
• 多様なトレーニングデータを使用しているため、幅広いテキスト生成タスクに対応しています。

📦 インストール

Colabでモデルを使用するために必要なライブラリをインストールします。

!pip install -U accelerate bitsandbytes

💻 使用例

基本的な使用法

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from transformers import BitsAndBytesConfig
import time

model_name = "ytu-ce-cosmos/Turkish-Llama-8b-v0.1"

bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_8bit_compute_dtype=torch.bfloat16,
    load_in_8bit_fp32_cpu_offload=True,
    device_map = 'auto'
)

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    quantization_config=bnb_config,
)

高度な使用法

text_generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    temperature=0.3,
    repetition_penalty=1.1,
    top_p=0.9,
    max_length=610,
    do_sample=True,
    return_full_text=False,
    min_new_tokens=32
)

text = """Yapay zeka hakkında 3 tespit yaz.\n"""

r = text_generator(text)

print(r[0]['generated_text'])

"""
1. Yapay Zeka (AI), makinelerin insan benzeri bilişsel işlevleri gerçekleştirmesini sağlayan bir teknoloji alanıdır.

2. Yapay zekanın geliştirilmesi ve uygulanması, sağlık hizmetlerinden eğlenceye kadar çeşitli sektörlerde çok sayıda fırsat sunmaktadır.

3. Yapay zeka teknolojisinin potansiyel faydaları önemli olsa da mahremiyet, işten çıkarma ve etik hususlar gibi konularla ilgili endişeler de var.
"""

📚 ドキュメント

モデル情報

謝辞

• Hugging Faceチームの寛大な支援に感謝します。彼らのS3ストレージからモデルをダウンロードすることが可能になりました 🤗
• この研究で使用されたコンピューティングリソースは、トルコの国立高性能コンピューティングセンター（UHeM）から助成金番号1016912023および1018512024で提供されました。
• 研究は、GoogleのTPU Research Cloud（TRC）からのCloud TPUでサポートされています。

連絡先

COSMOS AI Research Group, Yildiz Technical University Computer Engineering Department
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

引用

@inproceedings{kesgin2024optimizing,
  title={Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and {\.I}nce, Elif and Erdem, Yusuf and Shbib, Osama and Zeer, Ahmed and Amasyali, M Fatih},
  booktitle={2024 Innovations in Intelligent Systems and Applications Conference (ASYU)},
  pages={1--6},
  year={2024},
  organization={IEEE}
}

📄 ライセンス

このモデルは、llama3ライセンスの下で提供されています。