Turkish Llama 8b V0.1 GGUF

🚀 土耳其語-Llama-8b-v0.1-GGUF

本項目提供了 土耳其語-Llama-8b-v0.1 模型的 GGUF 格式文件。GGUF 是一種新的模型格式，支持眾多客戶端和庫，方便用戶在不同環境下使用該模型進行文本生成任務。

🚀 快速開始

下載模型文件

• 自動下載：LM Studio、LoLLMS Web UI、Faraday.dev 等客戶端/庫會自動提供可用模型列表，供你選擇下載。
• text-generation-webui 下載：在 text-generation-webui 的 Download Model 中，輸入模型倉庫地址 LiteLLMs/Turkish-Llama-8b-v0.1-GGUF，並指定具體文件名，如 Q4_0/Q4_0-00001-of-00009.gguf，然後點擊 Download。
• 命令行下載：推薦使用 huggingface-hub Python 庫，先安裝：

pip3 install huggingface-hub

然後使用以下命令下載單個模型文件到當前目錄：

huggingface-cli download LiteLLMs/Turkish-Llama-8b-v0.1-GGUF Q4_0/Q4_0-00001-of-00009.gguf --local-dir . --local-dir-use-symlinks False

運行模型

llama.cpp 命令示例

確保使用的 llama.cpp 是 d0cee0d 或更高版本。

./main -ngl 35 -m Q4_0/Q4_0-00001-of-00009.gguf --color -c 8192 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<PROMPT>"

• -ngl 32：指定卸載到 GPU 的層數，若沒有 GPU 加速可移除該參數。
• -c 8192：指定所需的序列長度，對於擴展序列模型，必要的 RoPE 縮放參數會從 GGUF 文件中讀取並由 llama.cpp 自動設置。注意，更長的序列長度需要更多資源，可能需要減小該值。
• 若要進行聊天式對話，將 -p <PROMPT> 參數替換為 -i -ins。

在 text-generation-webui 中運行

更多說明可參考 text-generation-webui 文檔。

從 Python 代碼運行

可以使用 llama-cpp-python 或 ctransformers 庫從 Python 中使用 GGUF 模型。建議使用 llama-cpp-python。

from llama_cpp import Llama
# Set gpu_layers to the number of layers to offload to GPU. Set to 0 if no GPU acceleration is available on your system.
llm = Llama(
  model_path="./Q4_0/Q4_0-00001-of-00009.gguf",  # Download the model file first
  n_ctx=32768,  # The max sequence length to use - note that longer sequence lengths require much more resources
  n_threads=8,            # The number of CPU threads to use, tailor to your system and the resulting performance
  n_gpu_layers=35         # The number of layers to offload to GPU, if you have GPU acceleration available
)
# Simple inference example
output = llm(
  "<PROMPT>", # Prompt
  max_tokens=512,  # Generate up to 512 tokens
  stop=["</s>"],   # Example stop token - not necessarily correct for this specific model! Please check before using.
  echo=True        # Whether to echo the prompt
)
# Chat Completion API
llm = Llama(model_path="./Q4_0/Q4_0-00001-of-00009.gguf", chat_format="llama-2")  # Set chat_format according to the model you are using
llm.create_chat_completion(
    messages = [
        {"role": "system", "content": "You are a story writing assistant."},
        {
            "role": "user",
            "content": "Write a story about llamas."
        }
    ]
)

與 LangChain 結合使用

• LangChain + llama-cpp-python
• LangChain + ctransformers

✨ 主要特性

• 多客戶端支持：支持眾多客戶端和庫，如 llama.cpp、text-generation-webui、Ollama 等，方便在不同環境下使用。
• GPU 加速：部分客戶端和庫支持 GPU 加速，提高模型運行效率。
• 文本生成能力：基於土耳其語數據集微調，可用於生成連貫且與上下文相關的文本。

📦 安裝指南

安裝依賴庫

下載模型文件依賴

pip3 install huggingface-hub

Python 代碼運行依賴

# Base ctransformers with no GPU acceleration
pip install llama-cpp-python
# With NVidia CUDA acceleration
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# Or with OpenBLAS acceleration
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python
# Or with CLBLast acceleration
CMAKE_ARGS="-DLLAMA_CLBLAST=on" pip install llama-cpp-python
# Or with AMD ROCm GPU acceleration (Linux only)
CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python
# Or with Metal GPU acceleration for macOS systems only
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python
# In windows, to set the variables CMAKE_ARGS in PowerShell, follow this format; eg for NVidia CUDA:
$env:CMAKE_ARGS = "-DLLAMA_OPENBLAS=on"
pip install llama-cpp-python

💻 使用示例

基礎用法

from llama_cpp import Llama
llm = Llama(model_path="./Q4_0/Q4_0-00001-of-00009.gguf", n_ctx=32768, n_threads=8, n_gpu_layers=35)
output = llm("<PROMPT>", max_tokens=512, stop=["</s>"], echo=True)
print(output)

高級用法

# Chat Completion API
from llama_cpp import Llama
llm = Llama(model_path="./Q4_0/Q4_0-00001-of-00009.gguf", chat_format="llama-2")
messages = [
    {"role": "system", "content": "You are a story writing assistant."},
    {"role": "user", "content": "Write a story about llamas."}
]
response = llm.create_chat_completion(messages)
print(response)

📚 詳細文檔

關於 GGUF 格式

GGUF 是 llama.cpp 團隊在 2023 年 8 月 21 日引入的新格式，用於替代不再受 llama.cpp 支持的 GGML 格式。以下是已知支持 GGUF 的客戶端和庫：

• llama.cpp：GGUF 的源項目，提供命令行界面 (CLI) 和服務器選項。
• text-generation-webui：最廣泛使用的 Web UI，功能豐富，支持 GPU 加速。
• Ollama：輕量級可擴展框架，用於在本地構建和運行語言模型。
• KoboldCpp：全面的 Web UI，支持所有平臺和架構的 GPU 加速，尤其適用於故事創作。
• GPT4All：免費開源的本地 GUI，支持 Windows、Linux 和 macOS，全 GPU 加速。
• LM Studio：適用於 Windows 和 macOS (Silicon) 的直觀強大的本地 GUI，支持 GPU 加速。
• LoLLMS Web UI：具有多種獨特功能的 Web UI，包含綜合模型庫，方便模型選擇。
• Faraday.dev：適用於 Windows 和 macOS (Silicon 和 Intel) 的美觀易用的基於角色的聊天 GUI，支持 GPU 加速。
• llama-cpp-python：配備 GPU 加速、LangChain 支持和 OpenAI 兼容 API 服務器的 Python 庫。
• candle：基於 Rust 的 ML 框架，注重性能，支持 GPU，易於使用。
• ctransformers：具有 GPU 加速、LangChain 支持和 OpenAI 兼容 AI 服務器的 Python 庫。
• localGPT：開源項目，支持與文檔進行私密對話。

量化方法說明

🔧 技術細節

模型信息

模型侷限性

由於訓練數據的多樣性，模型可能存在偏差。用戶應意識到這些偏差，並負責任地使用模型。

📄 許可證

本項目使用 llama3 許可證。

原模型卡片：土耳其語-Llama-8b-v0.1

Cosmos LLaMa

該模型是基於 LLaMA-3 8B 模型，使用 30GB 土耳其語數據集進行全微調的版本。Cosmos LLaMa 專為文本生成任務設計，能夠以連貫且與上下文相關的方式繼續給定的文本片段。由於訓練數據的多樣性，該模型可能存在偏差，用戶應注意這些偏差並負責任地使用模型。

示例用法

在 Colab 中使用模型的示例：

!pip install -U accelerate bitsandbytes

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from transformers import BitsAndBytesConfig
import time

model_name = "ytu-ce-cosmos/Turkish-Llama-8b-v0.1"

bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_8bit_compute_dtype=torch.bfloat16,
    load_in_8bit_fp32_cpu_offload=True,
    device_map = 'auto'
)

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    quantization_config=bnb_config,
)

text_generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    temperature=0.3,
    repetition_penalty=1.1,
    top_p=0.9,
    max_length=610,
    do_sample=True,
    return_full_text=False,
    min_new_tokens=32
)

text = """Yapay zeka hakkında 3 tespit yaz.\n"""

r = text_generator(text)

print(r[0]['generated_text'])

"""
1. Yapay Zeka (AI), makinelerin insan benzeri bilişsel işlevleri gerçekleştirmesini sağlayan bir teknoloji alanıdır.

2. Yapay zekanın geliştirilmesi ve uygulanması, sağlık hizmetlerinden eğlenceye kadar çeşitli sektörlerde çok sayıda fırsat sunmaktadır.

3. Yapay zeka teknolojisinin potansiyel faydaları önemli olsa da mahremiyet, işten çıkarma ve etik hususlar gibi konularla ilgili endişeler de var.
"""

致謝

• 感謝 Hugging Face 團隊的慷慨支持，使得可以從他們的 S3 存儲中下載模型 🤗
• 本工作使用的計算資源由土耳其國家高性能計算中心 (UHeM) 提供，資助編號為 1016912023 和 1018512024
• 研究得到了 Google 的 TPU 研究雲 (TRC) 的 Cloud TPU 支持

聯繫信息

COSMOS AI 研究小組，伊迪茲技術大學計算機工程系

• 網站：https://cosmos.yildiz.edu.tr/
• 郵箱：cosmos@yildiz.edu.tr