Verius LLM 8b V0.2

🚀 VeriUS LLM 8b v0.2

VeriUS LLM是一款基於llama3-8B的指令跟隨大語言模型，支持土耳其語，為土耳其語相關的語言處理任務提供了強大的支持。

✨ 主要特性

• 基於llama3-8B基礎模型進行微調，繼承了強大的語言理解和生成能力。
• 支持土耳其語，適用於土耳其語相關的指令跟隨任務。
• 使用精心策劃的通用領域土耳其語指令數據集進行訓練，更貼合實際應用場景。
• 採用QLoRA和ORPO進行微調，在保證性能的同時提高訓練效率。

📦 安裝指南

本模型使用Unsloth進行訓練，並可利用其進行快速推理。如需安裝Unsloth，請參考：https://github.com/unslothai/unsloth

💻 使用示例

基礎用法

from unsloth import FastLanguageModel

max_seq_len = 1024
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="VeriUs/VeriUS-LLM-8b-v0.2",
    max_seq_length=max_seq_len,
    dtype=None
)
FastLanguageModel.for_inference(model)  # Enable native 2x faster inference

prompt_tempate = """Aşağıda, görevini açıklayan bir talimat ve daha fazla bağlam sağlayan bir girdi verilmiştir. İsteği uygun bir şekilde tamamlayan bir yanıt yaz.

### Talimat:
{}

### Girdi:
{}

### Yanıt:
"""


def generate_output(instruction, user_input):
    input_ids = tokenizer(
        [
            prompt_tempate.format(instruction, user_input)
        ], return_tensors="pt").to("cuda")

    outputs = model.generate(**input_ids, max_length=max_seq_len, do_sample=True)

    # removes prompt, comment this out if you want to see it.
    outputs = [output[len(input_ids[i].ids):] for i, output in enumerate(outputs)]

    return tokenizer.decode(outputs[0], skip_special_tokens=True)


response = generate_output("Türkiye'nin en kalabalık şehri hangisidir?", "")
print(response)

高級用法

此模型也可以使用AutoModelForCausalLM進行加載，具體加載方式可參考相關文檔。

📚 詳細文檔

模型詳情

訓練參數

#TrainingArguments
PER_DEVICE_BATCH_SIZE: 2
GRADIENT_ACCUMULATION_STEPS: 4
WARMUP_RATIO: 0.03
NUM_EPOCHS: 2
LR: 0.000008
OPTIM: "adamw_8bit"
WEIGHT_DECAY: 0.01
LR_SCHEDULER_TYPE: "linear"
BETA: 0.1

#PEFT Arguments
RANK: 128
TARGET_MODULES:
  - "q_proj"
  - "k_proj"
  - "v_proj"
  - "o_proj"
  - "gate_proj"
  - "up_proj"
  - "down_proj"

LORA_ALPHA: 256
LORA_DROPOUT: 0
BIAS: "none"
GRADIENT_CHECKPOINT: 'unsloth'
USE_RSLORA: false

🔧 技術細節

VeriUS LLM是一個自迴歸語言模型，主要用於預測文本字符串中的下一個標記。該模型基於llama3-8B基礎模型，使用精心策劃的通用領域土耳其語指令數據集進行微調。訓練過程中採用了QLoRA和ORPO方法，以提高訓練效率和模型性能。

📄 許可證

本模型使用的許可證為llama3。

⚠️ 重要提示

• VeriUS LLM作為一個自迴歸語言模型，主要用於預測文本字符串中的下一個標記。雖然它常用於各種應用，但尚未經過廣泛的實際應用測試，其在不同場景下的有效性和可靠性仍有待驗證。
• 基礎模型主要在標準英語上進行訓練，儘管使用土耳其語數據集進行了微調，但在理解和生成俚語、非正式語言或其他語言時，其性能可能會受到限制，可能會導致錯誤或誤解。
• 用戶應注意，VeriUS LLM可能會產生不準確或誤導性的信息。輸出結果應被視為起點或建議，而非確定的答案。