Verius LLM 8b V0.2

🚀 VeriUS LLM 8b v0.2

VeriUS LLM是一款基于llama3-8B的指令跟随大语言模型，支持土耳其语，为土耳其语相关的语言处理任务提供了强大的支持。

✨ 主要特性

• 基于llama3-8B基础模型进行微调，继承了强大的语言理解和生成能力。
• 支持土耳其语，适用于土耳其语相关的指令跟随任务。
• 使用精心策划的通用领域土耳其语指令数据集进行训练，更贴合实际应用场景。
• 采用QLoRA和ORPO进行微调，在保证性能的同时提高训练效率。

📦 安装指南

本模型使用Unsloth进行训练，并可利用其进行快速推理。如需安装Unsloth，请参考：https://github.com/unslothai/unsloth

💻 使用示例

基础用法

from unsloth import FastLanguageModel

max_seq_len = 1024
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="VeriUs/VeriUS-LLM-8b-v0.2",
    max_seq_length=max_seq_len,
    dtype=None
)
FastLanguageModel.for_inference(model)  # Enable native 2x faster inference

prompt_tempate = """Aşağıda, görevini açıklayan bir talimat ve daha fazla bağlam sağlayan bir girdi verilmiştir. İsteği uygun bir şekilde tamamlayan bir yanıt yaz.

### Talimat:
{}

### Girdi:
{}

### Yanıt:
"""


def generate_output(instruction, user_input):
    input_ids = tokenizer(
        [
            prompt_tempate.format(instruction, user_input)
        ], return_tensors="pt").to("cuda")

    outputs = model.generate(**input_ids, max_length=max_seq_len, do_sample=True)

    # removes prompt, comment this out if you want to see it.
    outputs = [output[len(input_ids[i].ids):] for i, output in enumerate(outputs)]

    return tokenizer.decode(outputs[0], skip_special_tokens=True)


response = generate_output("Türkiye'nin en kalabalık şehri hangisidir?", "")
print(response)

高级用法

此模型也可以使用AutoModelForCausalLM进行加载，具体加载方式可参考相关文档。

📚 详细文档

模型详情

训练参数

#TrainingArguments
PER_DEVICE_BATCH_SIZE: 2
GRADIENT_ACCUMULATION_STEPS: 4
WARMUP_RATIO: 0.03
NUM_EPOCHS: 2
LR: 0.000008
OPTIM: "adamw_8bit"
WEIGHT_DECAY: 0.01
LR_SCHEDULER_TYPE: "linear"
BETA: 0.1

#PEFT Arguments
RANK: 128
TARGET_MODULES:
  - "q_proj"
  - "k_proj"
  - "v_proj"
  - "o_proj"
  - "gate_proj"
  - "up_proj"
  - "down_proj"

LORA_ALPHA: 256
LORA_DROPOUT: 0
BIAS: "none"
GRADIENT_CHECKPOINT: 'unsloth'
USE_RSLORA: false

🔧 技术细节

VeriUS LLM是一个自回归语言模型，主要用于预测文本字符串中的下一个标记。该模型基于llama3-8B基础模型，使用精心策划的通用领域土耳其语指令数据集进行微调。训练过程中采用了QLoRA和ORPO方法，以提高训练效率和模型性能。

📄 许可证

本模型使用的许可证为llama3。

⚠️ 重要提示

• VeriUS LLM作为一个自回归语言模型，主要用于预测文本字符串中的下一个标记。虽然它常用于各种应用，但尚未经过广泛的实际应用测试，其在不同场景下的有效性和可靠性仍有待验证。
• 基础模型主要在标准英语上进行训练，尽管使用土耳其语数据集进行了微调，但在理解和生成俚语、非正式语言或其他语言时，其性能可能会受到限制，可能会导致错误或误解。
• 用户应注意，VeriUS LLM可能会产生不准确或误导性的信息。输出结果应被视为起点或建议，而非确定的答案。