Verius LLM 8b V0.2

🚀 VeriUS LLM 8b v0.2

VeriUS LLMは、llama3-8Bに基づく、トルコ語をサポートする命令追従型の大規模言語モデルです。

📄 ライセンス

llama3

🚀 クイックスタート

このモデルはUnslothを使用して学習されており、高速推論に利用できます。Unslothのインストールについては、こちらを参照してください。

このモデルはAutoModelForCausalLMでもロードできます。

📚 ドキュメント

🔍 モデル詳細

TrainingArguments

• PER_DEVICE_BATCH_SIZE: 2
• GRADIENT_ACCUMULATION_STEPS: 4
• WARMUP_RATIO: 0.03
• NUM_EPOCHS: 2
• LR: 0.000008
• OPTIM: "adamw_8bit"
• WEIGHT_DECAY: 0.01
• LR_SCHEDULER_TYPE: "linear"
• BETA: 0.1

PEFT Arguments

• RANK: 128
• TARGET_MODULES:
  • "q_proj"
  • "k_proj"
  • "v_proj"
  • "o_proj"
  • "gate_proj"
  • "up_proj"
  • "down_proj"
• LORA_ALPHA: 256
• LORA_DROPOUT: 0
• BIAS: "none"
• GRADIENT_CHECKPOINT: 'unsloth'
• USE_RSLORA: false

💻 使用例

基本的な使用法

from unsloth import FastLanguageModel

max_seq_len = 1024
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="VeriUs/VeriUS-LLM-8b-v0.2",
    max_seq_length=max_seq_len,
    dtype=None
)
FastLanguageModel.for_inference(model)  # Enable native 2x faster inference

prompt_tempate = """Aşağıda, görevini açıklayan bir talimat ve daha fazla bağlam sağlayan bir girdi verilmiştir. İsteği uygun bir şekilde tamamlayan bir yanıt yaz.

### Talimat:
{}

### Girdi:
{}

### Yanıt:
"""


def generate_output(instruction, user_input):
    input_ids = tokenizer(
        [
            prompt_tempate.format(instruction, user_input)
        ], return_tensors="pt").to("cuda")

    outputs = model.generate(**input_ids, max_length=max_seq_len, do_sample=True)

    # removes prompt, comment this out if you want to see it.
    outputs = [output[len(input_ids[i].ids):] for i, output in enumerate(outputs)]

    return tokenizer.decode(outputs[0], skip_special_tokens=True)


response = generate_output("Türkiye'nin en kalabalık şehri hangisidir?", "")
print(response)

🔧 技術詳細

バイアス、リスク、制限事項

• 制限事項と既知のバイアス：VeriUS LLMは自己回帰型言語モデルで、主にテキスト文字列の次のトークンを予測するように設計されています。様々なアプリケーションで使用されることが多いですが、実世界での広範なアプリケーションテストを受けていません。様々なシナリオでの有効性と信頼性はほとんど検証されていません。
• 言語理解と生成：ベースモデルは主に標準英語で学習されています。トルコ語データセットでファインチューニングされていますが、スラング、非公式言語、または他の言語の理解と生成におけるパフォーマンスは制限されており、潜在的なエラーや誤解釈を引き起こす可能性があります。
• 誤情報の生成：ユーザーは、VeriUS LLMが不正確または誤解を招く情報を生成する可能性があることに注意する必要があります。出力は出発点または提案として考慮すべきであり、決定的な答えとしてではありません。