Yism 34B 0rn

🚀 YiSM-34B-0rn

YiSM-34B-0rn 是一個經過自我合併的模型，它既能夠遵循大多數指令，又能保留其基礎模型的特性。

✨ 主要特性

• 基礎模型融合：基於 Yi-1.5-34B-Chat 和 Yi-1.5-34B 進行合併。
• 多場景適用：提供了不同類型的模型，包括審查版、中立版和無審查版，以滿足不同用戶群體和使用場景的需求。
• 量化版本豐富：提供了多種量化版本，如 GGUF、8bpw、6.5bpw 等，方便在不同硬件環境下使用。

📚 詳細文檔

成分（基礎模型）

• Yi-1.5-34B-Chat
• Yi-1.5-34B

設置

使用最大序列長度為 8K，α 值為 2.65。以下是 SillyTavern 的預設配置：

{
    "temp": 0.1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0,
    "rep_pen": 1.08,
    "rep_pen_range": 0,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0.01,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 5,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 2048,
    "max_length": 8192
}

使用條款和條件

以下表格概述了 YiSM-34B-0rn 模型的主要特點和預期用途：

請記住，所有 YiSM-34B-0rn 模型均遵循 Apache-2.0 許可證，在使用其內容之前，請熟悉相關條款和條件。

量化版本

• GGUF
• 8bpw
• 6.5bpw
• 4.65bpw
• 4bpw
• 3.2bpw -> 適合 16GB VRAM，但不推薦。較低量化版本的性能會顯著下降。
• 測量數據 --> ExLlamav2 測量數據

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

截至 2024 年 6 月 10 日，在 34B 規模範圍內，排除“私有或已刪除”的模型，該模型排名第 5；若包含所有模型，則排名第 8。

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

📄 許可證

本項目採用 Apache-2.0 許可證。