Zion Alpha Instruction Tuned SLERP

🚀 Zion_Alpha_Instruction_Tuned_SLERP

Zion_Alpha_Instruction_Tuned_SLERP 是一款具有創新性的語言模型，它基於希伯來語進行訓練，在情感分析和自然語言推理等任務中表現出色，為希伯來語自然語言處理領域帶來了新的突破。

🚀 快速開始

本模型基於 Mistral 7B 架構，以下是使用該模型時的推薦設置：

推薦的提示設置（Debug - deterministic）

temperature: 1
top_p: 1
top_k: 1
typical_p: 1
min_p: 1
repetition_penalty: 1

推薦的指令模板（Mistral）

{%- for message in messages %}
    {%- if message['role'] == 'system' -%}
        {{- message['content'] -}}
    {%- else -%}
        {%- if message['role'] == 'user' -%}
            {{-'[INST] ' + message['content'].rstrip() + ' [/INST]'-}}
        {%- else -%}
            {{-'' + message['content'] + '</s>' -}}
        {%- endif -%}
    {%- endif -%}
{%- endfor -%}
{%- if add_generation_prompt -%}
    {{-''-}}
{%- endif -%}

✨ 主要特性

• 首創希伯來語模型：Zion_Alpha 是世界上第一個真正意義上的希伯來語模型，為希伯來語自然語言處理開闢了新的道路。
• 卓越的情感分析能力：在 2024 年 6 月 10 日，該模型在希伯來語大語言模型的情感分析任務中取得了世界最高分數 70.3，超越了規模五倍於它的 35B 模型。
• 強大的自然語言推理能力：之前的版本 Zion_Alpha 在 Hugging Face 上的希伯來語開放大語言模型的 SNLI 任務中創下了 84.05 的世界最高分數記錄。

📚 詳細文檔

模型詳情

Zion_Alpha 是世界上第一個真正的希伯來語模型，此版本針對特定任務進行了微調。微調過程採用了最先進的技術，並融入了開發者多年的經驗。

未來計劃

儘管當前的 SLERP 合併版本在 SNLI 任務中的得分有所降低，但在情感分析任務中取得了驚人的成績，這表明 7B 模型在希伯來語任務中仍有巨大的優化潛力。開發者表示這將是一段時間內最後一個希伯來語模型，後續將開展其他項目。

尋找贊助商

由於所有工作都在本地進行，開發者受限於當前的硬件條件。希望能獲得支持以購置 A6000 硬件，從而能夠更快地訓練更大規模的模型。

版本與量化

• 基礎模型：FP16
• 指令微調版本：FP16 | GGUF

模型架構

基於 Mistral 7B 架構，未對分詞器進行修改。

語言示例

• 英語到希伯來語示例
• 希伯來語到英語示例

視頻演示

• 未腳本化視頻：希伯來語故事寫作的即時零樣本演示
• Zion_Alpha 與 Mistral '希伯來語' 即時無腳本對比
• Zion_Alpha 與 Mistral '希伯來語' 即時無腳本長文本翻譯對比

歷史記錄

該模型在 Mistral (v0.1) 發佈約 2 個月後開始訓練。截至 2024 年 6 月 4 日，Zion_Alpha 在希伯來語開源模型的 SNLI 任務中取得了世界最高分數 84.05。

📄 許可證

本模型採用 Apache - 2.0 許可證。

📖 引用信息

@llm{Zion_Alpha_Instruction_Tuned_SLERP,
  author = {SicariusSicariiStuff},
  title = {Zion_Alpha_Instruction_Tuned_SLERP},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/SicariusSicariiStuff/Zion_Alpha_Instruction_Tuned_SLERP}
}

💰 支持

• 我的 Ko - fi 頁面 所有捐贈將用於研究資源和計算，每一份貢獻都很重要。
• 我的 Patreon 所有捐贈將用於研究資源和計算，每一份貢獻都很重要。