Li 14b V0.4 Slerp0.1

🚀 語言模型融合項目

本項目是基於預訓練語言模型的融合項目，藉助先進的融合技術，將多個優秀的語言模型進行整合，以提升模型在多種自然語言處理任務中的性能和表現。

🚀 快速開始

本項目是使用 mergekit 對預訓練語言模型進行融合的成果。

✨ 主要特性

• 模型融合：使用先進的 SLERP 融合方法，將多個預訓練語言模型融合為一個更強大的模型。
• 多任務評估：在多個文本生成任務的數據集上進行評估，如 IFEval、BBH、MATH 等，展示了模型在不同場景下的性能。

📚 詳細文檔

融合詳情

融合方法

本模型採用 SLERP 融合方法進行合併。

參與融合的模型

以下模型參與了融合：

• wanlige/li-14b-v0.4
• sthenno-com/miscii-14b-0218

配置

以下是用於生成此模型的 YAML 配置：

# merge_method:        arcee_fusion
# base_model:          wanlige/li-14b-v0.4
# tokenizer_source:    base
# parameters:
#   int8_mask:         true
#   normalize:         true
#   rescale:           false
# dtype:               bfloat16
# out_dtype:           bfloat16
# models:
#   - model:           sthenno-com/miscii-14b-0218

base_model:          wanlige/li-14b-v0.4
merge_method:        slerp
tokenizer_source:    base
dtype:               float32
out_dtype:           bfloat16
parameters:
  t:
    - filter:        self_attn
      value:         [ 0.00, 0.50, 0.30, 0.70, 1.00 ]
    - filter:        mlp
      value:         [ 1.00, 0.50, 0.70, 0.30, 0.00 ]
    - value:         [ 0.00, 0.00, 0.00, 0.00, 0.04, 0.08, 0.12, 0.16, 0.24, 0.32, 0.40, 0.48, 0.56, 0.64, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.64, 0.56, 0.48 ]
slices:
  - sources:
      - model:       wanlige/li-14b-v0.4
        layer_range: [ 0, 48 ]
      - model:       sthenno-com/miscii-14b-0218
        layer_range: [ 0, 48 ]

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

關於世紀開元

世紀開元智印互聯科技集團股份有限公司創立於 2001 年 3 月 9 日，總部位於山東省濟南市。歷經 20 餘年發展，世紀開元以技術創新為核心，實現互聯網與傳統印刷行業的深度融合，探索出了區別於傳統印刷行業的新模式、新業態。

世紀開元主要從事定製化影像、商務印刷及包裝印刷類產品的研發、設計、生產及銷售，通過將互聯網、數字化、自動化和智能化等新模式和新技術與包裝印刷行業相結合的方式，使小批量個性化定製產品訂單得以相對標準化、規模化生產，旨在滿足個人消費者及各類企業用戶的小批量定製化需求，為用戶提供一站式場景化定製印刷服務，實現全流程智能製造，已成長為業內領先的“工業互聯網”印刷企業。

在未來發展中，世紀開元將一如既往地加大技術研發投入，深度融合互聯網、大數據、人工智能等新一代信息技術，注重專項技術人才的培養，積極引進數字化、智能化手段優化創新業務流程和實現用戶體驗的提升，並通過多維度的企業發展，帶動行業協同發展，促進印刷行業新舊動能轉換，開拓印刷行業發展新方向。

瞭解更多，請訪問我們的官網：世紀開元