Li 14b V0.4 Slerp0.1

🚀 li-14b-v0.4-slerp0.1

このモデルは、mergekitを使用して事前学習済み言語モデルをマージしたもので、複数のタスクで評価されています。

🚀 クイックスタート

このモデルは、事前学習済み言語モデルをマージして作成されています。以下のセクションでは、マージの詳細と評価結果について説明します。

✨ 主な機能

• 複数の事前学習済み言語モデルをマージして新しいモデルを作成。
• テキスト生成タスクでの評価結果を提供。

🔧 技術詳細

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• wanlige/li-14b-v0.4
• sthenno-com/miscii-14b-0218

設定

このモデルを作成するために使用されたYAML設定は以下の通りです。

# merge_method:        arcee_fusion
# base_model:          wanlige/li-14b-v0.4
# tokenizer_source:    base
# parameters:
#   int8_mask:         true
#   normalize:         true
#   rescale:           false
# dtype:               bfloat16
# out_dtype:           bfloat16
# models:
#   - model:           sthenno-com/miscii-14b-0218

base_model:          wanlige/li-14b-v0.4
merge_method:        slerp
tokenizer_source:    base
dtype:               float32
out_dtype:           bfloat16
parameters:
  t:
    - filter:        self_attn
      value:         [ 0.00, 0.50, 0.30, 0.70, 1.00 ]
    - filter:        mlp
      value:         [ 1.00, 0.50, 0.70, 0.30, 0.00 ]
    - value:         [ 0.00, 0.00, 0.00, 0.00, 0.04, 0.08, 0.12, 0.16, 0.24, 0.32, 0.40, 0.48, 0.56, 0.64, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.72, 0.64, 0.56, 0.48 ]
slices:
  - sources:
      - model:       wanlige/li-14b-v0.4
        layer_range: [ 0, 48 ]
      - model:       sthenno-com/miscii-14b-0218
        layer_range: [ 0, 48 ]

📚 ドキュメント

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

会社について

世紀開元智印互联科技集団股份有限公司は、2001年3月9日に設立され、本部は山東省済南市にあります。20年以上の発展を経て、世紀開元は技術革新を核として、インターネットと伝統的な印刷業界を深く融合させ、伝統的な印刷業界とは異なる新しいモデルやビジネス形態を模索してきました。

世紀開元は、カスタマイズされた画像、商業印刷、包装印刷製品の研究開発、デザイン、生産、販売を主に行っています。インターネット、デジタル化、自動化、智能化などの新しいモデルや技術を包装印刷業界と組み合わせることで、少量の個別注文を比較的標準化、大規模生産することができ、個人消費者や企業ユーザーの少量カスタマイズニーズを満たし、ワンストップのシナリオベースのカスタム印刷サービスを提供し、全プロセスのスマート製造を実現しています。業界をリードする「産業インターネット」印刷企業として成長しています。

将来的には、世紀開元は引き続き技術開発への投資を増やし、インターネット、ビッグデータ、人工知能などの次世代情報技術を深く融合させ、専門技術人材の育成に注力し、デジタル化、智能化手段を積極的に導入して業務プロセスを最適化し、ユーザー体験を向上させます。多面的な企業発展を通じて、業界の協同発展を促進し、印刷業界の新旧エネルギー転換を推進し、印刷業界の新しい発展方向を開拓します。

詳細については、公式ウェブサイトをご覧ください：世紀開元