Li 14b V0.4

🚀 li-14b-v0.4

li-14b-v0.4は、複数の事前学習言語モデルをmergekitを用いてマージしたモデルです。テキスト生成タスクに特化しており、Open LLM Leaderboardで高い評価を獲得しています。

🚀 クイックスタート

このモデルは、テキスト生成タスクに使用できます。詳細な使用方法については、Open LLM Leaderboardを参照してください。

✨ 主な機能

• 複数の事前学習言語モデルをマージしているため、様々なタスクに対応できます。
• Open LLM Leaderboardで高い評価を獲得しており、性能が検証されています。

📚 ドキュメント

モデル情報

マージ詳細

マージ方法

このモデルは、Model Stockマージ方法を使用して、Qwen/Qwen2.5-14B-Instructをベースにマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• Qwen/Qwen2.5-Coder-14B
• deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
• huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
• tanliboy/lambda-qwen2.5-14b-dpo-test
• SicariusSicariiStuff/Impish_QWEN_14B-1M
• Qwen/Qwen2.5-14B

設定

以下のYAML設定を使用してこのモデルが生成されました。

models:
  - model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B #logic
  - model: huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 #uncensored
  - model: Qwen/Qwen2.5-14B #text generation
  - model: Qwen/Qwen2.5-14B-Instruct #chat assistant
  - model: Qwen/Qwen2.5-Coder-14B #coding
  - model: SicariusSicariiStuff/Impish_QWEN_14B-1M #math
  - model: tanliboy/lambda-qwen2.5-14b-dpo-test #dpo
merge_method: model_stock
base_model: Qwen/Qwen2.5-14B-Instruct
normalize: true
int8_mask: true
dtype: bfloat16

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

会社情報

2001年3月9日に設立され、山東省済南市に本社を置く世紀開元智印互联科技集団股份有限公司は、この20年間、技術革新に注力することで成長してきました。同社は、インターネットと伝統的な印刷業界を深く融合させ、従来の印刷業務とは異なる新しいモデルとビジネス形式を開拓しました。

世紀開元は、カスタマイズされた画像、商業印刷、および包装製品の研究、設計、生産、および販売を専門としています。インターネット、デジタル化、自動化、およびインテリジェント技術を印刷業界と組み合わせることで、同社は少量の個別注文に対して比較的標準化された大規模生産を可能にしています。このアプローチは、個人消費者やさまざまな企業ユーザーの少量カスタマイズのニーズを満たし、ユーザーにワンストップのシナリオベースのカスタム印刷サービスを提供し、全工程のインテリジェント製造を実現することを目的としています。その結果、世紀開元は業界をリードする「産業インターネット」印刷企業となっています。

将来的には、世紀開元は引き続き技術開発への投資を増やし、インターネット、ビッグデータ、人工知能などの次世代情報技術を深く融合させ、専門的な技術人材の育成に注力します。同社は、デジタルおよびインテリジェント手段を積極的に採用して、革新的なビジネスプロセスを最適化し、ユーザー体験を向上させます。多面的な発展を通じて、業界の協力を促進し、印刷業界の新旧のエネルギー転換を推進し、印刷業界の成長の新しい方向性を模索することを目指しています。

詳細を知るには、公式ウェブサイトを訪問してください：世紀開元

注意事項

⚠️ 重要な注意事項

このモデルは現在、Open LLM Leaderboardで150億パラメータまでのモデルの中で1位、全モデルの中で50位にランクインしています。