Blabbertron-1.2オープンソース対話モデル - 多様なモデルの長所を融合し、効率的なコミュニケーション体験を満喫しましょう

ホーム

Blabbertron 1.2

bunnycoreによって開発

Qwen2.5-7B-Instructベースモデルを基盤とし、複数の7B規模モデルの強みを融合し、モデルストック法により統合したハイブリッドモデルです。

大規模言語モデル

Transformers

#マルチタスク命令ファインチューニング #コード強化 #低リソース最適化

ダウンロード数 39

リリース時間 : 3/13/2025

モデル概要

このモデルはmergekitツールを使用して複数の7Bパラメータ規模のQwen2.5バリエーションモデルを融合したもので、各モデルの強みを組み合わせて全体的な性能を向上させることを目的としています。

モデル特徴

マルチモデル強み融合

コード生成、ロールプレイ、命令追従など多様な能力モデルの特徴を統合

強化された命令理解

Qwen2.5-Instructベースモデルを基盤とし、優れた命令理解と実行能力を備えています

多様なアプリケーションサポート

プログラミング、対話、創作など様々なシナリオ向けの最適化モデルを融合

モデル能力

テキスト生成

コード生成と補完

マルチターン対話

命令理解と実行

クリエイティブライティング

使用事例

開発支援

コード生成と補完

開発者がコードスニペットを迅速に生成したり、既存コードを補完するのを支援

開発効率を向上させ、繰り返しのコーディング作業を削減

インテリジェント対話

パーソナライズドチャットボット

個性的な特徴を持つ対話システムを構築

より自然で個性的な対話体験を提供

コンテンツ創作

クリエイティブライティング支援

著者がストーリー構想やコンテンツ生成を行うのを支援

創作意欲を刺激し、執筆効率を向上

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージするもので、mergekit を使用して作成されています。複数のモデルを組み合わせることで、より高性能な言語モデルを構築します。

📦 モデル情報

プロパティ	詳細
ベースモデル	gz987/qwen2.5-7b-cabs-v0.3、bunnycore/Qwen-2.5-7b-s1k-lora_model、simplescaling/s1.1-7B、gz987/qwen2.5-7b-cabs-v0.3、bunnycore/Qwen-2.5-7b-rp-lora、marcuscedricridia/pre-cursa-o1-v1.2、Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview、Krystalan/DRT-7B、Qwen/Qwen2.5-7B-Instruct、open-r1/OlympicCoder-7B
ライブラリ名	transformers
タグ	mergekit、merge

🚀 クイックスタート

このモデルは、事前学習された複数の言語モデルをマージして作成されています。以下にマージの詳細を説明します。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、Model Stock マージ方法を使用して、Qwen/Qwen2.5-7B-Instruct をベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

設定

以下のYAML設定を使用して、このモデルが生成されました。

models:
  - model: Krystalan/DRT-7B
    parameters:
      weight: 0.3
  - model: simplescaling/s1.1-7B
    parameters:
      weight: 0.3
  - model: Krystalan/DRT-7B
    parameters:
      weight: 0.3
  - model: open-r1/OlympicCoder-7B
    parameters:
      weight: 0.3
  - model: marcuscedricridia/pre-cursa-o1-v1.2
    parameters:
      weight: 0.3
  - model: Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
  - model: gz987/qwen2.5-7b-cabs-v0.3+bunnycore/Qwen-2.5-7b-s1k-lora_model
  - model: gz987/qwen2.5-7b-cabs-v0.3+bunnycore/Qwen-2.5-7b-rp-lora
base_model: Qwen/Qwen2.5-7B-Instruct
merge_method: model_stock
parameters:
dtype: bfloat16
tokenizer_source: Qwen/Qwen2.5-7B-Instruct