混元-7B-指令-0124オープンソース大規模言語モデル - 無料でデプロイ可能、長文処理で優れた性能を発揮！

Home

Hunyuan 7B Instruct 0124

Developed by tencent

混元-7Bは騰訊が公開したオープンソースの大規模言語モデルで、256Kの長テキスト処理能力とグループ化クエリ注意力メカニズム(GQA)を持ち、中国語7Bの稠密モデルで優れた性能を発揮します。

大規模言語モデル

Transformers

EnglishOpen Source License:Other #256K長テキスト処理 #中国語7B最強 #GQA注意力メカニズム

Downloads 590

Release Time : 1/24/2025

Model Overview

混元-7Bモデルは騰訊が開発した大規模言語モデルで、中国語処理能力に特化しており、計算リソースと性能のバランスが良いです。

Model Features

256K長テキスト処理

長テキスト処理能力を256Kまで拡張し、長文書や複雑なコンテキストの処理に適しています。

グループ化クエリ注意力メカニズム

GQA(Grouped Query Attention)メカニズムを採用し、モデルの効率を向上させます。

高性能推論

vLLMとTensorRT - LLMの2種類の推論バックエンドを選択でき、推論速度を最適化します。

中国語最適化

中国語タスクに対して特別な最適化を行い、中国語のベンチマークテストで優れた性能を発揮します。

Model Capabilities

テキスト生成

質問応答システム

コード生成

数学的推論

知識質問応答

長テキスト理解

Use Cases

教育

スマートチューター

学生が様々な学科の問題を解くのを支援します。

数学的推論(GSM8K)テストで93.33%の正解率を達成しました。

研究

学術論文分析

長い学術論文の処理と分析を行います。

256Kのコンテキスト長をサポートします。

ビジネス

スマートカスタマーサービス

顧客の問い合わせと問題解決を処理します。

中国語の質問応答テストで優れた性能を発揮します。

🚀 混元-7Bモデル

混元が今回リリースした7Bモデルには、混元-7B事前学習モデル-0124 と混元-7B命令モデル-0124 が含まれています。これらのモデルは、より最適なデータ配分と学習方法を採用しており、性能が強力で、計算リソースと性能のバランスを良好に保っています。多くの大規模言語モデルの中でも際立っており、現在最強の中国語7B稠密モデルの1つです。

GITHUB

🚀 クイックスタート

Tencent-Hunyuan-Large の内容を参考に、すぐに始めることができます。学習と推論コードは、このGitHubリポジトリで提供されているバージョンを使用できます。

推論フレームワーク

今回のオープンソース版では、混元-7Bモデルに2つの推論バックエンドオプションを提供しています。人気の vLLMバックエンドとTensorRT-LLMバックエンドです。今回のリリースでは、まずvLLMソリューションをオープンソース化し、近い将来にTRT-LLMソリューションをリリースする予定です。

✨ 主な機能

技術的な優位性の紹介

モデル

長文処理能力を256Kまで拡張し、グループ化クエリアテンション機構（Grouped Query Attention, GQA）を採用しています。

推論フレームワーク

今回のオープンソースリリースでは、混元-7Bモデルに特化した2つの推論バックエンドオプションを用意しています。人気の vLLMバックエンドとTensorRT-LLMバックエンドです。今回のリリースではvLLMソリューションをまずオープンソース化し、後にTRT-LLMソリューションをリリースする予定です。

学習フレームワーク

混元-7Bオープンソースモデルは、Hugging Face形式と完全に互換性があり、研究者や開発者はhf-deepspeedフレームワークを使用してモデルを微調整できます。詳細は Tencent-Hunyuan-Large を参照してください。

📚 ドキュメント

ベンチマークテスト

注意：以下のベンチマークテストはTRT-LLMバックエンドで評価されています。

混元-7B事前学習モデル

評価指標	Qwen2.5-7B	Llama3-8B	OLMO2-7B	混元-7B-V2
MMLU	74.26	66.95	63.7	75.37
MMLU-Pro	46.17	34.04	31	47.54
MMLU-CF	61.01	55.21	52.94	59.62
MMLU-Redux	73.47	66.44	63.74	74.54
BBH	70.4	62.16	38.01	70.77
HellaSwag	75.82	78.24	61.97	80.77
WinoGrande	69.69	73.64	74.43	71.51
PIQA	79.33	80.52	80.63	81.45
SIQA	77.48	61.05	65.2	79.73
NaturalQuestions	31.77	35.43	36.9	33.52
DROP	68.2	60.13	60.8	68.63
ARC-C	91.64	77.59	74.92	91.97
TriviaQA	69.31	78.61	78	74.31
中国語簡単問答	30.37	19.4	7.35	30.51
簡単問答	4.98	7.68	4.51	3.73
CMMLU	81.39	50.25	38.79	82.19
C-Eval	81.11	50.4	38.53	82.12
C3	71.77	61.5	54	79.07
GSM8K	82.71	57.54	67.5	93.33
MATH	49.6	18.45	19	62.15
CMATH	84.33	52.83	44	88.5
HumanEval	57.93	35.98	15.24	59.15

混元-7B命令モデル

モデル	Qwen2.5-7B-Instruct	Llama-3-8B-Instruct	OLMo-2-1124-7B-DPO	混元-7B命令モデル
ARC-C	89.83	82.4	-	88.81
BBH	66.24	-	46.6	76.47
CEval	76.82	-	-	81.8
CMMLU	78.55	-	-	82.29
DROP_F1	80.63	-	60.5	82.96
GPQA	36.87	34.6	-	47.98
Gsm8k	80.14	80.6	85.1	90.14
HellaSwag	83.34	-	-	86.57
HumanEval	84.8	60.4	-	84.0
MATH	72.86	-	32.5	70.64
MMLU	72.36	68.5	61.3	79.18