混元7B-Pretrainオープンソース大規模言語モデル - 中英語バイリンガル交流、強力な性能で無料でデプロイ可能

ホーム

Hunyuan 7B Pretrain

tencentによって開発

混元7BはTencentがオープンソース化した中英バイリンガル大規模言語モデルで、より優れたデータ比率とトレーニング方法を採用し、強力な性能を発揮し、現在最も優れた中国語7B Denseモデルの一つです。

大規模言語モデル

Transformers

英語オープンソースライセンス:その他 #256K長文処理 #中国語7B最強性能 #GQA注意メカニズム

ダウンロード数 56

リリース時間 : 1/24/2025

モデル概要

混元7BモデルはTencentがオープンソース化した7Bパラメータ規模の大規模言語モデルで、中英バイリンガルをサポートし、強力なテキスト生成と理解能力を備えています。

モデル特徴

長文処理能力の拡張

最大256Kのコンテキスト長をサポートし、長文書や複雑なタスクの処理に適しています。

効率的な推論フレームワーク

vLLMとTensorRT-LLMの2つの推論バックエンドを提供し、推論性能を最適化します。

中国語性能の優位性

複数の中国語ベンチマークテストで優れたパフォーマンスを発揮し、現在最も優れた中国語7Bモデルの一つです。

モデル能力

テキスト生成

テキスト理解

質問応答システム

コード生成

数学的推論

使用事例

自然言語処理

インテリジェントQA

知識QAシステムの構築に使用され、ユーザーの様々な質問に答えます。

MMLUなどのベンチマークテストで優れた成績を収めています

コンテンツ作成

記事、レポートなどの長文コンテンツ作成を支援します。

256K長文処理をサポート

教育

数学問題解決

学生の数学問題解答を支援し、解答の考え方を提供します。

GSM8KとMATHベンチマークテストで優れた成績を収めています

🚀 腾讯混元7Bモデル

腾讯が今回リリースした7BモデルであるHunyuan-7B-PretrainとHunyuan-7B-Instructは、より良いデータ割り当てとトレーニングを行っており、強力な性能を持ち、計算と性能のバランスを良好に保っています。多くの大規模言語モデルの中で際立ち、現在最も強力な中国語7B Denseモデルの一つです。

GITHUB

✨ 主な機能

技術的な利点の紹介

モデル

長文処理能力を256Kに拡張し、Grouped Query Attention (GQA) を利用しています。

推論フレームワーク

このオープンソースリリースでは、Hunyuan-7Bモデルに特化した2つの推論バックエンドオプションを提供しています。人気のあるvLLM-backendとTensorRT-LLM Backendです。今回のリリースでは、まずvLLMソリューションをオープンソース化し、近い将来にTRT-LLMソリューションをリリースする予定です。

トレーニングフレームワーク

Hunyuan-7Bのオープンソースモデルは、Hugging Faceフォーマットと完全に互換性があり、研究者や開発者がhf-deepspeedフレームワークを使用してモデルの微調整を行うことができます。詳細はTencent-Hunyuan-Largeを参照してください。

📚 ドキュメント

ベンチマーク

注意: 以下のベンチマークはTRT-LLM-backendによって評価されています。

Hunyuan-7B-Pretrain

	Qwen2.5-7B	Llama3-8B	OLMO2-7B	HunYuan-7B-V2
MMLU	74.26	66.95	63.7	75.37
MMLU-Pro	46.17	34.04	31	47.54
MMLU-CF	61.01	55.21	52.94	59.62
MMLU-Redux	73.47	66.44	63.74	74.54
BBH	70.4	62.16	38.01	70.77
HellaSwag	75.82	78.24	61.97	80.77
WinoGrande	69.69	73.64	74.43	71.51
PIQA	79.33	80.52	80.63	81.45
SIQA	77.48	61.05	65.2	79.73
NaturalQuestions	31.77	35.43	36.9	33.52
DROP	68.2	60.13	60.8	68.63
ARC-C	91.64	77.59	74.92	91.97
TriviaQA	69.31	78.61	78	74.31
Chinese-SimpleQA	30.37	19.4	7.35	30.51
SimpleQA	4.98	7.68	4.51	3.73
CMMLU	81.39	50.25	38.79	82.19
C-Eval	81.11	50.4	38.53	82.12
C3	71.77	61.5	54	79.07
GSM8K	82.71	57.54	60.8	93.33
MATH	49.6	18.45	19	62.15
CMATH	84.33	52.83	44	88.5
HumanEval	57.93	35.98	15.24	59.15

Hunyuan-7B-Instruct

Model	Qwen2.5-7B-Instruct	Llama-3-8B-Instruct	OLMo-2-1124-7B-DPO	Hunyuan-7B-Instruct
ARC-C	89.83	82.4	-	88.81
BBH	66.24	-	46.6	76.47
CEval	76.82	-	-	81.8
CMMLU	78.55	-	-	82.29
DROP_F1	80.63	-	60.5	82.96
GPQA	36.87	34.6	-	47.98
Gsm8k	80.14	80.6	85.1	90.14
HellaSwag	83.34	-	-	86.57
HumanEval	84.8	60.4	-	84.0
MATH	72.86	-	32.5	70.64
MMLU	72.36	68.5	61.3	79.18

🚀 クイックスタート

Tencent-Hunyuan-Largeの内容を参照することで、すぐに始めることができます。トレーニングと推論コードは、このGitHubリポジトリで提供されているバージョンを使用することができます。

推論フレームワーク

このオープンソースリリースでは、Hunyuan-7Bモデルに特化した2つの推論バックエンドオプションを提供しています。人気のあるvLLM-backendとTensorRT-LLM Backendです。今回のリリースでは、まずvLLMソリューションをオープンソース化し、近い将来にTRT-LLMソリューションをリリースする予定です。