DeepSeek-qwen-Bllossom-32Bオープンソースモデル - 韓語環境下での推論性能を効果的に向上させる

ホーム

Deepseek Qwen Bllossom 32B

UNIVA-Bllossomによって開発

DeepSeek-qwen-Bllossom-32BはDeepSeek-R1-Distill-Qwen-32Bモデルを基に構築され、韓国語環境での推論性能を向上させることを目的としています。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:MIT #韓英バイリンガル推論 #STEM分野最適化 #多言語混合強化

ダウンロード数 167

リリース時間 : 4/7/2025

モデル概要

このモデルは追加のトレーニングにより、元のベースモデルが韓国語推論時に示す性能低下の問題を克服し、内部思考プロセスを英語で行いながら、最終的にユーザーの入力言語に応じて応答を出力することで、韓国語環境での推論性能を大幅に向上させました。

モデル特徴

多言語推論能力

内部思考プロセスを英語で行い、最終的にユーザーの入力言語に応じて応答を出力することで、韓国語推論性能を著しく向上させています。

高品質なトレーニングデータ

トレーニングデータには韓英バイリンガルの推論データセットが含まれており、多分野にわたる内容をカバーすることで、より正確で信頼性の高い韓国語推論結果を提供します。

効率的な蒸留手法

大規模モデルの優れた推論能力をベースモデルに効率的に蒸留する手法を採用し、元のモデルの不足を効果的に補っています。

モデル能力

韓国語テキスト生成

英語テキスト生成

複雑な推論タスク

多分野知識質問応答

使用事例

教育

数学問題解答

分数計算、代数問題などの複雑な数学推論問題を解決します。

AIME24_koベンチマークテストで66.67点を達成し、元のモデルを大幅に上回りました。

研究

数学定理証明

素数が無限であることの証明など、様々な数学定理の証明方法を提供します。

ユークリッドの背理法、階乗法、オイラーのζ関数法など、多角的な証明方法を提供できます。

🚀 DeepSeek-qwen-bllossom-32B

DeepSeek-Bllossomシリーズは、既存のDeepSeek-R1-Distillシリーズモデルの言語混合や多言語性能低下の問題を解決するために追加学習されたモデルです。

DeepSeek-qwen-Bllossom-32Bは、DeepSeek-R1-Distill-Qwen-32Bモデルをベースに構築され、韓国語環境での推論性能向上を目指して開発されました。

このモデルは、UNIVAとBllossomチームが共同で制作した最初のモデルです。

Model	Base Model	Download
DeepSeek-qwen-Bllossom-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	公開予定
DeepSeek-qwen-Bllossom-7B	DeepSeek-R1-Distill-Qwen-7B	公開予定
DeepSeek-llama3.1-Bllossom-8B	DeepSeek-R1-Distill-Llama-8B	🤗 HuggingFace
DeepSeek-qwen-Bllossom-14B	DeepSeek-R1-Distill-Qwen-14B	公開予定
DeepSeek-qwen-Bllossom-32B	DeepSeek-R1-Distill-Qwen-32B	🤗 HuggingFace
DeepSeek-llama3.3-Bllossom-70B	DeepSeek-R1-Distill-Llama-70B	🤗 HuggingFace

🚀 クイックスタート

DeepSeek-qwen-Bllossom-32Bは、DeepSeek-R1-Distill-Qwen-32Bモデルをベースに構築され、既存のベースモデルが英語と中国語中心のデータで学習された限界を克服するために開発されました。特に、既存のDeepSeek-R1-Distill-Qwen-32Bは韓国語で推論する際にモデル性能が大きく低下する問題がありましたが、DeepSeek-Bllossomはこの問題を解決するために、内部の思考過程は英語で行い、最終的にユーザーに提供される応答は入力言語に応じて出力されるように追加学習されています。これにより、韓国語環境での推論性能が大幅に改善されています。

学習には韓国語と英語の推論データが使用され、既存のDeepSeek-R1モデル学習で主に使用されたSTEM分野のデータ以外にも、様々な分野のデータが含まれています。データセットの設計とモデル学習の過程で、DeepSeek-qwen-Bllossom-32Bは韓国語使用環境でより正確で信頼性の高い推論結果を提供することを主な目標として開発されています。

✨ 主な機能

DeepSeek-qwen-Bllossom-32Bは、DeepSeek-R1-Distill-Qwen-32Bモデルをベースに構築され、以下のような機能を備えています。

韓国語環境での推論性能向上
多言語性能の改善
複合的な推論問題に対する正確な応答生成

📦 インストール

本READMEにはインストール手順に関する記載がありません。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "UNIVA-Bllossom/DeepSeek-llama3.1-Bllossom-8B",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-qwen-Bllossom-32B")

system='''
You are a highly capable assistant. For every user question, follow these instructions exactly:
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.
    2. After the closing </think> tag, provide your final answer.
    3. Do not include any additional text or commentary outside of this format.
    4. Your output should strictly follow this structure:

<think>
[Your detailed step-by-step reasoning in English]
</think>
[Your final answer]
'''

text="철수, 영희, 민수가 3회의 게임에서 점수를 받았습니다. 영희의 점수는 민수의 점수의 두 배이며, 민수의 점수는 철수의 4배입니다. 철수가 10점을 받았다면 이 3명의 평균 점수를 계산하세요."
chat = [
    {"role": "system", "content": system},
    {"role": "user", "content": text}
]

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True
)

if "token_type_ids" in model_inputs:
    del model_inputs["token_type_ids"]

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192,
)

📚 ドキュメント

モデル応答比較

入力 (Prompt)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice, Bob, Charlie가 3회のゲームで点数を獲得しました。 Aliceの点数はBobの点数の2倍で、Bobの点数はCharlieの4倍です。 Charlieが10点を獲得した場合、この3人の平均点数を計算してください。	Charlieの点数は10点です。 Bobの点数はCharlieの4倍なので、Bobの点数は $$ 4 \times 10 = 40 $$ 点です。 Aliceの点数はBobの点数の2倍なので、Aliceの点数は $$ 2 \times 40 = 80 $$ 点です。 3人の合計点数は $$ 10 + 40 + 80 = 130 $$ 点です。平均点数は $$ \frac{130}{3} \approx 43.33$点です。 $$ \boxed{43.33} $$ Charlieの点数は10点です。	Charlieの点数は10点と与えられています。Bobの点数はCharlieの点数の4倍で、これは次のように計算されます: $$ 4 \times 10 = 40 $$ Aliceの点数はBobの点数の2倍で、これは次のとおりです: $$ 2 \times 40 = 80 $$ 3人の合計点数は次のとおりです: $$ 10 + 40 + 80 = 130 $$ この3人の平均点数は合計点数を人数で割って計算されます: $$ \frac{130}{3} $$ したがって、この3人の平均点数は $$ \boxed{\dfrac{130}{3}} $$ です。
素数が無限であることを3つの方法で証明してください。	以下は素数の無限性を3つの方法で証明する詳細な手順です： ### 方法1：ユークリッドの背理法 1. 仮定：素数は有限であり、すべての素数が $ p_1, p_2, p_3, \ldots, p_n $ であると仮定します。 2. 数の構成：新しい数 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $ を構成します。 3. Nの性質の分析： - Nが素数である場合、Nは元の仮定の素数リストに含まれていないため、仮定に矛盾します。 - Nが合成数である場合、ある素数 $ p $ がNを割り切ります。しかし、Nを任意の $ p_i $ で割ると1余るため、$ p $ は元のリストに含まれていません。同様に矛盾します。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法2：フェルマー数の性質 1. 定義：フェルマー数は $ F_k = 2^{2^k} + 1 $ の形をしており、$ k $ は非負整数です。 2. 仮定：素数は有限であり、すべての素数が $ p_1, p_2, \ldots, p_n $ であると仮定します。 3. フェルマー数の構成：各 $ k $ に対して $ F_k $ を構成します。$ F_k $ が素数であれば、元のリストに含まれていません。合成数であれば、その素因数は元のリストに含まれていません。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法3：オイラー関数と素数の無限性 1. オイラー関数：オイラー関数 $ \phi(n) $ は、$ n $ より小さく $ n $ と互いに素である数の個数を表します。 2. 仮定：素数は有限であり、$ p_1, p_2, \ldots, p_n $ とします。 3. 数の構成：$ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ の形をした数を考え、そのオイラー関数は $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $ です。 4. 分析：素数が有限である場合、$ \prod_{p \text{素数}} \left(1 - \frac{1}{p}\right) $ は収束しますが、実際にはこの積は発散するため、矛盾が生じます。 5. 結論：したがって、素数は無限でなければなりません。この3つの方法はそれぞれ異なる角度から素数の無限性を証明し、数論における素数の無限性の深さを示しています。	素数が無限であることを3つの方法で証明するために、以下のようなアプローチを使用することができます: 1. ユークリッドの背理法: - 仮定: 素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成: $ P = p_1 \times p_2 \times \dots \times p_n + 1 $ と定義します。 - 結論: $ P $ が素数であれば、それはリストにない新しい素数です。$ P $ が合成数であれば、それはリストにない素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 2. 階乗アプローチ: - 仮定: 素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成: $ n! + 1 $ を考えましょう。ここで、$ n $ は最大の素数です。 - 結論: $ n! $ はすべての $ p_i $ で割り切れるため、$ n! + 1 $ は $ p_i $ のどれも含みません。$ n! + 1 $ が素数であれば、それは $ n $ より大きい新しい素数です。$ n! + 1 $ が合成数であれば、それは $ n $ より大きい素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 3. オイラーのゼータ関数の証明: - 概念: オイラーは、ゼータ関数 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ が素数に関する積で表されることを示しました: $ \zeta(s) = \prod_{p \text{ 素数}} \frac{1}{1 - \frac{1}{p^s}} $。 - 結論: 素数が有限であれば、積は有限でなければなりません。しかし、$ s $ が1より大きい値に近づくとき、$ \zeta(s) $ は無限大に発散します。これは積が発散しなければならないことを要求し、したがって素数は無限でなければなりません。各方法は素数が無限であることを確認し、異なる数学的原理に基づいています。ユークリッドの証明は背理法を使用し、階乗アプローチは単純な数論を使用し、オイラーの証明は解析的数論の手法を使用しています。3つの方法はすべて素数の無限性に対する理解を強化します。

ベンチマーク

dtypeをfloat16で推論を行いました。
max_tokens: 32786
temperature: 0.7
評価方法: 各ベンチマークを3回繰り返し実行した後、平均点数を算出しました。
_enベンチマーク: 元のベンチマーク質問をそのまま使用しました。
_koベンチマーク: 元のベンチマーク質問を韓国語に高品質に翻訳して使用しました。

Model	AIME24_ko	AIME24_en	MATH500_ko	MATH500_en
DeepSeek-R1-Distill-Llama-8B	25.56	46.67	63.40	88.87
DeepSeek-llama3.1-Bllossom-8B	36.67	40.00	78.07	87.80
DeepSeek-R1-Distill-Qwen-32B	48.89	75.56	86.87	93.47
DeepSeek-qwen-Bllossom-32B	66.67	67.78	87.67	93.73
DeepSeek-R1-Distill-Llama-70B	58.89	70.00	88.53	93.73
DeepSeek-llama3.3-Bllossom-70B	62.22	65.56	88.40	93.33

🔧 技術詳細

DeepSeek-qwen-Bllossom-32Bは、独自に制作した様々な推論データを活用して事後学習（post-training）を行っています。この過程では、大規模モデルが持つ優れた推論能力と韓国語処理能力をDeepSeek-R1-Distill-Qwen-32Bモデルに効果的に蒸留（distillation）する方法を適用しています。これにより、既存モデルの性能を補完し、複合的な推論問題に対してより正確で信頼性の高い応答を生成できるように最適化されています。

📄 ライセンス

このコードリポジトリとモデルの重みは、MITライセンスの下でライセンスされています。 DeepSeek-Bllossomシリーズは商用利用をサポートしており、任意の変更や派生作品の作成を許可しています。これには、他の大規模言語モデル（LLM）の学習のための蒸留などが含まれますが、これらに限定されません。ただし、以下の点に注意してください。

DeepSeek-R1-Distill-Qwen-32B はQwen2.5-32Bを派生元としており、元のライセンスはApache 2.0ライセンスです。
DeepSeek-qwen-Bllossom-32B はDeepSeek-R1-Distill-Qwen-32Bを派生元としており、元のライセンスはApache 2.0ライセンスです。