DeepSeek-llama3.3-Bllossom-70Bオープンソースモデル - 韓語環境における推論性能を強化し、無料で利用可能

ホーム

Deepseek Llama3.3 Bllossom 70B

UNIVA-Bllossomによって開発

DeepSeek-llama3.3-Bllossom-70BはDeepSeek-R1-distill-Llama-70Bモデルを基に構築され、韓国語環境での推論性能を向上させることを目的としています。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:MIT #韓国語推論強化 #多言語混合推論 #思考連鎖蒸留

ダウンロード数 1,181

リリース時間 : 2/12/2025

モデル概要

このモデルは追加トレーニングにより、元のベースモデルが主に英語と中国語データに依存していた制限を克服し、特に韓国語推論能力を最適化しました。モデルの内部思考プロセスは英語で行われ、入力言語に応じて応答を出力します。

モデル特徴

多言語推論最適化

特に韓国語推論性能を最適化しつつ、英語能力を維持

思考連鎖推論

英語で内部思考プロセスを行い、入力言語に応じて応答を出力

多様な分野データ

STEM分野データに加え、多様な分野のトレーニングデータを含む

モデル能力

韓国語テキスト生成

英語テキスト生成

複雑な推論

多言語処理

使用事例

教育

数学問題解答

複雑な数学推論問題を解決

数学問題を正確に計算し説明できる

研究

理論証明

数学定理の複数の証明方法を提供

異なる角度から証明プロセスを示すことができる

🚀 DeepSeek-llama3.3-Bllossom

DeepSeek-Bllossomシリーズは、既存のDeepSeek-R1-Distillシリーズモデルの言語混合や多言語性能低下の問題を解決するために追加学習されたモデルです。

DeepSeek-llama3.3-Bllossom-70Bは、DeepSeek-R1-distill-Llama-70Bモデルをベースに構築され、韓国語環境での推論性能向上を目的として開発されました。

このモデルは、UNIVAとBllossomチームが共同で制作した最初のモデルです。

モデル	ベースモデル	ダウンロード
DeepSeek-qwen-Bllossom-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	公開予定
DeepSeek-qwen-Bllossom-7B	DeepSeek-R1-Distill-Qwen-7B	公開予定
DeepSeek-llama3.1-Bllossom-8B	DeepSeek-R1-Distill-Llama-8B	🤗 HuggingFace
DeepSeek-qwen-Bllossom-14B	DeepSeek-R1-Distill-Qwen-14B	公開予定
DeepSeek-qwen-Bllossom-32B	DeepSeek-R1-Distill-Qwen-32B	公開予定
DeepSeek-llama3.3-Bllossom-70B	DeepSeek-R1-Distill-Llama-70B	🤗 HuggingFace

🚀 クイックスタート

モデルの概要

DeepSeek-llama3.3-Bllossom-70Bは、DeepSeek-R1-distill-Llama-70Bモデルをベースに構築されています。既存のベースモデルは英語と中国語を中心としたデータで学習されていたため、韓国語での推論時にモデル性能が大きく低下するという問題がありました。DeepSeek-Bllossomはこの問題を解決するために、内部思考プロセスは英語で行い、最終的にユーザーに提供される応答は入力言語に応じて出力されるように追加学習されています。これにより、韓国語環境での推論性能が大幅に改善されています。

学習には韓国語と英語の推論データが使用され、既存のDeepSeek-R1モデル学習で主に使用されていたSTEM分野のデータ以外にも、様々な分野のデータが含まれています。データセットの設計とモデル学習の過程で、DeepSeek-llama3.3-Bllossomは韓国語使用環境において、より正確で信頼性の高い推論結果を提供することを主な目標として開発されています。

DeepSeek-Bllossomシリーズのもう少し小さい8Bモデルはこちらで見つけることができます。DeepSeek-R1-distill-Llama-Bllossom-8B

✨ 主な機能

追加学習

DeepSeek-llama3.3-Bllossomは、独自に制作した様々な推論データを活用して追加学習を行っています。この過程では、大規模モデルが持つ優れた推論能力と韓国語処理能力を、DeepSeek-R1-distill-Llama-70Bモデルに効果的に蒸留する方法が適用されています。これにより、既存モデルの性能を補完し、複合的な推論問題に対して、より正確で信頼性の高い応答を生成できるように最適化されています。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B")

system='''
You are a highly capable assistant. For every user question, follow these instructions exactly:
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.
    2. After the closing </think> tag, provide your final answer.
    3. Do not include any additional text or commentary outside of this format.
    4. Your output should strictly follow this structure:

<think>
[Your detailed step-by-step reasoning in English]
</think>
[Your final answer]
'''

text="철수, 영희, 민수가 3회의 게임에서 점수를 받았습니다. 영희의 점수는 민수의 점수의 두 배이며, 민수의 점수는 철수의 4배입니다. 철수가 10점을 받았다면 이 3명의 평균 점수를 계산하세요."
chat = [
    {"role": "system", "content": system},
    {"role": "user", "content": text}
]

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True
)

if "token_type_ids" in model_inputs:
    del model_inputs["token_type_ids"]

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192,
)

📚 ドキュメント

モデル応答の比較

入力 (Prompt)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice, Bob, Charlie가 3회のゲームで点数を獲得しました。 Aliceの点数はBobの点数の2倍で、Bobの点数はCharlieの4倍です。 Charlieが10点を獲得した場合、この3人の平均点数を計算してください。	Charlieの点数は10点です。 Bobの点数はCharlieの4倍なので、Bobの点数は $$ 4 \times 10 = 40 $$ 点です。 Aliceの点数はBobの点数の2倍なので、Aliceの点数は $$ 2 \times 40 = 80 $$ 点です。 3人の合計点数は $$ 10 + 40 + 80 = 130 $$ 点です。平均点数は $$ \frac{130}{3} \approx 43.33$点です。 $$ \boxed{43.33} $$ Charlieの点数は10点です。	Charlieの点数は10点と与えられています。Bobの点数はCharlieの点数の4倍で、これは次のように計算されます: $$ 4 \times 10 = 40 $$ Aliceの点数はBobの点数の2倍で、これは次の通りです: $$ 2 \times 40 = 80 $$ 3人の合計点数は次の通りです: $$ 10 + 40 + 80 = 130 $$ この3人の平均点数は合計点数を人数で割って計算されます: $$ \frac{130}{3} $$ したがって、この3人の平均点数は $$ \boxed{\dfrac{130}{3}} $$ です。
素数が無限であることを3つの方法で証明してください。	以下は、素数が無限であることを3つの方法で証明する詳細な手順です： ### 方法1：ユークリッドの背理法 1. 仮定：素数は有限であり、すべての素数が $ p_1, p_2, p_3, \ldots, p_n $ であると仮定します。 2. 数の構成：新しい数 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $ を構成します。 3. Nの性質の分析： - Nが素数である場合、Nは元の仮定の素数リストに含まれていないため、仮定に矛盾します。 - Nが合成数である場合、ある素数 $ p $ がNを割り切ります。しかし、Nを任意の $ p_i $ で割ると1余るため、$ p $ は元のリストに含まれていません。同様に矛盾します。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法2：フェルマー数の性質 1. 定義：フェルマー数は $ F_k = 2^{2^k} + 1 $ の形をしており、$ k $ は非負整数です。 2. 仮定：素数は有限であり、すべての素数が $ p_1, p_2, \ldots, p_n $ であると仮定します。 3. フェルマー数の構成：各 $ k $ に対して、$ F_k $ を構成します。$ F_k $ が素数である場合、元のリストに含まれていません。合成数である場合、その素因数は元のリストに含まれていません。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法3：オイラー関数と素数の無限性 1. オイラー関数：オイラー関数 $ \phi(n) $ は、$ n $ より小さく、$ n $ と互いに素である数の個数を表します。 2. 仮定：素数は有限であり、$ p_1, p_2, \ldots, p_n $ と記載します。 3. 数の構成：$ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ の形をした数を考えます。そのオイラー関数は $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $ です。 4. 分析：素数が有限である場合、$ \prod_{p \text{ 素数}} \left(1 - \frac{1}{p}\right) $ は収束するはずですが、実際にはこの積は発散します。これは矛盾を引き起こします。 5. 結論：したがって、素数は無限でなければなりません。これら3つの方法はそれぞれ異なる角度から素数の無限性を証明しており、数論における素数の無限性の深さを示しています。	素数が無限であることを3つの方法で証明するために、次のようなアプローチを使用することができます： 1. ユークリッドの背理法： - 仮定：素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成：$ P = p_1 \times p_2 \times \dots \times p_n + 1 $ と定義します。 - 結論：$ P $ が素数である場合、それはリストにない新しい素数です。$ P $ が合成数である場合、それはリストにない素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 2. 階乗アプローチ： - 仮定：素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成：$ n! + 1 $ を考えましょう。ここで、$ n $ は最大の素数です。 - 結論：$ n! $ はすべての $ p_i $ で割り切れるため、$ n! + 1 $ はどの $ p_i $ も含みません。$ n! + 1 $ が素数である場合、それは $ n $ より大きい新しい素数です。$ n! + 1 $ が合成数である場合、それは $ n $ より大きい素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 3. オイラーのゼータ関数の証明： - 概念：オイラーは、ゼータ関数 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ が素数に関する積として表されることを示しました：$ \zeta(s) = \prod_{p \text{ 素数}} \frac{1}{1 - \frac{1}{p^s}} $。 - 結論：もし素数が有限であれば、積は有限でなければなりません。しかし、$ s $ が1より大きい値に近づくとき、$ \zeta(s) $ は無限大に発散します。これは、積が発散しなければならないことを要求し、したがって素数は無限でなければなりません。各方法は素数が無限であることを確認し、それぞれ異なる数学的原理に基づいています。ユークリッドの証明は背理法を使用し、階乗アプローチは簡単な数論を使用し、オイラーの証明は解析的数論の手法を使用しています。3つの方法はすべて、素数の無限性に対する理解を強化します。

ベンチマーク

dtypeをfloat16として推論を行いました。
max_tokens: 32786
temperature: 0.7
評価方法: 各ベンチマークを3回繰り返し実行した後、平均点数を算出しました。
_enベンチマーク: 元のベンチマーク質問をそのまま使用しました。
_koベンチマーク: 元のベンチマーク質問を韓国語に高品質に翻訳して使用しました。

モデル	AIME24_ko	AIME24_en	MATH500_ko	MATH500_en
DeepSeek-R1-Distill-Llama-8B	25.56	46.67	63.40	88.87
DeepSeek-llama3.1-Bllossom-8B	36.67	40.00	78.07	87.80
DeepSeek-R1-Distill-Llama-70B	58.89	70.00	88.53	93.73
DeepSeek-llama3.3-Bllossom-70B	62.22	65.56	88.40	93.33

📄 ライセンス

このコードリポジトリとモデルの重みは、MITライセンスの下でライセンスされています。DeepSeek-Bllossomシリーズは商用利用をサポートしており、他のLLMの学習のための蒸留を含む、任意の変更や派生作品を許可しています。ただし、以下の点に注意してください：

DeepSeek-R1-Distill-Llama-70B はLlama3.3-70B-Instructから派生しており、元々はllama3.3ライセンスの下でライセンスされています。
DeepSeek-llama3.3-Bllossom-70B はDeepSeek-R1-Distill-Llama-70Bから派生しており、元々はllama3.3ライセンスの下でライセンスされています。