DeepSeek-llama3.1-Bllossom-8Bオープンソースモデル - 韓国語推論能力が強く、英語思考による多言語出力を実現

ホーム

Deepseek Llama3.1 Bllossom 8B

UNIVA-Bllossomによって開発

DeepSeek-R1-distill-Llama-8Bを基に韓国語推論を強化したモデルで、英語による内部思考を通じて多言語出力を実現

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:MIT #韓国語推論最適化 #多言語混合推論 #STEM分野強化

ダウンロード数 8,030

リリース時間 : 2/13/2025

モデル概要

このモデルは、元のDeepSeek-R1-distill-Llama-8Bが韓国語環境で性能低下する問題を最適化し、追加トレーニングにより韓国語推論能力を向上させ、英語処理能力を維持しています。モデルの内部思考プロセスは英語を使用し、最終的に入力言語に応じて応答を出力します。

モデル特徴

韓国語推論強化

韓国語環境に特化して最適化され、元モデルの韓国語推論時の性能低下問題を解決

二言語処理能力

韓国語と英語をサポートし、内部思考プロセスは英語を使用、入力言語に応じて出力を適応

多様な分野のトレーニング

STEM分野データに加え、多様な分野のトレーニングデータを含む

推論能力最適化

複雑な推論問題に対して最適化され、より正確で信頼性の高い応答を生成

モデル能力

韓国語テキスト生成

英語テキスト生成

論理的推論

数学計算

多言語処理

使用事例

教育

数学問題解答

韓国語の数学応用問題を解決、例えば平均点計算などの問題

韓国語の数学問題を正しく解析し、段階的な解答を提供可能

研究

数学定理証明

素数無限性証明など、数学定理を複数の方法で証明

複数の証明方法を提供し、推論プロセスを詳細に説明可能

🚀 DeepSeek-llama3.1-Bllossom-8B

DeepSeek-Bllossomシリーズは、既存のDeepSeek-R1-Distillシリーズモデルの言語混合や多言語性能低下の問題を解決するために追加学習されたモデルです。DeepSeek-llama3.1-Bllossom-8Bは、DeepSeek-R1-distill-Llama-8Bモデルをベースに構築され、韓国語環境での推論性能向上を目指して開発されました。このモデルは、UNIVAとBllossomチームが共同で制作した最初のモデルです。

🚀 クイックスタート

DeepSeek-llama3.1-Bllossom-8Bは、既存のDeepSeek-R1-Distill-Llama-8Bモデルの言語混合や多言語性能低下の問題を解決するために開発されました。特に韓国語環境での推論性能を向上させることを目的としています。

✨ 主な機能

韓国語環境での推論性能を大幅に向上させました。
内部思考プロセスは英語で行い、最終的なユーザーへの応答は入力言語に応じて出力されるように学習されています。
韓国語、英語のreasoningデータを使用して学習され、様々な分野のデータが含まれています。

📦 インストール

インストールに関する具体的な手順は原READMEに記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "UNIVA-Bllossom/DeepSeek-llama3.1-Bllossom-8B",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B")

system='''
You are a highly capable assistant. For every user question, follow these instructions exactly:
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.
    2. After the closing </think> tag, provide your final answer.
    3. Do not include any additional text or commentary outside of this format.
    4. Your output should strictly follow this structure:

<think>
[Your detailed step-by-step reasoning in English]
</think>
[Your final answer]
'''

text="철수, 영희, 민수가 3회의 게임에서 점수를 받았습니다. 영희의 점수는 민수의 점수의 두 배이며, 민수의 점수는 철수의 4배입니다. 철수가 10점을 받았다면 이 3명의 평균 점수를 계산하세요."
chat = [
    {"role": "system", "content": system},
    {"role": "user", "content": text}
]

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True
)

if "token_type_ids" in model_inputs:
    del model_inputs["token_type_ids"]

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192,
)

高度な使用法

高度な使用法に関する具体的なコード例は原READMEに記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

モデル概要

DeepSeek-llama3.1-Bllossom-8Bは、DeepSeek-R1-distill-Llama-8Bモデルをベースに構築され、韓国語環境での推論性能向上を目指して開発されました。学習には韓国語、英語のreasoningデータを使用し、様々な分野のデータが含まれています。

追加学習

DeepSeek-llama3.1-Bllossom-8Bは、独自に制作した様々なreasoningデータを活用して追加学習を行いました。この過程で、大規模モデルが持つ優れたreasoning能力と韓国語処理能力をDeepSeek-R1-distill-Llama-8Bモデルに効果的に蒸留する方法を適用しました。

推論

推論に関するコード例は「使用例」セクションを参照してください。

モデル応答比較

入力 (Prompt)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice, Bob, Charlie가 3회のゲームで得点を獲得しました。 Aliceの得点はBobの得点の2倍で、Bobの得点はCharlieの4倍です。 Charlieが10点を獲得した場合、この3人の平均得点を計算してください。	Charlieの得点は10点です。 Bobの得点はCharlieの4倍なので、Bobの得点は $$ 4 \times 10 = 40 $$ 点です。 Aliceの得点はBobの得点の2倍なので、Aliceの得点は $$ 2 \times 40 = 80 $$ 点です。 3人の総得点は $$ 10 + 40 + 80 = 130 $$ 点です。平均得点は $$ \frac{130}{3} \approx 43.33$点です。 $$ \boxed{43.33} $$ Charlieの得点は10点です。	Charlieの得点は10点と与えられています。Bobの得点はCharlieの得点の4倍で、これは次のように計算されます： $$ 4 \times 10 = 40 $$ Aliceの得点はBobの得点の2倍で、これは次の通りです： $$ 2 \times 40 = 80 $$ 3人の総得点は次の通りです： $$ 10 + 40 + 80 = 130 $$ この3人の平均得点は、総得点を人数で割って計算されます： $$ \frac{130}{3} $$ したがって、この3人の平均得点は $$ \boxed{\dfrac{130}{3}} $$ です。
素数が無限であることを3つの方法で証明してください。	以下は、素数が無限であることを3つの方法で証明する詳細な手順です： ### 方法1：ユークリッドの背理法 1. 仮定：素数は有限で、すべての素数が $ p_1, p_2, p_3, \ldots, p_n $ であると仮定します。 2. 数の構成：新しい数 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $ を構成します。 3. Nの性質の分析： - Nが素数である場合、Nは元の仮定の素数リストに含まれていないため、仮定に矛盾します。 - Nが合成数である場合、ある素数 $ p $ がNを割り切る。しかし、Nを任意の $ p_i $ で割ると1余るため、$ p $ は元のリストに含まれていない。同様に矛盾する。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法2：フェルマー数の性質 1. 定義：フェルマー数は $ F_k = 2^{2^k} + 1 $ の形をしており、$ k $ は非負整数です。 2. 仮定：素数は有限で、すべての素数が $ p_1, p_2, \ldots, p_n $ であると仮定します。 3. フェルマー数の構成：各 $ k $ に対して、$ F_k $ を構成します。$ F_k $ が素数であれば、元のリストに含まれていません。合成数であれば、その素因数は元のリストに含まれていません。 4. 結論：したがって、素数は無限でなければなりません。 ### 方法3：オイラー関数と素数の無限性 1. オイラー関数：オイラー関数 $ \phi(n) $ は、$ n $ より小さく、$ n $ と互いに素である数の個数を表します。 2. 仮定：素数は有限で、$ p_1, p_2, \ldots, p_n $ と記載します。 3. 数の構成：$ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ の形をした数を考え、そのオイラー関数は $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $ です。 4. 分析：素数が有限である場合、$ \prod_{p \text{ 素数}} \left(1 - \frac{1}{p}\right) $ は収束するが、実際にはこの積は発散するため、矛盾が生じます。 5. 結論：したがって、素数は無限でなければなりません。この3つの方法はそれぞれ異なる角度から素数の無限性を証明し、数論における素数の無限性の深さを示しています。	素数が無限であることを3つの方法で証明するために、次のようなアプローチを使用することができます： 1. ユークリッドの矛盾証明： - 仮定：素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成：$ P = p_1 \times p_2 \times \dots \times p_n + 1 $ と定義します。 - 結論：$ P $ が素数であれば、それはリストにない新しい素数です。$ P $ が合成数であれば、それはリストにない素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 2. 階乗アプローチ： - 仮定：素数は有限個の $ p_1, p_2, \dots, p_n $ であると仮定します。 - 構成：$ n! + 1 $ を考えてください。ここで、$ n $ は最大の素数です。 - 結論：$ n! $ はすべての $ p_i $ で割り切れるため、$ n! + 1 $ は $ p_i $ のいずれも含まれません。$ n! + 1 $ が素数であれば、それは $ n $ より大きい新しい素数です。$ n! + 1 $ が合成数であれば、それは $ n $ より大きい素数を含まなければなりません。どちらの場合も仮定に矛盾します。したがって、素数は無限です。 3. オイラーのゼータ関数の証明： - 概念：オイラーは、ゼータ関数 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ が素数に関する積で表されることを示しました：$ \zeta(s) = \prod_{p \text{ 素数}} \frac{1}{1 - \frac{1}{p^s}} $。 - 結論：素数が有限であれば、積は有限でなければなりません。しかし、$ s $ が1より大きい値に近づくとき、$ \zeta(s) $ は無限大に発散します。これは積が発散しなければならないことを要求し、したがって素数は無限でなければなりません。各方法は、素数が無限であることを確認し、異なる数学的原理に基づいています。ユークリッドの証明は矛盾を使用し、階乗アプローチは簡単な数論を使用し、オイラーの証明は解析的数論の道具を使用します。3つの方法はすべて、素数の無限性に対する理解を強化します。

ベンチマーク

dtypeをfloat16で推論を行いました。
max_tokens: 32786
temperature: 0.7
評価方法: 各ベンチマークを3回繰り返し実行した後、平均点を算出しました。
_enベンチマーク: 元のベンチマーク質問をそのまま使用しました。
_koベンチマーク: 元のベンチマーク質問を韓国語に高品質に翻訳して使用しました。

モデル	AIME24_ko	AIME24_en	MATH500_ko	MATH500_en
DeepSeek-R1-Distill-Llama-8B	25.56	46.67	63.40	88.87
DeepSeek-llama3.1-Bllossom-8B	36.67	40.00	78.07	87.80
DeepSeek-R1-Distill-Llama-70B	58.89	70.00	88.53	93.73
DeepSeek-llama3.3-Bllossom-70B	62.22	65.56	88.40	93.33

🔧 技術詳細

学習には韓国語、英語のreasoningデータを使用し、様々な分野のデータが含まれています。追加学習では、独自に制作した様々なreasoningデータを活用し、大規模モデルが持つ優れたreasoning能力と韓国語処理能力をDeepSeek-R1-distill-Llama-8Bモデルに効果的に蒸留する方法を適用しました。

📄 ライセンス

このコードリポジトリとモデルの重みは、MITライセンスの下でライセンスされています。DeepSeek-Bllossomシリーズは商用利用をサポートし、任意の変更や派生作品を許可します。ただし、以下の点に注意してください。

DeepSeek-R1-Distill-Llama-8B は、Llama3.1-8B-Instructから派生し、元々はllama3.1ライセンスの下でライセンスされています。
DeepSeek-llama3.1-Bllossom-8B は、DeepSeek-R1-Distill-Llama-8Bから派生し、元々はllama3.1ライセンスの下でライセンスされています。