DeepSeek-llama3.1-Bllossom-8B開源模型 - 韓語推理強，英語思考實現多語言輸出

首頁

Deepseek Llama3.1 Bllossom 8B

由UNIVA-Bllossom開發

基於DeepSeek-R1-distill-Llama-8B優化的韓語推理增強模型，通過英語內部思考實現多語言輸出

大型語言模型

Transformers

支持多種語言開源協議:MIT #韓語推理優化 #多語言混合推理 #STEM領域增強

下載量 8,030

發布時間 : 2/13/2025

模型概述

該模型針對原DeepSeek-R1-distill-Llama-8B在韓語環境下性能下降的問題進行了優化，通過額外訓練提升了韓語推理能力，同時保持英語處理能力。模型內部思考過程使用英語，最終根據輸入語言輸出響應。

模型特點

韓語推理增強

針對韓語環境特別優化，解決了原模型在韓語推理時性能下降的問題

雙語處理能力

支持韓語和英語，內部思考過程使用英語，輸出根據輸入語言自適應

多樣化領域訓練

除了STEM領域數據外，還包含多樣化的領域訓練數據

推理能力優化

針對複雜推理問題優化，生成更準確、可靠的響應

模型能力

韓語文本生成

英語文本生成

邏輯推理

數學計算

多語言處理

使用案例

教育

數學問題解答

解決韓語數學應用題，如計算平均分數等問題

能正確解析韓語數學問題並給出分步解答

研究

數學定理證明

用多種方法證明數學定理，如素數無限性證明

能提供多種證明方法並詳細解釋推理過程

🚀 DeepSeek-llama3.1-Bllossom-8B

DeepSeek-Bllossom系列模型是為解決原有DeepSeek-R1-Distill系列模型存在的語言混合、多語言性能下降問題而進一步訓練得到的。DeepSeek-llama3.1-Bllossom-8B基於DeepSeek-R1-distill-Llama-8B模型構建，旨在提升韓語環境下的推理性能。該模型是UNIVA與Bllossom團隊合作推出的首個模型。

📋 模型信息

屬性	詳情
模型類型	DeepSeek-llama3.1-Bllossom-8B
基礎模型	DeepSeek-R1-Distill-Llama-8B
庫名稱	transformers

📦 相關模型

模型	基礎模型	下載地址
DeepSeek-qwen-Bllossom-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	待公開
DeepSeek-qwen-Bllossom-7B	DeepSeek-R1-Distill-Qwen-7B	待公開
DeepSeek-llama3.1-Bllossom-8B	DeepSeek-R1-Distill-Llama-8B	🤗 HuggingFace
DeepSeek-qwen-Bllossom-14B	DeepSeek-R1-Distill-Qwen-14B	待公開
DeepSeek-qwen-Bllossom-32B	DeepSeek-R1-Distill-Qwen-32B	待公開
DeepSeek-llama3.3-Bllossom-70B	DeepSeek-R1-Distill-Llama-70B	🤗 HuggingFace

🚀 快速開始

模型簡介

DeepSeek-llama3.1-Bllossom-8B基於DeepSeek-R1-distill-Llama-8B模型構建。原DeepSeek-R1-Distill系列模型存在語言混合、多語言性能下降的問題，特別是在韓語推理時性能大幅下降。而DeepSeek-Bllossom系列模型通過額外訓練解決了這些問題，它在內部思考過程使用英語，最終響應根據輸入語言輸出，從而顯著提升了韓語環境下的推理性能。

訓練過程使用了韓語和英語推理數據，除了原DeepSeek-R1模型主要使用的STEM領域數據外，還涵蓋了更多不同領域的數據。該模型旨在為韓語使用環境提供更準確、可靠的推理結果。

後訓練

DeepSeek-llama3.1-Bllossom-8B利用自制的多種推理數據進行了後訓練。此過程採用了將大模型的優秀推理能力和韓語處理能力有效蒸餾到DeepSeek-R1-distill-Llama-8B模型中的方法，優化了模型性能，使其能夠對複雜推理問題生成更準確、可靠的響應。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "UNIVA-Bllossom/DeepSeek-llama3.1-Bllossom-8B",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B")

system='''
You are a highly capable assistant. For every user question, follow these instructions exactly:
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.
    2. After the closing </think> tag, provide your final answer.
    3. Do not include any additional text or commentary outside of this format.
    4. Your output should strictly follow this structure:

<think>
[Your detailed step-by-step reasoning in English]
</think>
[Your final answer]
'''

text="철수, 영희, 민수가 3회의 게임에서 점수를 받았습니다. 영희의 점수는 민수의 점수의 두 배이며, 민수의 점수는 철수의 4배입니다. 철수가 10점을 받았다면 이 3명의 평균 점수를 계산하세요."
chat = [
    {"role": "system", "content": system},
    {"role": "user", "content": text}
]

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True
)

if "token_type_ids" in model_inputs:
    del model_inputs["token_type_ids"]

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192,
)

📊 模型響應比較

輸入 (Prompt)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice、Bob和Charlie在3場遊戲中獲得了分數。 Alice的分數是Bob的兩倍，Bob的分數是Charlie的4倍。如果Charlie得了10分，計算這三個人的平均分數。	Charlie的分數是10分。 Bob的分數是Charlie的4倍，所以Bob的分數是 $$ 4 \times 10 = 40 $$ 分。 Alice的分數是Bob的兩倍，所以Alice的分數是 $$ 2 \times 40 = 80 $$ 分。三人的總分數是 $$ 10 + 40 + 80 = 130 $$ 分。平均分數是 $$ \frac{130}{3} \approx 43.33$$分。 $$ \boxed{43.33} $$ Charlie的分數是10分。	已知Charlie的分數是10分。Bob的分數是Charlie的4倍，計算如下： $$ 4 \times 10 = 40 $$ Alice的分數是Bob的兩倍，即： $$ 2 \times 40 = 80 $$ 三人的總分數為： $$ 10 + 40 + 80 = 130 $$ 這三個人的平均分數通過總分數除以人數計算得出： $$ \frac{130}{3} $$ 因此，這三個人的平均分數是 $$ \boxed{\dfrac{130}{3}} $$ 。
用三種方法證明素數是無限的。	以下是用三種方法證明素數無限的詳細步驟： ### 方法一：歐幾里得的反證法 1. 假設：假設素數是有限的，且所有素數為 $ p_1, p_2, p_3, \ldots, p_n $。 2. 構造數：構造一個新數 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $。 3. 分析N的性質： - 如果N是素數，則N不在原假設的素數列表中，與假設矛盾。 - 如果N是合數，則存在某個素數 $ p $ 整除N。但由於N除以任何 $ p_i $ 都餘1，故 $ p $ 不在原列表中，同樣矛盾。 4. 結論：因此，素數必須是無限的。 ### 方法二：費馬數的性質 1. 定義：費馬數形如 $ F_k = 2^{2^k} + 1 $，其中 $ k $ 為非負整數。 2. 假設：假設素數是有限的，且所有素數為 $ p_1, p_2, \ldots, p_n $。 3. 構造費馬數：對於每個 $ k $，構造 $ F_k $。如果 $ F_k $ 是素數，則不在原列表中；如果是合數，其素因數不在原列表中。 4. 結論：因此，素數必須是無限的。 ### 方法三：歐拉函數與素數無限性 1. 歐拉函數：歐拉函數 $ \phi(n) $ 表示小於 $ n $ 且與 $ n $ 互質的數的個數。 2. 假設：假設素數有限，記為 $ p_1, p_2, \ldots, p_n $。 3. 構造數：考慮形如 $ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ 的數，其歐拉函數為 $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $。 4. 分析：如果素數有限，$ \prod_{p \text{素數}} \left(1 - \frac{1}{p}\right) $ 收斂，但實際上該積發散，導致矛盾。 5. 結論：因此，素數必須是無限的。這三種方法各自從不同的角度證明了素數的無限性，展示了數論中素數無限性的深刻性。	為了用三種方法證明素數是無限的，我們可以採用以下方法： 1. 歐幾里得反證法： - 假設：假設素數的數量是有限的，為 $ p_1, p_2, \dots, p_n $。 - 構造：定義 $ P = p_1 \times p_2 \times \dots \times p_n + 1 $。 - 結論：如果 $ P $ 是素數，那麼它是列表中沒有的新素數。如果 $ P $ 是合數，它必須包含列表中沒有的素數。這兩種情況都與假設矛盾。因此，素數是無限的。 2. 階乘方法： - 假設：假設素數的數量是有限的，為 $ p_1, p_2, \dots, p_n $。 - 構造：考慮 $ n! + 1 $，其中 $ n $ 是最大的素數。 - 結論：因為 $ n! $ 能被所有 $ p_i $ 整除，所以 $ n! + 1 $ 不包含任何 $ p_i $。如果 $ n! + 1 $ 是素數，那麼它是比 $ n $ 大的新素數。如果 $ n! + 1 $ 是合數，它必須包含比 $ n $ 大的素數。這兩種情況都與假設矛盾。因此，素數是無限的。 3. 歐拉zeta函數證明： - 概念：歐拉證明了zeta函數 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ 可以表示為素數的乘積：$ \zeta(s) = \prod_{p \text{ 素數}} \frac{1}{1 - \frac{1}{p^s}} $。 - 結論：如果素數是有限的，乘積應該是有限的。但是當 $ s $ 趨近於大於1的值時，$ \zeta(s) $ 會發散到無窮大。這要求乘積必須發散，因此素數必須是無限的。每種方法都證實了素數是無限的，並且基於不同的數學原理。歐幾里得的證明使用了反證法，階乘方法使用了簡單的數論，歐拉的證明使用瞭解析數論的工具。這三種方法都加深了對素數無限性的理解。

🧪 基準測試

推理使用float16數據類型。
最大令牌數：32786
溫度係數：0.7
評估方式：每個基準測試重複運行3次後計算平均分數。
_en基準測試：使用原始基準測試問題。
_ko基準測試：使用高質量翻譯為韓語的原始基準測試問題。

模型	AIME24_ko	AIME24_en	MATH500_ko	MATH500_en
DeepSeek-R1-Distill-Llama-8B	25.56	46.67	63.40	88.87
DeepSeek-llama3.1-Bllossom-8B	36.67	40.00	78.07	87.80
DeepSeek-R1-Distill-Llama-70B	58.89	70.00	88.53	93.73
DeepSeek-llama3.3-Bllossom-70B	62.22	65.56	88.40	93.33

📄 許可證

此代碼倉庫和模型權重遵循MIT許可證。DeepSeek-Bllossom系列模型支持商業使用，允許進行任何修改和衍生工作，包括但不限於為訓練其他大語言模型進行蒸餾。請注意：

DeepSeek-R1-Distill-Llama-8B 源自Llama3.1-8B-Instruct，最初遵循llama3.1許可證。
DeepSeek-llama3.1-Bllossom-8B 源自DeepSeek-R1-Distill-Llama-8B，最初遵循llama3.1許可證。