DeepSeek-llama3.3-Bllossom-70B開源模型 - 增強韓語環境推理性能免費可用

首頁

Deepseek Llama3.3 Bllossom 70B

由UNIVA-Bllossom開發

DeepSeek-llama3.3-Bllossom-70B是基於DeepSeek-R1-distill-Llama-70B模型構建的，旨在提升韓語環境下的推理性能。

大型語言模型

Transformers

支持多種語言開源協議:MIT #韓語推理增強 #多語言混合推理 #思維鏈蒸餾

下載量 1,181

發布時間 : 2/12/2025

模型概述

該模型通過額外訓練克服了原基礎模型主要依賴英語和中文數據訓練的侷限性，特別優化了韓語推理能力。模型內部思考過程以英語進行，最終根據輸入語言輸出響應。

模型特點

多語言推理優化

特別針對韓語推理性能進行了優化，同時保持英語能力

思維鏈推理

採用英語進行內部思考過程，根據輸入語言輸出響應

多樣化領域數據

除了STEM領域數據外，還包含多樣化的領域訓練數據

模型能力

韓語文本生成

英語文本生成

複雜推理

多語言處理

使用案例

教育

數學問題解答

解決複雜的數學推理問題

能夠準確計算和解釋數學問題

研究

理論證明

提供數學定理的多種證明方法

能夠從不同角度展示證明過程

🚀 DeepSeek-llama3.3-Bllossom

DeepSeek-Bllossom系列模型是在原有DeepSeek-R1-Distill系列模型基礎上，針對語言混合和多語言性能下降問題進行額外訓練得到的。DeepSeek-llama3.3-Bllossom-70B以DeepSeek-R1-distill-Llama-70B模型為基礎構建，旨在提升韓語環境下的推理性能。該模型是UNIVA和Bllossom團隊合作推出的首個模型。

✨ 主要特性

解決了原DeepSeek-R1-Distill系列模型在語言混合和多語言性能方面的問題。
顯著提升了韓語環境下的推理性能。
訓練數據涵蓋多種領域，提供更準確可靠的推理結果。

📦 模型信息

屬性	詳情
模型類型	DeepSeek-llama3.3-Bllossom
基礎模型	deepseek-ai/DeepSeek-R1-Distill-Llama-70B
庫名稱	transformers
任務類型	文本生成

模型列表

模型	基礎模型	下載地址
DeepSeek-qwen-Bllossom-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	待公開
DeepSeek-qwen-Bllossom-7B	DeepSeek-R1-Distill-Qwen-7B	待公開
DeepSeek-llama3.1-Bllossom-8B	DeepSeek-R1-Distill-Llama-8B	🤗 HuggingFace
DeepSeek-qwen-Bllossom-14B	DeepSeek-R1-Distill-Qwen-14B	待公開
DeepSeek-qwen-Bllossom-32B	DeepSeek-R1-Distill-Qwen-32B	待公開
DeepSeek-llama3.3-Bllossom-70B	DeepSeek-R1-Distill-Llama-70B	🤗 HuggingFace

🔧 技術細節

模型介紹

DeepSeek-llama3.3-Bllossom-70B基於DeepSeek-R1-distill-Llama-70B模型構建。原DeepSeek-R1-distill-Llama-70B模型在韓語推理時性能大幅下降，而DeepSeek-Bllossom通過額外訓練，使內部思考過程用英語進行，最終響應根據輸入語言輸出，從而顯著改善了韓語環境下的推理性能。

訓練使用了韓語和英語推理數據，除了原DeepSeek-R1模型主要使用的STEM領域數據外，還包含了多種領域的數據。該模型旨在為韓語使用環境提供更準確可靠的推理結果。

更小的8B模型可在DeepSeek-R1-distill-Llama-Bllossom-8B找到。

後訓練

DeepSeek-llama3.3-Bllossom利用自制的多種推理數據進行了後訓練。此過程應用了將大模型的優秀推理能力和韓語處理能力有效蒸餾到DeepSeek-R1-distill-Llama-70B模型的方法，優化了模型性能，使其能對複雜推理問題生成更準確可靠的響應。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B")

system='''
You are a highly capable assistant. For every user question, follow these instructions exactly:
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.
    2. After the closing </think> tag, provide your final answer.
    3. Do not include any additional text or commentary outside of this format.
    4. Your output should strictly follow this structure:

<think>
[Your detailed step-by-step reasoning in English]
</think>
[Your final answer]
'''

text="철수, 영희, 민수가 3회의 게임에서 점수를 받았습니다. 영희의 점수는 민수의 점수의 두 배이며, 민수의 점수는 철수의 4배입니다. 철수가 10점을 받았다면 이 3명의 평균 점수를 계산하세요."
chat = [
    {"role": "system", "content": system},
    {"role": "user", "content": text}
]

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True
)

if "token_type_ids" in model_inputs:
    del model_inputs["token_type_ids"]

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192,
)

模型響應比較

輸入 (Prompt)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice, Bob, Charlie在3次遊戲中獲得了分數。 Alice的分數是Bob的兩倍，Bob的分數是Charlie的4倍。如果Charlie得了10分，計算這三個人的平均分數。	Charlie的分數是10分。 Bob的分數是Charlie的4倍，所以Bob的分數是 $$ 4 \times 10 = 40 $$ 分。 Alice的分數是Bob的兩倍，所以Alice的分數是 $$ 2 \times 40 = 80 $$ 分。三人的總分數是 $$ 10 + 40 + 80 = 130 $$ 分。平均分數是 $$ \frac{130}{3} \approx 43.33$$分。 $$ \boxed{43.33} $$ Charlie的分數是10分。	Charlie的分數已知為10分。Bob的分數是Charlie的4倍，計算如下： $$ 4 \times 10 = 40 $$ Alice的分數是Bob的兩倍，即： $$ 2 \times 40 = 80 $$ 三人的總分數為： $$ 10 + 40 + 80 = 130 $$ 這三個人的平均分數通過總分數除以人數計算得出： $$ \frac{130}{3} $$ 因此，這三個人的平均分數是 $$ \boxed{\dfrac{130}{3}} $$ 。
用三種方法證明素數是無限的。	以下是用三種方法證明素數無限的詳細步驟： ### 方法一：歐幾里得的反證法 1. 假設：假設素數是有限的，且所有素數為 $ p_1, p_2, p_3, \ldots, p_n $。 2. 構造數：構造一個新數 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $。 3. 分析N的性質： - 如果N是素數，則N不在原假設的素數列表中，與假設矛盾。 - 如果N是合數，則存在某個素數 $ p $ 整除N。但由於N除以任何 $ p_i $ 都餘1，故 $ p $ 不在原列表中，同樣矛盾。 4. 結論：因此，素數必須是無限的。 ### 方法二：費馬數的性質 1. 定義：費馬數形如 $ F_k = 2^{2^k} + 1 $，其中 $ k $ 為非負整數。 2. 假設：假設素數是有限的，且所有素數為 $ p_1, p_2, \ldots, p_n $。 3. 構造費馬數：對於每個 $ k $，構造 $ F_k $。如果 $ F_k $ 是素數，則不在原列表中；如果是合數，其素因數不在原列表中。 4. 結論：因此，素數必須是無限的。 ### 方法三：歐拉函數與素數無限性 1. 歐拉函數：歐拉函數 $ \phi(n) $ 表示小於 $ n $ 且與 $ n $ 互質的數的個數。 2. 假設：假設素數有限，記為 $ p_1, p_2, \ldots, p_n $。 3. 構造數：考慮形如 $ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ 的數，其歐拉函數為 $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $。 4. 分析：如果素數有限，$ \prod_{p \text{素數}} \left(1 - \frac{1}{p}\right) $ 收斂，但實際上該積發散，導致矛盾。 5. 結論：因此，素數必須是無限的。這三種方法各自從不同的角度證明了素數的無限性，展示了數論中素數無限性的深刻性。	為了用三種方法證明素數是無限的，我們可以採用以下方法： 1. 歐幾里得反證法： - 假設：假設素數的數量是有限的，設為 $ p_1, p_2, \dots, p_n $。 - 構造：定義 $ P = p_1 \times p_2 \times \dots \times p_n + 1 $。 - 結論：如果 $ P $ 是素數，那麼它是列表中沒有的新素數。如果 $ P $ 是合數，那麼它必須包含列表中沒有的素數。兩種情況都與假設矛盾。因此，素數是無限的。 2. 階乘方法： - 假設：假設素數的數量是有限的，設為 $ p_1, p_2, \dots, p_n $。 - 構造：考慮 $ n! + 1 $，其中 $ n $ 是最大的素數。 - 結論：因為 $ n! $ 能被所有 $ p_i $ 整除，所以 $ n! + 1 $ 不包含任何 $ p_i $。如果 $ n! + 1 $ 是素數，那麼它是比 $ n $ 大的新素數。如果 $ n! + 1 $ 是合數，那麼它必須包含比 $ n $ 大的素數。兩種情況都與假設矛盾。因此，素數是無限的。 3. 歐拉的zeta函數證明： - 概念：歐拉證明了zeta函數 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ 可以表示為素數的乘積：$ \zeta(s) = \prod_{p \text{ 素數}} \frac{1}{1 - \frac{1}{p^s}} $。 - 結論：如果素數是有限的，那麼乘積應該是有限的。但是當 $ s $ 趨近於大於1的值時，$ \zeta(s) $ 發散到無窮大。這要求乘積必須發散，因此素數必須是無限的。每種方法都證實了素數是無限的，並且基於不同的數學原理。歐幾里得的證明使用了反證法，階乘方法使用了簡單的數論，歐拉的證明使用瞭解析數論的工具。三種方法都增強了對素數無限性的理解。

基準測試

推理時數據類型設置為float16。
最大令牌數：32786
溫度：0.7
評估方式：每個基準測試重複運行3次後計算平均分數。
_en基準測試：使用原始基準測試問題。
_ko基準測試：使用原始基準測試問題的高質量韓語翻譯。

模型	AIME24_ko	AIME24_en	MATH500_ko	MATH500_en
DeepSeek-R1-Distill-Llama-8B	25.56	46.67	63.40	88.87
DeepSeek-llama3.1-Bllossom-8B	36.67	40.00	78.07	87.80
DeepSeek-R1-Distill-Llama-70B	58.89	70.00	88.53	93.73
DeepSeek-llama3.3-Bllossom-70B	62.22	65.56	88.40	93.33

📄 許可證

此代碼倉庫和模型權重遵循MIT許可證。DeepSeek-Bllossom系列支持商業使用，允許進行任何修改和衍生作品，包括但不限於用於訓練其他大語言模型的蒸餾操作。請注意：

DeepSeek-R1-Distill-Llama-70B 源自Llama3.3-70B-Instruct，最初遵循llama3.3許可證。
DeepSeek-llama3.3-Bllossom-70B 源自DeepSeek-R1-Distill-Llama-70B，最初遵循llama3.3許可證。