Baichuan 7B

🚀 百川大模型-7B

百川大模型-7B是由百川智能開發的開源大規模預訓練模型，基於Transformer結構，在約1.2萬億tokens上訓練，支持中英雙語，上下文窗口達4096。在C-EVAL和MMLU等權威評測中，取得同尺寸模型最佳效果。

🚀 快速開始

如果希望使用Baichuan-7B（如進行推理、Finetune等），我們推薦使用配套代碼庫Baichuan-7B。

代碼示例

如下是一個使用Baichuan-7B進行1-shot推理的任務，根據作品給出作者名，正確輸出為"夜雨寄北->李商隱"

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('登鸛雀樓->王之渙\n夜雨寄北->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

下面是英文示例，根據作品給出作者名，正確輸出為 "One Hundred Years of Solitude->Gabriel Garcia Marquez"

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('Hamlet->Shakespeare\nOne Hundred Years of Solitude->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

✨ 主要特性

• 性能卓越：在同尺寸模型中Baichuan-7B達到了目前SOTA的水平，參考MMLU指標。
• 雙語優化：使用自有的中英文雙語語料進行訓練，在中文上進行優化，在C-Eval達到SOTA水平。
• 商業友好：不同於LLaMA完全禁止商業使用，Baichuan-7B使用更寬鬆的開源協議，允許用於商業目的。

📚 詳細文檔

模型描述

• 開發者：百川智能(Baichuan Intelligent Technology)
• 郵箱：opensource@baichuan-inc.com
• 支持語言：中文/英文
• 許可證：Baichuan-7B License

模型來源

整體模型基於標準的Transformer結構，採用了和LLaMA一樣的模型設計：

• 位置編碼：採用rotary-embedding，是現階段被大多數模型採用的位置編碼方案，具有很好的外推性。
• 前饋層：採用SwiGLU，Feedforward變化為(8/3)倍的隱含層大小，即11008。
• 層歸一化：基於RMSNorm的Pre-Normalization。

具體參數如下表：

模型用途

下游任務

我們同時開源出了和本模型配套的訓練代碼，允許進行高效的Finetune用於下游任務，具體參見Baichuan-7B。

非預期使用

在沒有充分評估風險和採取緩解措施的情況下投入生產使用；任何可能被視為不負責任或有害的使用案例。

潛在風險

Baichuan-7B可能會產生事實上不正確的輸出，不應依賴它產生事實上準確的信息。Baichuan-7B是在各種公共數據集上進行訓練的。儘管我們已經做出了巨大的努力來清洗預訓練數據，但這個模型可能會生成淫穢、偏見或其他冒犯性的輸出。

訓練詳情

訓練具體設置參見Baichuan-7B。

🔧 技術細節

中文評測

C-Eval

CEval數據集是一個全面的中文基礎模型評測數據集，涵蓋了52個學科和四個難度的級別。我們使用該數據集的dev集作為few-shot的來源，在test集上進行了5-shot測試。

Gaokao

Gaokao 是一個以中國高考題作為評測大語言模型能力的數據集，用以評估模型的語言能力和邏輯推理能力。我們只保留了其中的單項選擇題，並對所有模型進行統一5-shot測試。

AGIEval

AGIEval 旨在評估模型的認知和解決問題相關的任務中的一般能力。我們只保留了其中的四選一單項選擇題，隨機劃分後對所有模型進行了統一5-shot測試。

^*其中Aquila模型來源於智源官方網站，僅做參考

英文評測

MMLU

MMLU 是一個英文評估數據集，包括57個多項選擇題任務，涵蓋基礎數學、美國曆史、計算機科學、法律等。難度從高中水平到專家水平，是主流的大語言模型評估數據集。

我們採用了開源的評估方案，最終5-shot結果如下：

模型列中的上標表示結果來源：

0: 重新實現
1: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
2: https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu

📄 許可證

本項目使用Baichuan-7B License。

🏢 團隊信息