SOLAR 10.7B Instruct V1.0

🚀 10.7B Solar模型：藉助Upstage深度擴展提升性能！

這是一款先進的大語言模型，在自然語言處理任務中表現卓越，參數規模雖小但能力強大，是微調的理想選擇。

🚀 快速開始

版本

確保你安裝了正確版本的transformers庫：

pip install transformers==4.35.2

加載模型

使用以下Python代碼加載模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Upstage/SOLAR-10.7B-Instruct-v1.0")
model = AutoModelForCausalLM.from_pretrained(
    "Upstage/SOLAR-10.7B-Instruct-v1.0",
    device_map="auto",
    torch_dtype=torch.float16,
)

進行單輪對話

conversation = [ {'role': 'user', 'content': 'Hello?'} ] 

prompt = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device) 
outputs = model.generate(**inputs, use_cache=True, max_length=4096)
output_text = tokenizer.decode(outputs[0]) 
print(output_text)

以下是輸出示例：

<s> ### User:
Hello?

### Assistant:
Hello, how can I assist you today? Please feel free to ask any questions or request help with a specific task.</s>

✨ 主要特性

• 性能卓越：SOLAR - 10.7B是一款擁有107億參數的先進大語言模型（LLM），在各種自然語言處理（NLP）任務中表現出色。在參數少於30B的模型中，展現出了無與倫比的先進性能，甚至超越了參數高達30B的模型，包括近期的Mixtral 8X7B模型。
• 微調理想之選：SOLAR - 10.7B為微調提供了強大的魯棒性和適應性。使用SOLAR - 10.7B預訓練模型進行簡單的指令微調，就能顯著提升性能。
• 數據純淨：模型訓練過程中盡力排除了所有與基準測試相關的數據集，並通過了數據汙染測試，結果表明模型未受汙染。

📦 安裝指南

確保安裝正確版本的transformers庫：

pip install transformers==4.35.2

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Upstage/SOLAR-10.7B-Instruct-v1.0")
model = AutoModelForCausalLM.from_pretrained(
    "Upstage/SOLAR-10.7B-Instruct-v1.0",
    device_map="auto",
    torch_dtype=torch.float16,
)

conversation = [ {'role': 'user', 'content': 'Hello?'} ] 

prompt = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device) 
outputs = model.generate(**inputs, use_cache=True, max_length=4096)
output_text = tokenizer.decode(outputs[0]) 
print(output_text)

📚 詳細文檔

指令微調策略

採用了包括監督微調（SFT）和直接偏好優化（DPO）在內的先進指令微調方法。使用了以下數據集的混合：

• c - s - ale/alpaca - gpt4 - data (SFT)
• Open - Orca/OpenOrca (SFT)
• 利用Metamath生成的內部數據 (SFT, DPO)
• Intel/orca_dpo_pairs (DPO)
• allenai/ultrafeedback_binarized_cleaned (DPO)

為避免數據汙染，在生成數據時不使用GSM8K樣本，並通過以下列表過濾任務：

filtering_task_list = [
    'task228_arc_answer_generation_easy',
    'ai2_arc/ARC-Challenge:1.0.0',
    'ai2_arc/ARC-Easy:1.0.0',
    'task229_arc_answer_generation_hard',
    'hellaswag:1.1.0', 
    'task1389_hellaswag_completion',
    'cot_gsm8k',
    'cot_gsm8k_ii',
    'drop:2.0.0',
    'winogrande:1.1.0'
]

使用上述數據集，應用SFT和迭代DPO訓練，這是一種專有的對齊策略，以最大化模型性能。

數據汙染測試結果

近期，大語言模型排行榜上的一些模型存在數據汙染問題。本模型在訓練中盡力排除了所有與基準測試相關的數據集，並進行了數據汙染測試（測試方法同HuggingFace團隊使用的方法）。結果顯示，各項指標均遠低於0.9（result < 0.1, %），表明模型未受汙染。

評估結果

🔧 技術細節

提出了一種名為深度擴展（DUS）的大語言模型擴展方法，包括架構修改和持續預訓練。具體來說，將Mistral 7B的權重集成到擴展層中，最後對整個模型進行持續預訓練。

📄 許可證

• [upstage/SOLAR - 10.7B - v1.0](https://huggingface.co/upstage/SOLAR - 10.7B - v1.0)：apache - 2.0
• [upstage/SOLAR - 10.7B - Instruct - v1.0](https://huggingface.co/upstage/SOLAR - 10.7B - Instruct - v1.0)：cc - by - nc - 4.0。由於微調使用了一些非商業數據集（如Alpaca），因此該模型以cc - by - nc - 4.0許可證發佈。

引用方式

使用該模型時，請使用以下格式引用相關論文：

@misc{kim2023solar,
      title={SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling}, 
      author={Dahyun Kim and Chanjun Park and Sanghoon Kim and Wonsung Lee and Wonho Song and Yunsu Kim and Hyeonwoo Kim and Yungi Kim and Hyeonju Lee and Jihoo Kim and Changbae Ahn and Seonghoon Yang and Sukyung Lee and Hyunbyung Park and Gyoungjin Gim and Mikyoung Cha and Hwalsuk Lee and Sunghun Kim},
      year={2023},
      eprint={2312.15166},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{kim2024sdpo,
      title={sDPO: Don't Use Your Data All at Once}, 
      author={Dahyun Kim and Yungi Kim and Wonho Song and Hyeonwoo Kim and Yunsu Kim and Sanghoon Kim and Chanjun Park},
      year={2024},
      eprint={2403.19270},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Upstage AI團隊

Upstage正在打造最優秀的大語言模型和文檔AI。更多信息請訪問：https://upstage.ai

聯繫我們

如有任何問題或建議，請使用討論區。若想直接聯繫我們，請發送郵件至 contact@upstage.ai 。