Luxia 21.4b Alignment V1.2

🚀 LUXIA-21.4B-Alignment大語言模型

LUXIA-21.4B-Alignment是一個擁有214億參數的大語言模型（LLM），在各種自然語言處理（NLP）任務中表現卓越。在參數少於350億的模型中，它展現出了無與倫比的先進性能，甚至超越了720億參數的模型和340億x2的專家混合（MoE）模型。具體評估結果請參考相關表格。

該模型是基於luxia - 21.4b - instruct模型通過DPO訓練得到的，而luxia - 21.4b - instruct模型則是luxia - 21.4b模型經過SFT訓練的版本。我們計劃很快發佈預訓練模型和指令微調模型。

✨ 主要特性

• 卓越性能：在參數少於350億的模型中達到先進水平，甚至超越部分更高參數模型。
• 多階段訓練：經過基礎模型構建、指令微調、偏好優化等多階段訓練。
• 多數據集融合：在不同訓練階段使用多種公開數據集和內部生成數據集。

🔧 技術細節

模型構建與訓練策略

luxia - 21.4b模型

基於internlm2 - 20b - llama模型，通過直通方法擴展層數創建基礎模型。為恢復模型性能，進行了持續預訓練。

luxia - 21.4b - instruct模型

採用包括監督微調（SFT）在內的先進指令微調方法。使用了以下數據集的混合：

• c - s - ale/alpaca - gpt4 - data
• Open - Orca/SlimOrca
• 利用Metamath內部生成的數據

luxia - 21.4b - alignment模型

採用包括直接偏好優化（DPO）在內的先進指令微調方法。使用了以下數據集的混合：

• jondurbin/truthy - dpo - v0.1
• abacusai/ARC_DPO_FewShot
• abacusai/HellaSwag_DPO_FewShot

數據汙染測試結果

使用https://github.com/swj0419/detect - pretrain - code - contamination/tree/master生成汙染數據，以internlm2 - 20b - llama為參考模型。luxia - 21.4b - alignment - v1.2的測試結果如下：

Open LLM Leaderboard評估結果

💻 使用示例

基礎用法

# pip install transformers==4.35.2
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("saltlux/luxia-21.4b-alignment-v1.2")
model = AutoModelForCausalLM.from_pretrained(
    "saltlux/luxia-21.4b-alignment-v1.2",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

📄 許可證

• saltlux/luxia - 21.4b - alignment - v1.2：採用Apache - 2.0許可證。

📚 詳細文檔

聯繫我們

如有任何問題和建議，歡迎在討論區留言。