AIbase
TW
模型選型
標籤
增量預訓練

# 增量預訓練

Vietnamese Llama2 7b 40GB
其他
基於Llama2-chat 7B的越南語優化模型，通過增量預訓練和高效分詞器顯著提升越南語處理能力
大型語言模型 Transformers 支持多種語言
V
bkai-foundation-models
23
40
Zhilu 13B Instruct
Apache-2.0
ZhiLu是基於中文Alpaca2-13B二次開發的金融大語言模型，通過海量中英文語料增量預訓練與高質量指令數據對齊實現能力躍升，重點強化金融領域專業表現。
大型語言模型 Transformers
Z
SYSU-MUCFC-FinTech-Research-Center
26
3
Codes 7b
Apache-2.0
CodeS-7B是一個專為SQL生成優化的代碼大語言模型，基於StarCoderBase-7B進行增量預訓練，支持最大8,192個token的上下文長度。
大型語言模型 Transformers 其他
C
seeklhy
409
8
Ziya LLaMA 13B Pretrain V1
Gpl-3.0
基於LLaMa架構的130億參數大規模預訓練模型，針對中文分詞進行優化，完成1100億token的中英文增量預訓練，顯著提升中文生成與理解能力
大型語言模型 Transformers 支持多種語言
Z
IDEA-CCNL
113
20
Vbert 2021 Base
Apache-2.0
VMware公司針對技術領域優化的BERT基礎模型，通過增量預訓練強化了對專有術語的處理能力
大型語言模型 Transformers 英語
V
VMware
14
4
Distilroberta Base Climate F
Apache-2.0
基於氣候相關文本增量預訓練的DistilRoBERTa模型，專為氣候變化領域NLP任務優化
大型語言模型 Transformers 英語
D
climatebert
10.21k
36
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase