# 持續預訓練優化

Llama 3.3 Swallow是基於Meta Llama 3.3模型進行持續預訓練的大型語言模型(70B)，增強了日語能力同時保留原有英語能力。

Gemma-2-Llama-Swallow系列模型是在Gemma-2基礎上進行持續預訓練構建的多語言大模型，特別增強了日語能力。

專為處理超長文本序列（最高支持100萬、200萬和400萬標記）設計的大語言模型，在標準基準測試中保持卓越性能

Llama-3.1-Minitron-4B-Width-Base是一個基礎文本到文本模型，通過對Llama-3.1-8B進行剪枝獲得，適用於多種自然語言生成任務。

基於Llama3-8B開發的金融領域模型，通過指令預訓練框架增強領域適應能力，在金融任務上達到甚至超越Llama3-70B的性能。

基於Llama2 7B改進的模型，支持層級跳躍和自推測解碼，提升推理效率

基於Mistral-7b模型，採用Quiet-STaR方法進行持續預訓練，在生成每個輸出詞元前會先生成8個思維詞元，提升推理能力。

CamemBERT-bio是一款專為法語生物醫學領域優化的語言模型，基於camembert-base進行持續預訓練，在生物醫學命名實體識別任務上表現優異。

SurgicBERTa是基於RoBERTa-base架構開發的語言模型，專門針對外科教材與學術論文進行優化。