# LoRA高效訓練

基於Google Gemma-3-4b-pt微調的偽推理專家模型，專為結構化推理/偽誘導推理設計

基於Qwen/Qwen2.5-14B-Instruct-1M模型進行後訓練的版本，採用LoRA-8-4-0.0001-cosine-32-16配置，訓練數據為train_data_v1.0。

基於Qwen架構的金融領域專用語言模型，通過50萬+金融指令微調

Llama3.1-Neo-1B-100w是基於Meta-Llama-3.1-8B-Instruct剪枝至1.4B參數規模，並採用LLM-Neo方法（結合LoRA與知識蒸餾）微調的高效語言模型。訓練數據採樣自BAAI/Infinity-Instruct的100萬行數據。

基於Llama-3-8b的微調模型，使用Gutenberg DPO數據集進行優化，適用於文本生成任務。

這是一個基於Qra-1b模型在波蘭語指令數據集上微調的問答模型，主要用於回答用戶提出的問題。

基於Gemma-2b微調的多語言指令模型，支持15種印度語言及英語

基於Gemma-7b模型，在15種印度語言和英語的指令數據集上進行LoRA微調的多語言文本生成模型

基於Gemma-2b模型針對土耳其語指令-響應對進行微調的文本生成模型，支持約75k訓練數據規模

ZhiLu是基於中文Alpaca2-13B二次開發的金融大語言模型，通過海量中英文語料增量預訓練與高質量指令數據對齊實現能力躍升，重點強化金融領域專業表現。

Camel-Platypus2-70B 是由 Platypus2-70B 和 qCammel-70-x 合併而成的大型語言模型，基於 LLaMA 2 架構，專注於 STEM 和邏輯推理任務。