# 高效訓練

nanoVLM是一款輕量級的視覺語言模型（VLM），專為高效訓練和實驗而設計。

nanoVLM 是一款輕量級的視覺語言模型（VLM），專為高效訓練和實驗而設計。

基於Qwen/Qwen2.5-Coder-7B模型使用Unsloth和TRL庫進行訓練優化的文本生成推理模型，訓練速度提升2倍

盆景是一個擁有5億參數的小型三值權重語言模型，採用Llama架構和Mistral分詞器，訓練使用的標記數不到50億。

採用閃存線性注意力格式的RWKV-7模型，基於Pile數據集訓練，支持英語文本生成任務。

TraceBack 12b 是基於 Mistral-Nemo-Instruct 架構的 4bit 量化版本，專注於指令遵循和思維鏈推理任務。

這是一個基於離散Hubert標記的語音語言模型，專注於高效訓練，能夠生成語音片段的延續。

開放推理者零號是基於基礎模型規模化強化學習的開源方案，專注於可擴展性、簡潔性和易用性的大規模推理導向強化學習實現。

這是一個基於DeepSeek-R1-Distill-Llama-8B模型微調的金融領域語言模型，使用LoRA技術優化，適用於金融問答和指令任務。

基於Unsloth優化的視覺指令微調模型，支持多模態任務處理

基於gemma-2-9b-it模型，通過加權偏好優化(WPO)方法微調的大語言模型，提升了離線策略偏好優化的效果。

這是一個基於GPT-2架構的774M參數語言模型，使用FineWeb數據集中的1500億token進行訓練。

SimPO是一種無需參考獎勵模型的偏好優化方法，簡化了傳統RLHF流程，直接通過偏好數據優化語言模型。

Mistral-SUPRA是基於Mistral-7B初始化的線性RNN模型，兼具Transformer和循環模型的功能。

MoE-LLaVA是一種基於專家混合架構的大型視覺語言模型，通過稀疏激活參數實現高效的多模態學習

基於SetFit框架的小樣本學習文本分類模型，通過對比學習和分類頭訓練實現高效分類

RWKV是一種結合RNN和Transformer優勢的大語言模型，支持高效訓練和快速推理，具備無限上下文長度處理能力。

Godot-Dodo是基於LLaMA 13B微調的指令跟隨模型，專注於代碼指令理解和生成任務

Gerbil-A-32m 是一個擁有3200萬參數的A級模型，訓練標記數達6.4億，適用於多種自然語言處理任務。

DETA是一種基於變換器的目標檢測模型，通過重新引入IoU分配機制和NMS方法，實現了快速收斂和高效檢測。

Keras 提供的圖像分類模型，支持多種預訓練架構，適用於常見的圖像分類任務。

這是一個基於PPO算法的強化學習模型，用於解決Pendulum-v1環境中的控制問題。

採用WECHSEL方法訓練的GPT-2法語版本，通過子詞嵌入的有效初始化實現單語語言模型的跨語言遷移。

基於DistilBert的雙編碼器點積評分架構，通過平衡主題感知採樣在MSMARCO-Passage數據集上訓練，適用於密集檢索和候選集重排序

使用WECHSEL方法訓練的德語RoBERTa模型，通過子詞嵌入的有效初始化實現單語語言模型的跨語言遷移。

採用WECHSEL方法訓練的中文GPT-2模型，通過子詞嵌入的有效初始化實現單語語言模型的跨語言遷移。

DeiT是一種通過注意力機制訓練的數據高效圖像Transformer模型，在ImageNet-1k數據集上以224x224分辨率進行預訓練和微調。

該模型是基於BERT-tiny架構，在STS-B數據集上採用M-FAC二階優化器進行微調的文本相似度計算模型。

該模型是基於BERT-mini架構，在SQuAD 2.0數據集上使用M-FAC二階優化器進行微調的問答模型。