# 高效训练

nanoVLM是一款轻量级的视觉语言模型（VLM），专为高效训练和实验而设计。

nanoVLM 是一款轻量级的视觉语言模型（VLM），专为高效训练和实验而设计。

基于Qwen/Qwen2.5-Coder-7B模型使用Unsloth和TRL库进行训练优化的文本生成推理模型，训练速度提升2倍

盆景是一个拥有5亿参数的小型三值权重语言模型，采用Llama架构和Mistral分词器，训练使用的标记数不到50亿。

采用闪存线性注意力格式的RWKV-7模型，基于Pile数据集训练，支持英语文本生成任务。

TraceBack 12b 是基于 Mistral-Nemo-Instruct 架构的 4bit 量化版本，专注于指令遵循和思维链推理任务。

这是一个基于离散Hubert标记的语音语言模型，专注于高效训练，能够生成语音片段的延续。

开放推理者零号是基于基础模型规模化强化学习的开源方案，专注于可扩展性、简洁性和易用性的大规模推理导向强化学习实现。

这是一个基于DeepSeek-R1-Distill-Llama-8B模型微调的金融领域语言模型，使用LoRA技术优化，适用于金融问答和指令任务。

基于Unsloth优化的视觉指令微调模型，支持多模态任务处理

基于gemma-2-9b-it模型，通过加权偏好优化(WPO)方法微调的大语言模型，提升了离线策略偏好优化的效果。

这是一个基于GPT-2架构的774M参数语言模型，使用FineWeb数据集中的1500亿token进行训练。

SimPO是一种无需参考奖励模型的偏好优化方法，简化了传统RLHF流程，直接通过偏好数据优化语言模型。

Mistral-SUPRA是基于Mistral-7B初始化的线性RNN模型，兼具Transformer和循环模型的功能。

MoE-LLaVA是一种基于专家混合架构的大型视觉语言模型，通过稀疏激活参数实现高效的多模态学习

基于SetFit框架的小样本学习文本分类模型，通过对比学习和分类头训练实现高效分类

RWKV是一种结合RNN和Transformer优势的大语言模型，支持高效训练和快速推理，具备无限上下文长度处理能力。

Godot-Dodo是基于LLaMA 13B微调的指令跟随模型，专注于代码指令理解和生成任务

Gerbil-A-32m 是一个拥有3200万参数的A级模型，训练标记数达6.4亿，适用于多种自然语言处理任务。

DETA是一种基于变换器的目标检测模型，通过重新引入IoU分配机制和NMS方法，实现了快速收敛和高效检测。

Keras 提供的图像分类模型，支持多种预训练架构，适用于常见的图像分类任务。

这是一个基于PPO算法的强化学习模型，用于解决Pendulum-v1环境中的控制问题。

基于DistilBert的双编码器点积评分架构，通过平衡主题感知采样在MSMARCO-Passage数据集上训练，适用于密集检索和候选集重排序

采用WECHSEL方法训练的GPT-2法语版本，通过子词嵌入的有效初始化实现单语语言模型的跨语言迁移。

使用WECHSEL方法训练的德语RoBERTa模型，通过子词嵌入的有效初始化实现单语语言模型的跨语言迁移。

DeiT是一种通过注意力机制训练的数据高效图像Transformer模型，在ImageNet-1k数据集上以224x224分辨率进行预训练和微调。

采用WECHSEL方法训练的中文GPT-2模型，通过子词嵌入的有效初始化实现单语语言模型的跨语言迁移。

该模型是基于BERT-tiny架构，在STS-B数据集上采用M-FAC二阶优化器进行微调的文本相似度计算模型。

该模型是基于BERT-mini架构，在SQuAD 2.0数据集上使用M-FAC二阶优化器进行微调的问答模型。