# 长序列处理

专为高质量代码理解和语义检索设计的最新预训练模型，支持8种编程语言的长序列处理。

这是一个基于mistralai/Devstral-Small-2505模型的4位GPTQ量化版本，专为消费级硬件优化。

基于PubMed数据集训练的句子转换器模型，支持多种嵌入维度，适用于生物医学文本处理。

Ruri v3是基于ModernBERT-Ja构建的日语通用文本嵌入模型，支持长达8192个标记的序列处理，具备日语文本嵌入任务的顶尖性能。

专为代码搜索设计的句子转换器模型，基于ModernBERT架构，支持2048标记的序列长度

Sapnous-6B是一款先进的视觉语言模型，通过强大的多模态能力提升对世界的感知和理解。

FANformer-1B是通过创新周期性机制增强语言建模能力的自回归模型，具有11亿非嵌入参数，训练token量达1万亿。

CodeModernBERT-Owl 是一个从头预训练的模型，专为代码检索与代码理解任务设计，支持多种编程语言并提升检索准确率。

Isoformer 是一个多模态生物序列模型，能够处理DNA、RNA和蛋白质序列，并预测基因表达。

Zamba-7B-v1-phase1是状态空间模型Mamba与Transformer的混合架构，以Mamba为主干网络，每6个模块共享一个Transformer层，通过下一词预测进行训练。

基于粤语文本从头训练的大型BERT模型，适用于粤语文本的掩码语言建模任务

Mistral-SUPRA是基于Mistral-7B初始化的线性RNN模型，兼具Transformer和循环模型的功能。

Saul-Instruct-v1-GGUF 是 Equall/Saul-Instruct-v1 模型的 GGUF 格式版本，适用于文本生成任务，支持多种量化级别。

phi-2-super-GGUF 是 abacaj/phi-2-super 模型的 GGUF 量化版本，适用于本地运行和文本生成任务。

Mamba是一个基于状态空间模型(SSM)的高效语言模型，具有线性时间复杂度的序列建模能力。

Mamba 是一个与 transformers 兼容的高效序列模型，具有 7.9 亿参数，适用于因果语言建模任务。

Mamba是一个与transformers兼容的序列建模模型，具有高效的推理能力。

Mamba是基于状态空间模型(SSM)架构的高效语言模型，具有1.4B参数规模，支持文本生成任务

基于 Mistral-7B 的文本排序模型，提供多种量化版本，适用于高效推理。

Mixtral-8x7B-v0.1的GGUF量化版本，支持多种比特量化，适用于文本生成任务。

这是一个基于Mistral-7B-Instruct-v0.1微调的德语/英语双语模型，采用GGUF格式量化，支持2-8比特多种量化级别。

SauerkrautLM Mixtral 8X7B 是一款基于 Mixtral 架构的多语言文本生成模型，经过 SFT 和 DPO 微调与对齐，支持英语、德语、法语、意大利语和西班牙语。

Mamba-1B是一个基于Mamba架构的1B参数规模的语言模型，支持英文文本生成任务。

Mythalion Kimiko v2 - AWQ 是 nRuaif 创建的 Mythalion Kimiko v2 模型的 AWQ 量化版本，具有高效、准确和快速推理等特点。

Dolphin 2.5 Mixtral 8X7B 是由 Eric Hartford 开发的一个基于 Mixtral 架构的大型语言模型，经过多种高质量数据集的微调，适用于多种自然语言处理任务。

Mixtral-8x7B是一个预训练的生成式稀疏混合专家大语言模型，在多数基准测试中表现优于Llama 2 70B。

JAIS-30B是一个300亿参数的双语（阿拉伯语和英语）大语言模型，基于GPT-3架构，采用ALiBi位置嵌入技术，在阿拉伯语任务上达到最先进水平。

Llava v1.5 13B是由Haotian Liu开发的多模态模型，结合了视觉和语言能力，能够理解和生成基于图像和文本的内容。

Mistral 7B Instruct v0.1 的 GPTQ 量化版本，支持在 ExLlama 或 Transformers 框架下运行

130亿参数阿拉伯语-英语双语大语言模型，基于Transformer架构，支持长序列处理

CodeFuse-13B是基于GPT-NeoX框架训练的130亿参数代码生成模型，支持40多种编程语言，能处理长达4096字符的代码序列。

CodeLlama 34B 指导版是Meta发布的340亿参数代码生成模型，基于Llama 2架构，专门针对编程任务进行微调。

一个基于GPT-J架构的韩语生成模型，拥有3.5亿参数，适用于多种韩语文本生成任务。

LongT5 是一个基于 Transformer 的文本到文本模型，专门设计用于处理长序列输入，最高支持 16384 个标记。

基于WikiText-103 v1数据集训练的长序列Nyströmformer模型，支持4096长度的序列处理

基于WikiText-103数据集训练的Nystromformer模型，支持长序列处理（2048 tokens）

该模型是基于facebook/wav2vec2-xls-r-2b在common_voice数据集上微调的语音识别模型

长T5是基于T5扩展的文本到文本Transformer模型，支持高效处理长序列输入，特别适用于文本生成任务。

BigBird是一种基于稀疏注意力的Transformer模型，能够处理长达4096的序列，适用于长文档任务。

BERTIN是基于BERT的西班牙语模型系列，本模型为RoBERTa-large架构，使用Flax框架从零开始训练，数据源为mC4语料库的西班牙语部分。