# 超长上下文处理

Kanana 1.5是Kakao开发的双语大语言模型，在编程、数学和函数调用能力方面有显著提升，支持32K tokens上下文长度，通过YaRN扩展技术可处理128K tokens超长文本。

J.A.R.V.I.S.是一款受《钢铁侠》启发的先进AI语言模型，具备强大的文本生成能力和上下文感知能力。

Qwen3是通义千问系列大语言模型的最新版本，提供了一系列密集型和混合专家（MoE）模型，在推理、指令遵循、智能体能力和多语言支持方面取得了突破性进展。

Llama 4 Scout是Meta推出的170亿参数混合专家架构(MoE)多模态模型，支持12种语言和图像理解，采用topk=4专家动态融合机制。

羊驼4 Scout是Meta发布的170亿参数混合专家模型(MoE)，支持多语言文本和图像理解，采用线性化专家模块设计便于PEFT/LoRA兼容。

Llama 4 Scout是Meta开发的多模态大语言模型，采用混合专家架构，支持文本和图像理解，参数规模170亿（激活）/1090亿（总计）。

Mistral-Small-3.1-24B-Instruct-2503-GGUF 是一个经过量化处理的多语言模型，支持多种语言处理，可借助 Gaianet 运行。

基于NEO CLASS技术的8B参数大语言模型，具有32k上下文窗口和增强的指令遵循能力

由Gradient开发的Llama-3 8B长上下文扩展版本，支持超过100万token的上下文长度，通过优化RoPE theta参数实现高效长文本处理能力。

Llama 3 8B 64K是基于Meta的Llama 3 8B模型，通过PoSE技术将上下文长度从8k扩展到64k，优化了语言生成能力，适用于对话等多种自然语言处理场景。

Tess-M-v1.3是基于Yi-34B-200K架构训练的大语言模型，属于通用大语言模型系列，具有超长上下文处理能力。

MPT-7B是由MosaicML训练的开源商用大语言模型，基于1万亿标记的英文文本和代码预训练，采用改进的Transformer架构优化训练和推理效率。