# 128k长文本处理

Mistral Small 3.2 24B Instruct 2506 是一个多语言大语言模型，支持文本和图像输入，文本输出，具有128k的上下文长度。

Qwen3是Qwen系列最新一代的大语言模型，提供了一系列密集和混合专家（MoE）模型。基于广泛的训练，Qwen3在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展。

Qwen3-4B是Qwen系列最新一代的大语言模型，具有4B参数规模，支持128k上下文窗口和100多种语言，在推理、指令遵循和代理能力方面表现优异。

Meta Llama 3.1系列多语言大型语言模型，包含8B参数规模，针对多语言对话用例优化，支持8种语言。

Qwen2.5 VL 7B Instruct量化模型是一款强大的多模态模型，支持图像和文本输入并生成文本输出，在多领域具有广泛应用价值。

Granite-4.0-Tiny-Base-Preview 是IBM开发的70亿参数混合专家(MoE)语言模型，具有128k token上下文窗口，采用Mamba-2技术增强表达能力。

Meta Llama 3.1系列是多语言大语言模型（LLMs）的集合，包括8B、70B和405B大小的预训练和指令调优生成模型。8B版本针对多语言对话用例进行了优化，在常见基准测试中表现优异。

Google推出的Gemma 3 27B IT模型，适用于多种文本生成和图像理解任务，支持128k令牌的上下文长度和多模态图像处理。

杜威是一种新型的长上下文嵌入模型，基于ModernBERT架构，支持128k上下文窗口，在长文档检索任务中表现优异。

基于谷歌Gemma-3模型的极致量化版本，采用NEO Imatrix技术增强性能，支持128k上下文长度，适用于全场景任务

QwQ-32B的增强版本，通过'立方'和'三重立方'方法提升推理和输出能力，支持128k上下文。

专为改革宗神学和圣经研究优化的语言模型，基于Mistral-Nemo-Instruct-2407构建，具备卓越的神学推理能力，支持128k标记的上下文窗口。

基于Llama 3.2的专家混合模型，整合四个3B模型形成10B参数模型，支持128k上下文长度，擅长指令遵循和全场景生成。

Llama-3.3-70B-Instruct是Meta发布的多语言大语言模型，针对多语言对话用例进行了优化，在多个行业基准测试中表现优异。

Llama 3.2是Meta推出的多语言大语言模型，提供1B和3B两种参数规模，支持多种语言任务，性能优于现有开源和闭源模型。

Llama 3.2系列是多语言大语言模型，包含1B和3B参数规模，针对多语言对话用例优化，包括代理检索和摘要任务。

Mistral-Nemo-Base-2407是由Mistral AI与NVIDIA联合训练的120亿参数生成式文本预训练模型，性能超越同规模或更小规模的模型。

Mistral-Nemo-Base-2407是由Mistral AI与NVIDIA联合训练的120亿参数生成式文本预训练模型，性能超越同类或更小规模的现有模型。

Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。

Mistral-Nemo-Instruct-2407是基于Mistral-Nemo-Base-2407进行指令微调的大语言模型，由Mistral AI与NVIDIA联合训练，性能超越同规模或更小的现有模型。

MiniCPM是由面壁智能与清华大学自然语言处理实验室联合开发的端侧大语言模型，非词嵌入参数量仅24亿（2.4B），支持128k上下文窗口。