# 128k長文本處理

Mistral Small 3.2 24B Instruct 2506 是一個多語言大語言模型，支持文本和圖像輸入，文本輸出，具有128k的上下文長度。

Qwen3是Qwen系列最新一代的大語言模型，提供了一系列密集和混合專家（MoE）模型。基於廣泛的訓練，Qwen3在推理、指令遵循、代理能力和多語言支持方面取得了突破性進展。

Qwen3-4B是Qwen系列最新一代的大語言模型，具有4B參數規模，支持128k上下文窗口和100多種語言，在推理、指令遵循和代理能力方面表現優異。

Meta Llama 3.1系列多語言大型語言模型，包含8B參數規模，針對多語言對話用例優化，支持8種語言。

Qwen2.5 VL 7B Instruct量化模型是一款強大的多模態模型，支持圖像和文本輸入並生成文本輸出，在多領域具有廣泛應用價值。

Granite-4.0-Tiny-Base-Preview 是IBM開發的70億參數混合專家(MoE)語言模型，具有128k token上下文窗口，採用Mamba-2技術增強表達能力。

Meta Llama 3.1系列是多語言大語言模型（LLMs）的集合，包括8B、70B和405B大小的預訓練和指令調優生成模型。8B版本針對多語言對話用例進行了優化，在常見基準測試中表現優異。

Google推出的Gemma 3 27B IT模型，適用於多種文本生成和圖像理解任務，支持128k令牌的上下文長度和多模態圖像處理。

杜威是一種新型的長上下文嵌入模型，基於ModernBERT架構，支持128k上下文窗口，在長文檔檢索任務中表現優異。

基於谷歌Gemma-3模型的極致量化版本，採用NEO Imatrix技術增強性能，支持128k上下文長度，適用於全場景任務

QwQ-32B的增強版本，通過'立方'和'三重立方'方法提升推理和輸出能力，支持128k上下文。

專為改革宗神學和聖經研究優化的語言模型，基於Mistral-Nemo-Instruct-2407構建，具備卓越的神學推理能力，支持128k標記的上下文窗口。

基於Llama 3.2的專家混合模型，整合四個3B模型形成10B參數模型，支持128k上下文長度，擅長指令遵循和全場景生成。

Llama-3.3-70B-Instruct是Meta發佈的多語言大語言模型，針對多語言對話用例進行了優化，在多個行業基準測試中表現優異。

Llama 3.2是Meta推出的多語言大語言模型，提供1B和3B兩種參數規模，支持多種語言任務，性能優於現有開源和閉源模型。

Llama 3.2系列是多語言大語言模型，包含1B和3B參數規模，針對多語言對話用例優化，包括代理檢索和摘要任務。

Mistral-Nemo-Base-2407是由Mistral AI與NVIDIA聯合訓練的120億參數生成式文本預訓練模型，性能超越同規模或更小規模的模型。

Mistral-Nemo-Base-2407是由Mistral AI與NVIDIA聯合訓練的120億參數生成式文本預訓練模型，性能超越同類或更小規模的現有模型。

Llama 3.1是Meta推出的多語言大語言模型系列，包含8B、70B和405B參數規模，支持8種語言和代碼生成，優化了多語言對話場景。

Mistral-Nemo-Instruct-2407是基於Mistral-Nemo-Base-2407進行指令微調的大語言模型，由Mistral AI與NVIDIA聯合訓練，性能超越同規模或更小的現有模型。

MiniCPM是由面壁智能與清華大學自然語言處理實驗室聯合開發的端側大語言模型，非詞嵌入參數量僅24億（2.4B），支持128k上下文窗口。