# 超長上下文處理

Kanana 1.5是Kakao開發的雙語大語言模型，在編程、數學和函數調用能力方面有顯著提升，支持32K tokens上下文長度，通過YaRN擴展技術可處理128K tokens超長文本。

J.A.R.V.I.S.是一款受《鋼鐵俠》啟發的先進AI語言模型，具備強大的文本生成能力和上下文感知能力。

Qwen3是通義千問系列大語言模型的最新版本，提供了一系列密集型和混合專家（MoE）模型，在推理、指令遵循、智能體能力和多語言支持方面取得了突破性進展。

Llama 4 Scout是Meta推出的170億參數混合專家架構(MoE)多模態模型，支持12種語言和圖像理解，採用topk=4專家動態融合機制。

羊駝4 Scout是Meta發佈的170億參數混合專家模型(MoE)，支持多語言文本和圖像理解，採用線性化專家模塊設計便於PEFT/LoRA兼容。

Llama 4 Scout是Meta開發的多模態大語言模型，採用混合專家架構，支持文本和圖像理解，參數規模170億（激活）/1090億（總計）。

基於NEO CLASS技術的8B參數大語言模型，具有32k上下文窗口和增強的指令遵循能力

由Gradient開發的Llama-3 8B長上下文擴展版本，支持超過100萬token的上下文長度，通過優化RoPE theta參數實現高效長文本處理能力。

Llama 3 8B 64K是基於Meta的Llama 3 8B模型，通過PoSE技術將上下文長度從8k擴展到64k，優化了語言生成能力，適用於對話等多種自然語言處理場景。

Tess-M-v1.3是基於Yi-34B-200K架構訓練的大語言模型，屬於通用大語言模型系列，具有超長上下文處理能力。

MPT-7B是由MosaicML訓練的開源商用大語言模型，基於1萬億標記的英文文本和代碼預訓練，採用改進的Transformer架構優化訓練和推理效率。