# 長序列處理

專為高質量代碼理解和語義檢索設計的最新預訓練模型，支持8種編程語言的長序列處理。

這是一個基於mistralai/Devstral-Small-2505模型的4位GPTQ量化版本，專為消費級硬件優化。

基於PubMed數據集訓練的句子轉換器模型，支持多種嵌入維度，適用於生物醫學文本處理。

Ruri v3是基於ModernBERT-Ja構建的日語通用文本嵌入模型，支持長達8192個標記的序列處理，具備日語文本嵌入任務的頂尖性能。

專為代碼搜索設計的句子轉換器模型，基於ModernBERT架構，支持2048標記的序列長度

Sapnous-6B是一款先進的視覺語言模型，通過強大的多模態能力提升對世界的感知和理解。

FANformer-1B是通過創新週期性機制增強語言建模能力的自迴歸模型，具有11億非嵌入參數，訓練token量達1萬億。

CodeModernBERT-Owl 是一個從頭預訓練的模型，專為代碼檢索與代碼理解任務設計，支持多種編程語言並提升檢索準確率。

Isoformer 是一個多模態生物序列模型，能夠處理DNA、RNA和蛋白質序列，並預測基因表達。

Zamba-7B-v1-phase1是狀態空間模型Mamba與Transformer的混合架構，以Mamba為主幹網絡，每6個模塊共享一個Transformer層，通過下一詞預測進行訓練。

基於粵語文本從頭訓練的大型BERT模型，適用於粵語文本的掩碼語言建模任務

Mistral-SUPRA是基於Mistral-7B初始化的線性RNN模型，兼具Transformer和循環模型的功能。

Saul-Instruct-v1-GGUF 是 Equall/Saul-Instruct-v1 模型的 GGUF 格式版本，適用於文本生成任務，支持多種量化級別。

phi-2-super-GGUF 是 abacaj/phi-2-super 模型的 GGUF 量化版本，適用於本地運行和文本生成任務。

Mamba是一個基於狀態空間模型(SSM)的高效語言模型，具有線性時間複雜度的序列建模能力。

Mamba 是一個與 transformers 兼容的高效序列模型，具有 7.9 億參數，適用於因果語言建模任務。

Mamba是一個與transformers兼容的序列建模模型，具有高效的推理能力。

Mamba是基於狀態空間模型(SSM)架構的高效語言模型，具有1.4B參數規模，支持文本生成任務

基於 Mistral-7B 的文本排序模型，提供多種量化版本，適用於高效推理。

Mixtral-8x7B-v0.1的GGUF量化版本，支持多種比特量化，適用於文本生成任務。

這是一個基於Mistral-7B-Instruct-v0.1微調的德語/英語雙語模型，採用GGUF格式量化，支持2-8比特多種量化級別。

SauerkrautLM Mixtral 8X7B 是一款基於 Mixtral 架構的多語言文本生成模型，經過 SFT 和 DPO 微調與對齊，支持英語、德語、法語、意大利語和西班牙語。

Mamba-1B是一個基於Mamba架構的1B參數規模的語言模型，支持英文文本生成任務。

Mythalion Kimiko v2 - AWQ 是 nRuaif 創建的 Mythalion Kimiko v2 模型的 AWQ 量化版本，具有高效、準確和快速推理等特點。

Dolphin 2.5 Mixtral 8X7B 是由 Eric Hartford 開發的一個基於 Mixtral 架構的大型語言模型，經過多種高質量數據集的微調，適用於多種自然語言處理任務。

Mixtral-8x7B是一個預訓練的生成式稀疏混合專家大語言模型，在多數基準測試中表現優於Llama 2 70B。

JAIS-30B是一個300億參數的雙語（阿拉伯語和英語）大語言模型，基於GPT-3架構，採用ALiBi位置嵌入技術，在阿拉伯語任務上達到最先進水平。

Llava v1.5 13B是由Haotian Liu開發的多模態模型，結合了視覺和語言能力，能夠理解和生成基於圖像和文本的內容。

Mistral 7B Instruct v0.1 的 GPTQ 量化版本，支持在 ExLlama 或 Transformers 框架下運行

130億參數阿拉伯語-英語雙語大語言模型，基於Transformer架構，支持長序列處理

CodeFuse-13B是基於GPT-NeoX框架訓練的130億參數代碼生成模型，支持40多種編程語言，能處理長達4096字符的代碼序列。

CodeLlama 34B 指導版是Meta發佈的340億參數代碼生成模型，基於Llama 2架構，專門針對編程任務進行微調。

一個基於GPT-J架構的韓語生成模型，擁有3.5億參數，適用於多種韓語文本生成任務。

LongT5 是一個基於 Transformer 的文本到文本模型，專門設計用於處理長序列輸入，最高支持 16384 個標記。

基於WikiText-103 v1數據集訓練的長序列Nyströmformer模型，支持4096長度的序列處理

基於WikiText-103數據集訓練的Nystromformer模型，支持長序列處理（2048 tokens）

該模型是基於facebook/wav2vec2-xls-r-2b在common_voice數據集上微調的語音識別模型

長T5是基於T5擴展的文本到文本Transformer模型，支持高效處理長序列輸入，特別適用於文本生成任務。

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理長達4096的序列，適用於長文檔任務。

面向中文理解與生成的預訓練非平衡Transformer模型，支持多種自然語言處理任務