M

M2 Bert 80M 32k Retrieval

由togethercomputer開發
這是一個80M參數的M2-BERT預訓練模型,支持長達32768的序列長度,專為長上下文檢索任務優化
下載量 1,274
發布時間 : 11/4/2023

模型概述

基於Monarch Mixer架構的BERT變體模型,針對長文本檢索任務進行了微調,能夠生成高質量的文本嵌入向量

模型特點

超長上下文處理
支持長達32768個token的序列長度,適合處理長文檔檢索任務
高效架構
採用Monarch Mixer次二次方架構,在保持性能的同時提高計算效率
檢索優化
專門針對檢索任務進行微調,生成768維的高質量文本嵌入

模型能力

長文本相似度計算
語義檢索
文本嵌入生成

使用案例

信息檢索
長文檔檢索
從大量長文檔中快速找到相關內容
能夠有效處理長達32k token的文檔
語義搜索
基於語義而非關鍵詞的文檔搜索
生成高質量的語義嵌入向量
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase