G

Gte Multilingual Mlm Base

由Alibaba-NLP開發
mGTE系列多語言文本編碼器,支持75種語言,最大上下文長度8192,基於BERT+RoPE+GLU架構,在GLUE和XTREME-R基準上表現優異
下載量 342
發布時間 : 8/6/2024

模型概述

通用多語言文本編碼器,專注於長上下文文本表示與重排序,適用於多語言檢索任務

模型特點

超長上下文支持
支持8192的最大序列長度,適合處理長文檔
多語言能力
支持75種語言,在多語言基準測試XTREME-R上表現優異
改進的架構設計
採用BERT+RoPE+GLU的transformer++架構,結合旋轉位置編碼(RoPE)和門控線性單元(GLU)
多階段訓練策略
採用從短序列到長序列的分階段訓練方法,有效支持長上下文建模

模型能力

多語言文本編碼
長文本表示
文本重排序
跨語言檢索

使用案例

信息檢索
跨語言文檔檢索
在多語言環境下檢索相關文檔
在XTREME-R基準上達到64.44分,優於XLM-R-base
自然語言理解
多語言文本分類
對多語言文本進行分類任務
在GLUE基準上達到83.47分
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase