Gte Multilingual Mlm Base
mGTE系列多語言文本編碼器,支持75種語言,最大上下文長度8192,基於BERT+RoPE+GLU架構,在GLUE和XTREME-R基準上表現優異
下載量 342
發布時間 : 8/6/2024
模型概述
通用多語言文本編碼器,專注於長上下文文本表示與重排序,適用於多語言檢索任務
模型特點
超長上下文支持
支持8192的最大序列長度,適合處理長文檔
多語言能力
支持75種語言,在多語言基準測試XTREME-R上表現優異
改進的架構設計
採用BERT+RoPE+GLU的transformer++架構,結合旋轉位置編碼(RoPE)和門控線性單元(GLU)
多階段訓練策略
採用從短序列到長序列的分階段訓練方法,有效支持長上下文建模
模型能力
多語言文本編碼
長文本表示
文本重排序
跨語言檢索
使用案例
信息檢索
跨語言文檔檢索
在多語言環境下檢索相關文檔
在XTREME-R基準上達到64.44分,優於XLM-R-base
自然語言理解
多語言文本分類
對多語言文本進行分類任務
在GLUE基準上達到83.47分
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98