xlm-roberta-longformer-base-16384开源多语言模型 - 长上下文支持下游任务微调

Xlm Roberta Longformer Base 16384

Developed by severinsimmler

基于XLM-RoBERTa权重初始化的多语言版Longformer模型，支持16384的上下文长度，适用于下游任务的微调。

Downloads 5,438

Release Time : 4/20/2023

Model Overview

该模型是XLM-RoBERTa与Longformer架构的结合，支持多语言处理，特别适合需要处理长文本的任务。

多语言支持

支持超过100种语言，适用于多语言自然语言处理任务。

长文本处理

基于Longformer架构，支持16384的上下文长度，适合处理长文档。

基于XLM-RoBERTa

使用XLM-RoBERTa权重初始化，继承了其强大的多语言表示能力。

文本分类

问答

命名实体识别

长文本处理

多语言文本分析

自然语言处理

多语言文档分类

对多语言长文档进行分类。

跨语言问答系统

构建支持多种语言的问答系统。

属性	详情
模型名称	xlm-roberta-longformer-base-16384
支持语言	多语言（af、am、ar、as、az、be、bg、bn、br、bs、ca、cs、cy、da、de、el、en、eo、es、et、eu、fa、fi、fr、fy、ga、gd、gl、gu、ha、he、hi、hr、hu、hy、id、is、it、ja、jv、ka、kk、km、kn、ko、ku、ky、la、lo、lt、lv、mg、mk、ml、mn、mr、ms、my、ne、nl、no、om、or、pa、pl、ps、pt、ro、ru、sa、sd、si、sk、sl、so、sq、sr、su、sv、sw、ta、te、th、tl、tr、ug、uk、ur、uz、vi、xh、yi、zh 等）