N

Nomic Xlm 2048

由 nomic-ai 开发
基于XLM-Roberta基础模型微调的版本,采用RoPE(旋转位置编码)替换原始位置嵌入,支持2048序列长度
下载量 440
发布时间 : 11/16/2024

模型简介

多语言编码器模型,适用于掩码语言建模和序列分类任务,在GLUE和XTREME-R基准测试中表现优异

模型特点

旋转位置编码(RoPE)
使用RoPE替代原始绝对位置编码,支持更长的序列长度
长序列支持
支持2048长度的序列处理,优于原始XLM-R的512长度限制
多语言能力
在多种语言任务上表现良好,特别是XTREME-R基准测试

模型能力

掩码语言建模
序列分类
多语言文本理解

使用案例

自然语言处理
多语言文本分类
对多语言文本进行分类任务
在XNLI等跨语言理解任务上表现良好
长文档处理
处理长序列文本任务
支持2048长度的序列处理
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase