M

Multilingual Albert Base Cased 128k

由 cservan 开发
基于掩码语言建模(MLM)目标预训练的多语言ALBERT模型,支持60+种语言,具有参数共享的轻量级架构
下载量 277
发布时间 : 12/20/2023

模型简介

这是一个区分大小写的多语言ALBERT模型,通过自监督方式在维基百科文本上预训练,适用于下游任务的微调。模型采用Transformer层权重共享机制,具有较小的内存占用。

模型特点

多语言支持
支持60多种语言的处理,包括主要欧洲和亚洲语言
参数共享架构
采用ALBERT特有的Transformer层权重共享机制,显著减少模型参数数量
区分大小写
与标准ALBERT不同,此模型能够区分单词的大小写形式
高效预训练
结合掩码语言建模(MLM)和句子顺序预测(SOP)两种预训练目标

模型能力

多语言文本理解
句子顺序预测
掩码词预测
下游任务微调

使用案例

自然语言处理
槽填充任务
用于对话系统中的信息提取任务
在MultiATIS++数据集上达到89.14的准确率
文本分类
用于多语言文本分类任务
在SNIPS数据集上达到96.84的准确率
命名实体识别
用于识别文本中的命名实体
在CoNLL2003数据集上达到88.27的F1分数
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase