EXLMR
E
EXLMR
由 Hailay 开发
EXLMR是XLM-R的扩展版本,通过扩充分词器词汇表支持新语言并缓解未登录词问题,特别针对埃塞俄比亚低资源语言优化。
下载量 27
发布时间 : 8/21/2024
模型简介
EXLMR是基于XLM-RoBERTa的扩展模型,通过特殊方法初始化新增词汇嵌入,提升对低资源语言(如阿姆哈拉语、提格雷语)的支持能力,同时增强原XLM-R的高资源语言性能。
模型特点
词汇表扩展
词汇表从250002扩展至280147,有效缓解低资源语言的未登录词问题
跨语言优化
针对埃塞俄比亚弱势语言(如阿姆哈拉语、提格雷语)进行专项优化
嵌入初始化
采用特殊方法初始化新增词汇的嵌入表示,确保模型有效利用新词汇
模型能力
多语言文本分类
跨语言迁移学习
零样本分类
使用案例
自然语言处理
多语言文本分类
对阿姆哈拉语、提格雷语等低资源语言文本进行分类
相比XLM-R提升未登录词处理能力
跨语言问答系统
构建支持埃塞俄比亚语言的问答系统
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98