Bert Ascii Small
B
Bert Ascii Small
由 aajrami 开发
一个小型BERT语言模型,通过预测被遮蔽标记中字符的ASCII码值之和作为预训练目标进行预训练。
下载量 14
发布时间 : 11/9/2022
模型简介
该模型是一个小型BERT语言模型,采用独特的预训练目标,通过预测被遮蔽标记中字符的ASCII码值之和来学习语言属性。
模型特点
独特的预训练目标
使用被遮蔽标记中字符的ASCII码值之和作为预测目标,而非传统的标记预测。
小型模型
相比标准BERT模型,这是一个参数规模较小的版本。
研究导向
主要用于研究预训练目标如何影响语言模型对语言属性的学习。
模型能力
语言模型预训练
语言属性学习研究
使用案例
语言模型研究
预训练目标影响研究
研究不同预训练目标对语言模型学习语言属性的影响
可参考相关论文中的实验结果
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98