Byt5 Small English
历史多语言与单语言ByT5基础模型,当前版本专注于英语文本处理。
下载量 30
发布时间 : 4/8/2023
模型简介
基于ByT5架构的基础语言模型,专门针对英语文本进行预训练,适用于多种自然语言处理任务。
模型特点
历史文本优化
基于大英图书馆书籍语料库训练,特别适合处理历史文献和书籍文本。
多任务适应
在命名实体识别等下游任务上表现优异,平均F1分数达85以上。
高效训练
使用单个v3-8 TPU进行预训练,训练效率高。
模型能力
英语文本理解
命名实体识别
历史文献处理
使用案例
学术研究
历史文献分析
对大英图书馆历史书籍进行命名实体识别和信息提取
在英语AjMC数据集上F1分数达85.65
信息提取
多语言实体识别
处理英语、德语、法语等多种语言的命名实体识别任务
在德语AjMC上F1分数87.27,法语AjMC上84.44
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98