L

Language Perceiver

Developed by deepmind
基于BERT的掩码语言建模任务预训练,支持处理UTF-8字节输入的多模态Transformer模型
Downloads 9,840
Release Time : 3/2/2022

Model Overview

感知器IO是一种通用Transformer架构,可应用于文本、图像、音频等多种模态。该语言模型直接在原始字节上训练,无需分词器,支持掩码语言建模任务。

Model Features

字节级输入处理
直接处理UTF-8字节,无需分词器或固定词汇表
多模态架构
基础架构可扩展至图像、音频等其他模态
高效注意力机制
通过潜在向量实现与输入规模无关的计算复杂度

Model Capabilities

文本特征提取
掩码词语预测
下游任务微调

Use Cases

自然语言处理
文本补全
预测被掩码的文本部分
在示例中成功预测'缺少部分'被掩码的词语
文本分类
通过微调用于情感分析等分类任务
GLUE基准测试平均得分81.8
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase