L

Language Perceiver

由deepmind開發
基於BERT的掩碼語言建模任務預訓練,支持處理UTF-8字節輸入的多模態Transformer模型
下載量 9,840
發布時間 : 3/2/2022

模型概述

感知器IO是一種通用Transformer架構,可應用於文本、圖像、音頻等多種模態。該語言模型直接在原始字節上訓練,無需分詞器,支持掩碼語言建模任務。

模型特點

字節級輸入處理
直接處理UTF-8字節,無需分詞器或固定詞彙表
多模態架構
基礎架構可擴展至圖像、音頻等其他模態
高效注意力機制
通過潛在向量實現與輸入規模無關的計算複雜度

模型能力

文本特徵提取
掩碼詞語預測
下游任務微調

使用案例

自然語言處理
文本補全
預測被掩碼的文本部分
在示例中成功預測'缺少部分'被掩碼的詞語
文本分類
通過微調用於情感分析等分類任務
GLUE基準測試平均得分81.8
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase