A

Arabictransformer Base

由sultan開發
基於漏斗Transformer和ELECTRA目標的高效阿拉伯語模型,計算成本低且性能優越
下載量 17
發布時間 : 3/2/2022

模型概述

該模型採用漏斗Transformer架構和ELECTRA目標,在44GB阿拉伯語語料庫上預訓練,顯著降低計算成本的同時保持高性能,適用於多種阿拉伯語NLP任務。

模型特點

高效計算
通過漏斗Transformer壓縮隱藏狀態序列,顯著降低預訓練計算成本
ELECTRA目標
採用ELECTRA訓練目標,提高模型效率和數據利用率
高性能
在多個阿拉伯語下游任務上達到或接近最先進水平
資源優化
預訓練資源消耗顯著低於同類先進模型

模型能力

文本分類
問答系統
阿拉伯語理解

使用案例

自然語言處理
阿拉伯語問答系統
在TyDi QA阿拉伯語數據集上的應用
EM 74.70, F1 85.89
文本分類
阿拉伯語文本分類任務
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase