A

Arabictransformer Base

sultanによって開発
ファンネルTransformerとELECTRA目標を採用した効率的なアラビア語モデルで、計算コストが低く高性能
ダウンロード数 17
リリース時間 : 3/2/2022

モデル概要

このモデルはファンネルTransformerアーキテクチャとELECTRA目標を採用し、44GBのアラビア語コーパスで事前学習され、計算コストを大幅に削減しながら高性能を維持。様々なアラビア語NLPタスクに適しています。

モデル特徴

効率的な計算
ファンネルTransformerによる隠れ状態シーケンスの圧縮で、事前学習の計算コストを大幅に削減
ELECTRA目標
ELECTRA訓練目標を採用し、モデル効率とデータ利用率を向上
高性能
複数のアラビア語下流タスクで最先端レベルに近い性能を達成
リソース最適化
事前学習のリソース消費が同類の先進モデルよりも顕著に低い

モデル能力

テキスト分類
質問応答システム
アラビア語理解

使用事例

自然言語処理
アラビア語質問応答システム
TyDi QAアラビア語データセットでの応用
EM 74.70, F1 85.89
テキスト分類
アラビア語テキスト分類タスク
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase