Arabic T5 Small

🚀 阿拉伯语T5小模型

该模型是基于T5v1.1（小模型）架构，在阿拉伯语十亿词料库以及mC4和Oscar数据集中的阿拉伯语子集的拼接数据上训练得到的，能够助力阿拉伯语相关的自然语言处理任务。

🚀 快速开始

本模型是在阿拉伯语十亿词料库与mC4和Oscar数据集中的阿拉伯语子集拼接数据上训练的T5v1.1（小模型）。由于时间限制，模型仅在整个数据集的约10%上进行了训练，相当于22000步或约43亿个词元。

✨ 主要特性

• 训练数据丰富：使用阿拉伯语十亿词料库以及mC4和Oscar数据集中的阿拉伯语子集进行训练。
• 保留阿拉伯语变音符号：与其他预训练阿拉伯语语言模型不同，本模型保留了阿拉伯语变音符号并将其作为词汇表的一部分。
• 灵活微调：预训练时关闭了Dropout，微调时可重新开启以适应不同任务。

📚 详细文档

训练参数

预处理和分词器

• 预处理尽量简化，仅用固定词元替换URL、电子邮件和社交媒体用户提及。
• 与其他预训练阿拉伯语语言模型不同，不剥离阿拉伯语变音符号，将其保留在词汇表中。
• 分词器在训练集的5%上进行训练，词汇表大小为64000。
• 有关预处理的更多详细信息，请查看分词器代码。

数据

• 模型在阿拉伯语十亿词料库与mC4和Oscar数据集中的阿拉伯语子集的拼接数据上进行训练。
• 随机抽取数据的0.1%作为评估集，其余用于训练。

结果

微调注意事项

本模型在预训练时关闭了Dropout，因此模型配置中的默认dropout_rate为0。要微调模型，应重新开启Dropout，示例代码如下：

💻 使用示例

基础用法

model = T5ForConditionalGeneration.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)

高级用法

model = AutoModelForSeq2SeqLM.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)