Alephbert Base

🚀 AlephBERT

AlephBERT是一款先進的希伯來語語言模型，基於谷歌的BERT架構，能夠有效處理希伯來語相關的自然語言處理任務，為希伯來語的語言理解和生成提供強大支持。

🚀 快速開始

以下是使用AlephBERT的示例代碼：

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# if not finetuning - disable dropout
alephbert.eval()

✨ 主要特性

• 基於谷歌的BERT架構，是最先進的希伯來語語言模型。

📚 詳細文檔

訓練數據

1. OSCAR (Ortiz, 2019) 希伯來語部分（10GB文本，2000萬句子）。
2. 維基百科 的希伯來語轉儲（650MB文本，300萬句子）。
3. 從Twitter樣本流收集的希伯來語推文（7GB文本，7000萬句子）。

訓練過程

在DGX機器（8個V100 GPU）上使用標準的huggingface訓練程序進行訓練。 由於大部分訓練數據基於推文，因此決定先僅使用掩碼語言模型損失進行優化。 為了優化訓練時間，根據最大標記數將數據分為4個部分：

1. 標記數 < 32（7000萬句子）
2. 32 <= 標記數 < 64（1200萬句子）
3. 64 <= 標記數 < 128（1000萬句子）
4. 128 <= 標記數 < 512（150萬句子）

每個部分首先以1e - 4的初始學習率訓練5個週期，然後再以1e - 5的初始學習率訓練5個週期，總共訓練10個週期。 總訓練時間為8天。

📄 許可證

本項目採用Apache-2.0許可證。