Alephbert Base

🚀 AlephBERT

AlephBERT是一款針對希伯來語的先進語言模型，它基於谷歌的BERT架構，能夠為希伯來語相關的自然語言處理任務提供強大支持。

🚀 快速開始

以下是使用AlephBERT的基本示例代碼：

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# if not finetuning - disable dropout
alephbert.eval()

✨ 主要特性

• 基於谷歌的BERT架構，是希伯來語的先進語言模型。

💻 使用示例

基礎用法

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# if not finetuning - disable dropout
alephbert.eval()

📚 詳細文檔

📦 訓練數據

1. OSCAR (Ortiz, 2019) 希伯來語部分（10 GB文本，2000萬句子）。
2. 維基百科 希伯來語轉儲（650 MB文本，300萬句子）。
3. 從Twitter樣本流收集的希伯來語推文（7 GB文本，7000萬句子）。

🔧 技術細節

AlephBERT在DGX機器（8個V100 GPU）上使用標準的huggingface訓練程序進行訓練。由於大部分訓練數據基於推文，因此決定僅使用掩碼語言模型損失進行優化。為了優化訓練時間，將數據根據最大標記數分為4個部分：

1. 標記數 < 32（7000萬句子）
2. 32 <= 標記數 < 64（1200萬句子）
3. 64 <= 標記數 < 128（1000萬句子）
4. 128 <= 標記數 < 512（150萬句子）

每個部分先以1e - 4的初始學習率訓練5個epoch，然後再以1e - 5的初始學習率訓練5個epoch，總共訓練10個epoch。總訓練時間為8天。

📄 許可證

本項目採用Apache 2.0許可證。