Alephbert Base

🚀 AlephBERT

AlephBERTはヘブライ語向けの先進的な言語モデルです。このモデルはGoogleのBERTアーキテクチャに基づいており、ヘブライ語に関連する自然言語処理タスクに強力なサポートを提供します。

🚀 クイックスタート

以下はAlephBERTを使用する基本的なコード例です。

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# if not finetuning - disable dropout
alephbert.eval()

✨ 主な機能

• GoogleのBERTアーキテクチャに基づいた、ヘブライ語の先進的な言語モデルです。

💻 使用例

基本的な使用法

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# if not finetuning - disable dropout
alephbert.eval()

📚 ドキュメント

📦 訓練データ

1. OSCAR (Ortiz, 2019) のヘブライ語部分（10 GBのテキスト、2000万文）。
2. ウィキペディア のヘブライ語ダンプ（650 MBのテキスト、300万文）。
3. Twitterのサンプルストリームから収集されたヘブライ語のツイート（7 GBのテキスト、7000万文）。

🔧 技術詳細

AlephBERTはDGXマシン（8つのV100 GPU）上で、標準的なhuggingface訓練プログラムを使用して訓練されました。大部分の訓練データがツイートに基づいているため、マスク言語モデル損失のみを使用して最適化することにしました。訓練時間を最適化するために、データを最大トークン数に基づいて4つの部分に分割しました。

1. トークン数 < 32（7000万文）
2. 32 <= トークン数 < 64（1200万文）
3. 64 <= トークン数 < 128（1000万文）
4. 128 <= トークン数 < 512（150万文）

各部分は最初に1e - 4の初期学習率で5エポック訓練され、次に1e - 5の初期学習率で5エポック訓練され、合計10エポックの訓練が行われました。総訓練時間は8日間でした。

📄 ライセンス

本プロジェクトはApache 2.0ライセンスの下で提供されています。