Azbert Base

🚀 事前学習済み数学感知BERTモデル（azbert）

このプロジェクトでは、数学記号を感知できる事前学習済みBERTモデルを公開しています。このモデルは数学記号を特別に処理し、pya0 を使用してトークン化を行い、LaTeX記号に対して非常に限られた新しいトークンのみを追加しています（総語彙数はわずか31,061です）。

🚀 クイックスタート

モデルのダウンロードと試用

pip install pya0==0.3.2
wget https://vault.cs.uwaterloo.ca/s/gqstFZmWHCLGXe3/download -O ckpt.tar.gz
mkdir -p ckpt
tar xzf ckpt.tar.gz -C ckpt --strip-components=1
python test.py --test_file test.txt

テストファイルの形式

test.txt 内のテスト例を変更することでテストを行うことができます。

テストファイルはタブ区切りで、最初の列は右側の文に対して追加でマスクを行いたい位置です（これは数学記号内のトークンをマスクする際に非常に役立ちます）。0の場合、追加のマスク位置はありません。

出力例

Hugging Faceへのアップロード

このリポジトリは Github で管理されており、Hugging Face で鏡像が作成されています。

Hugging Faceにアップロードするには、upload2hgf.sh スクリプトを使用してください。このスクリプトを実行する前に、以下のことを確認してください。

• モデルとトークナイザーのチェックポイントが ./ckpt フォルダに作成されていること。
• モデルに必要なすべてのファイルが含まれていること：config.json と pytorch_model.bin。
• トークナイザーに必要なすべてのファイルが含まれていること：added_tokens.json、special_tokens_map.json、tokenizer_config.json、vocab.txt および tokenizer.json。
• tokenizer_config.json に tokenizer_file フィールドがないこと（時には ~/.cache にローカル保存されることがあります）。
• git-lfs がインストールされていること。
• hgf という名前のgitリモート参照が https://huggingface.co/castorini/azbert-base を指していること。

✨ 主な機能

• 数学感知：数学記号を特別に処理でき、pya0 を使用してトークン化を行います。
• 軽量語彙：LaTeX記号に対して非常に限られた新しいトークンのみを追加しており、総語彙数はわずか31,061です。

📦 インストール

pip install pya0==0.3.2
wget https://vault.cs.uwaterloo.ca/s/gqstFZmWHCLGXe3/download -O ckpt.tar.gz
mkdir -p ckpt
tar xzf ckpt.tar.gz -C ckpt --strip-components=1

🔧 技術詳細

このモデルは4 x 2 Tesla V100でトレーニングされ、総バッチサイズは64です。Math StackExchangeの270万の文を使用して7エポックのトレーニングを行いました。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。