Kobigbird Bert Base

🚀 KoBigBird

韓国語用に事前学習されたBigBirdモデル（kobigbird-bert-base）です。このモデルは、韓国語の自然言語処理タスクに役立ちます。

✨ 主な機能

BigBirdは、Transformerベースのモデル（例えばBERT）をより長いシーケンスに拡張する、疎注意力（sparse-attention）ベースのTransformerです。通常の注意力（例えばBERTの注意力）の代わりにブロック疎注意力（block sparse attention） を利用しており、BERTと比較してはるかに低い計算コストで最大4096のシーケンスを扱うことができます。このモデルは韓国語BERTのチェックポイントからウォームスタートされています。

🚀 クイックスタート

概要

このセクションでは、KoBigBirdモデルの基本的な使い方を説明します。

注意事項

⚠️ 重要提示

BigBirdTokenizer ではなく BertTokenizer を使用してください。（AutoTokenizer は BertTokenizer をロードします）

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer

# by default its in `block_sparse` mode with num_random_blocks=3, block_size=64
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base")

# you can change `attention_type` to full attention like this:
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", block_size=16, num_random_blocks=2)

tokenizer = AutoTokenizer.from_pretrained("monologg/kobigbird-bert-base")
text = "한국어 BigBird 모델을 공개합니다!"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)