Kobigbird Bert Base

🚀 KoBigBird

用於韓語的預訓練BigBird模型（kobigbird-bert-base），能處理更長的序列，降低計算成本

🚀 快速開始

模型簡介

BigBird是一種基於稀疏注意力機制的Transformer模型，它將基於Transformer的模型（如BERT）擴展到更長的序列。BigBird依賴於塊稀疏注意力而非普通注意力（即BERT的注意力機制），與BERT相比，它能夠以更低的計算成本處理長度達4096的序列。該模型從韓語BERT的檢查點進行熱啟動。

基本信息

使用說明

⚠️ 重要提示

使用BertTokenizer而不是BigBirdTokenizer。（AutoTokenizer將加載BertTokenizer）

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

# by default its in `block_sparse` mode with num_random_blocks=3, block_size=64
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base")

# you can change `attention_type` to full attention like this:
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = AutoModel.from_pretrained("monologg/kobigbird-bert-base", block_size=16, num_random_blocks=2)

tokenizer = AutoTokenizer.from_pretrained("monologg/kobigbird-bert-base")
text = "한국어 BigBird 모델을 공개합니다!"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

模型圖示