Ru Longformer Base 4096

🚀 俄語長序列模型（ru-longformer-base-4096）

這是一個專為俄語設計的基礎Longformer模型。它基於blinoff/roberta-base-russian-v0的權重進行初始化，並經過修改以支持最長4096個標記的上下文長度。該模型在俄語書籍數據集上進行了微調。如需詳細信息，請查看我們在Habr上的文章。

🚀 快速開始

此模型可以直接用於生成文本嵌入，也可以針對特定的下游任務進行進一步微調。

✨ 主要特性

• 支持最長4096個標記的上下文長度。
• 具有12個注意力頭和12個隱藏層。

💻 使用示例

基礎用法

# pip install transformers sentencepiece
import torch
from transformers import LongformerForMaskedLM, LongformerTokenizerFast

model = LongformerModel.from_pretrained('kazzand/ru-longformer-base-4096')
tokenizer = LongformerTokenizerFast.from_pretrained('kazzand/ru-longformer-base-4096')

def get_cls_embedding(text, model, tokenizer, device='cuda'):
    model.to(device)
    batch = tokenizer(text, return_tensors='pt')

    #set global attention for cls token
    global_attention_mask = [
            [1 if token_id == tokenizer.cls_token_id else 0 for token_id in input_ids]
            for input_ids in batch["input_ids"]
        ]

    #add global attention mask to batch
    batch["global_attention_mask"] = torch.tensor(global_attention_mask)

    with torch.no_grad():
        output = model(**batch.to(device))
    return output.last_hidden_state[:,0,:]

📚 詳細文檔

模型屬性