Ru Longformer Base 4096

🚀 俄语长序列模型（ru-longformer-base-4096）

这是一个专为俄语设计的基础Longformer模型。它基于blinoff/roberta-base-russian-v0的权重进行初始化，并经过修改以支持最长4096个标记的上下文长度。该模型在俄语书籍数据集上进行了微调。如需详细信息，请查看我们在Habr上的文章。

🚀 快速开始

此模型可以直接用于生成文本嵌入，也可以针对特定的下游任务进行进一步微调。

✨ 主要特性

• 支持最长4096个标记的上下文长度。
• 具有12个注意力头和12个隐藏层。

💻 使用示例

基础用法

# pip install transformers sentencepiece
import torch
from transformers import LongformerForMaskedLM, LongformerTokenizerFast

model = LongformerModel.from_pretrained('kazzand/ru-longformer-base-4096')
tokenizer = LongformerTokenizerFast.from_pretrained('kazzand/ru-longformer-base-4096')

def get_cls_embedding(text, model, tokenizer, device='cuda'):
    model.to(device)
    batch = tokenizer(text, return_tensors='pt')

    #set global attention for cls token
    global_attention_mask = [
            [1 if token_id == tokenizer.cls_token_id else 0 for token_id in input_ids]
            for input_ids in batch["input_ids"]
        ]

    #add global attention mask to batch
    batch["global_attention_mask"] = torch.tensor(global_attention_mask)

    with torch.no_grad():
        output = model(**batch.to(device))
    return output.last_hidden_state[:,0,:]

📚 详细文档

模型属性