Ru Longformer Tiny 16384

🚀 ロシア語用Tiny Longformerモデル

このモデルは、ロシア語用に設計されたTiny Longformerモデルです。cointegrated/rubert-tiny2の重みから初期化され、最大16384トークンのコンテキスト長をサポートするように改変されています。 このモデルは、ロシア語の書籍、ニュース、ウィキ、Habrのデータセットでファインチューニングされていますが、元のモデルのおかげで英語も理解できます。詳細な情報は、Habr上の投稿をご覧ください。

✨ 主な機能

• テキスト埋め込みの生成にそのまま使用できます。
• 特定の下流タスクに合わせてさらにファインチューニングすることも可能です。

📦 インストール

pip install transformers sentencepiece

💻 使用例

基本的な使用法

# pip install transformers sentencepiece
import torch
from transformers import LongformerModel, LongformerTokenizerFast

model = LongformerModel.from_pretrained('kazzand/ru-longformer-tiny-16384')
tokenizer = LongformerTokenizerFast.from_pretrained('kazzand/ru-longformer-tiny-16384')

def get_cls_embedding(text, model, tokenizer, device='cuda'):
    model.to(device)
    batch = tokenizer(text, return_tensors='pt')

    #set global attention for cls token
    global_attention_mask = [
            [1 if token_id == tokenizer.cls_token_id else 0 for token_id in input_ids]
            for input_ids in batch["input_ids"]
        ]

    #add global attention mask to batch
    batch["global_attention_mask"] = torch.tensor(global_attention_mask)

    with torch.no_grad():
        output = model(**batch.to(device))
    return output.last_hidden_state[:,0,:]

📚 ドキュメント

モデル属性

P.S. AbstractDLに道義的および技術的なサポートを提供してくれたことに感謝します。