Birna Bert

🚀 BiRNA - BERT

BiRNA - BERTは、RNA配列の埋め込みを生成するBERTスタイルのトランスフォーマーエンコーダモデルです。このモデルは、BPEトークンと個々のヌクレオチドで学習されています。そのため、粒度の細かいヌクレオチドレベルの埋め込みと効率的な配列レベルの埋め込み（BPEを使用）の両方を生成することができます。

BiRNA - BERTは、MosaicBERTフレームワークを使用して学習されました - https://huggingface.co/mosaicml/mosaic - bert - base

🚀 クイックスタート

BiRNA - BERTは、RNA配列の埋め込みを生成するためのBERTスタイルのトランスフォーマーエンコーダモデルです。以下に使用方法を示します。

💻 使用例

基本的な使用法

import torch
import transformers
from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("buetnlpbio/birna-tokenizer")

config = transformers.BertConfig.from_pretrained("buetnlpbio/birna-bert")
mysterybert = AutoModelForMaskedLM.from_pretrained("buetnlpbio/birna-bert",config=config,trust_remote_code=True)
mysterybert.cls = torch.nn.Identity()

# To get sequence embeddings
seq_embed = mysterybert(**tokenizer("AGCTACGTACGT", return_tensors="pt"))
print(seq_embed.logits.shape) # CLS + 4 BPE token embeddings + SEP

# To get nucleotide embeddings
char_embed = mysterybert(**tokenizer("A G C T A C G T A C G T", return_tensors="pt")) 
print(char_embed.logits.shape) # CLS + 12 nucleotide token embeddings + SEP

高度な使用法

# 最大シーケンス長を明示的に増やす方法
config = transformers.BertConfig.from_pretrained("buetnlpbio/birna-bert")
config.alibi_starting_size = 2048 # maximum sequence length updated to 2048 from config default of 1024

mysterybert = AutoModelForMaskedLM.from_pretrained("buetnlpbio/birna-bert",config=config,trust_remote_code=True)