Birna Bert

🚀 BiRNA - BERT模型

BiRNA - BERT是一種BERT風格的Transformer編碼器模型，可用於為RNA序列生成嵌入表示。該模型基於字節對編碼（BPE）標記和單個核苷酸進行訓練，因此它既能生成精細的核苷酸級嵌入，也能生成高效的序列級嵌入（使用BPE）。

BiRNA - BERT使用MosaicBERT框架進行訓練 - https://huggingface.co/mosaicml/mosaic - bert - base

🚀 快速開始

✨ 主要特性

• 能夠為RNA序列生成嵌入表示。
• 基於BPE標記和單個核苷酸訓練，可生成核苷酸級和序列級嵌入。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
import transformers
from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("buetnlpbio/birna-tokenizer")

config = transformers.BertConfig.from_pretrained("buetnlpbio/birna-bert")
mysterybert = AutoModelForMaskedLM.from_pretrained("buetnlpbio/birna-bert",config=config,trust_remote_code=True)
mysterybert.cls = torch.nn.Identity()

# To get sequence embeddings
seq_embed = mysterybert(**tokenizer("AGCTACGTACGT", return_tensors="pt"))
print(seq_embed.logits.shape) # CLS + 4 BPE token embeddings + SEP

# To get nucleotide embeddings
char_embed = mysterybert(**tokenizer("A G C T A C G T A C G T", return_tensors="pt")) 
print(char_embed.logits.shape) # CLS + 12 nucleotide token embeddings + SEP

高級用法

config = transformers.BertConfig.from_pretrained("buetnlpbio/birna-bert")
config.alibi_starting_size = 2048 # maximum sequence length updated to 2048 from config default of 1024

mysterybert = AutoModelForMaskedLM.from_pretrained("buetnlpbio/birna-bert",config=config,trust_remote_code=True)

📚 詳細文檔

文檔未提供詳細說明，故跳過此章節。

🔧 技術細節

文檔未提供技術實現細節，故跳過此章節。

📄 許可證

文檔未提供許可證信息，故跳過此章節。