Isoformer

🚀 Isoformer

Isoformerは、既存の手法を上回り、複数のモダリティを活用して、転写産物の差次的発現を正確に予測できるモデルです。当社のフレームワークは、DNAモダリティ用のEnformer、RNAモダリティ用のNucleotide Transformer v2、タンパク質モダリティ用のESM2という3つの事前学習済みエンコーダからの知識移行を効率的に実現します。

開発元: InstaDeep

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
import numpy as np
import torch

# Import the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained("InstaDeepAI/isoformer", trust_remote_code=True)
model = AutoModelForMaskedLM.from_pretrained("InstaDeepAI/isoformer",trust_remote_code=True)

protein_sequences = ["RSRSRSRSRSRSRSRSRSRSRL" * 9]
rna_sequences = ["ATTCCGGTTTTCA" * 9]
sequence_length = 196_608
rng = np.random.default_rng(seed=0)
dna_sequences = ["".join(rng.choice(list("ATCGN"), size=(sequence_length,)))]

torch_tokens = tokenizer(
    dna_input=dna_sequences, rna_input=rna_sequences, protein_input=protein_sequences
)
dna_torch_tokens = torch.tensor(torch_tokens[0]["input_ids"])
rna_torch_tokens = torch.tensor(torch_tokens[1]["input_ids"])
protein_torch_tokens = torch.tensor(torch_tokens[2]["input_ids"])

torch_output = model.forward(
    tensor_dna=dna_torch_tokens,
    tensor_rna=rna_torch_tokens,
    tensor_protein=protein_torch_tokens,
    attention_mask_rna=rna_torch_tokens != 1,
    attention_mask_protein=protein_torch_tokens != 1,
)

print(f"Gene expression predictions: {torch_output['gene_expression_predictions']}")
print(f"Final DNA embedding: {torch_output['final_dna_embeddings']}")

📚 ドキュメント

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📄 ライセンス

ドキュメントにライセンス情報が記載されていないため、このセクションは省略されます。

🔧 技術詳細

ドキュメントに技術的な詳細説明が十分に記載されていないため、このセクションは省略されます。

📦 データセット

📚 訓練データ

Isoformerは、GTexポータルから取得したRNA転写産物発現データで訓練されています。具体的には、5000人以上の30の組織にわたる転写産物TPM測定値です。合計で、データセットは約17万の一意の転写産物で構成されており、そのうち9万はタンパク質をコードし、約2万の一意の遺伝子に対応しています。