Gobert

🚀 GoBERT：用於通用基因功能預測的基因本體圖信息BERT模型

GoBERT是一款專門用於通用基因功能預測的模型，它藉助基因本體圖信息，能夠有效捕捉基因本體（GO）功能之間的關係，為與基因或基因產物相關的各類生物學應用生成GO功能嵌入。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, BertForPreTraining
import torch

repo_name = "MM-YY-WW/GoBERT"
tokenizer = AutoTokenizer.from_pretrained(repo_name, use_fast=False, trust_remote_code=True)
model = BertForPreTraining.from_pretrained(repo_name)

# Obtain function-level GoBERT Embedding:
input_sequences = 'GO:0005739 GO:0005783 GO:0005829 GO:0006914 GO:0006915 GO:0006979 GO:0031966 GO:0051560'
tokenized_input = tokenizer(input_sequences)
input_tensor = torch.tensor(tokenized_input['input_ids']).unsqueeze(0)
attention_mask = torch.tensor(tokenized_input['attention_mask']).unsqueeze(0)

model.eval()
with torch.no_grad():
    outputs = model(input_ids=input_tensor, attention_mask=attention_mask, output_hidden_states=True)
    embedding = outputs.hidden_states[-1].squeeze(0).cpu().numpy() 

✨ 主要特性

• 首個能夠捕捉GO功能之間關係的編碼器。
• 可為與基因或基因產物相關的各種生物學應用生成GO功能嵌入。

📚 詳細文檔

模型詳情

GoBERT：用於通用基因功能預測的基因本體圖信息BERT模型。

模型描述

該模型是首個能夠捕捉GO功能之間關係的編碼器，可為與基因或基因產物相關的各種生物學應用生成GO功能嵌入。關於基因 - GO功能映射數據庫，請參考我們之前的工作UniEtnrezDB（https://zenodo.org/records/13335548 上的UniEntrezGOA.zip）。

模型來源

• 倉庫地址：https://github.com/MM-YY-WW/GoBERT
• 論文：GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction. (AAAI - 25)
• 演示地址：https://gobert.nasy.moe/

📄 許可證

本項目採用MIT許可證。

🔖 引用

如果您使用了該模型，請按照以下格式引用：

@inproceedings{miao2025gobert,
  title={GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction},
  author={Miao, Yuwei and Guo, Yuzhi and Ma, Hehuan and Yan, Jingquan and Jiang, Feng and Liao, Rui and Huang, Junzhou},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={39},
  number={1},
  pages={622--630},
  year={2025},
  doi={10.1609/aaai.v39i1.32043}
}