Gobert

🚀 GoBERT：汎用的な遺伝子機能予測のための遺伝子オントロジーグラフ情報BERTモデル

GoBERTは、汎用的な遺伝子機能予測に特化したモデルです。遺伝子オントロジーグラフ情報を活用することで、遺伝子オントロジー（GO）機能間の関係を効果的に捉え、遺伝子または遺伝子産物に関連する様々な生物学的アプリケーション向けにGO機能埋め込みを生成します。

🚀 クイックスタート

以下のコードを使用して、このモデルを使い始めましょう。

from transformers import AutoTokenizer, BertForPreTraining
import torch

repo_name = "MM-YY-WW/GoBERT"
tokenizer = AutoTokenizer.from_pretrained(repo_name, use_fast=False, trust_remote_code=True)
model = BertForPreTraining.from_pretrained(repo_name)

# Obtain function-level GoBERT Embedding:
input_sequences = 'GO:0005739 GO:0005783 GO:0005829 GO:0006914 GO:0006915 GO:0006979 GO:0031966 GO:0051560'
tokenized_input = tokenizer(input_sequences)
input_tensor = torch.tensor(tokenized_input['input_ids']).unsqueeze(0)
attention_mask = torch.tensor(tokenized_input['attention_mask']).unsqueeze(0)

model.eval()
with torch.no_grad():
    outputs = model(input_ids=input_tensor, attention_mask=attention_mask, output_hidden_states=True)
    embedding = outputs.hidden_states[-1].squeeze(0).cpu().numpy() 

✨ 主な機能

• GO機能間の関係を捉えることができる最初のエンコーダーです。
• 遺伝子または遺伝子産物に関連する様々な生物学的アプリケーション向けにGO機能埋め込みを生成できます。

📚 ドキュメント

モデルの詳細

GoBERT：汎用的な遺伝子機能予測のための遺伝子オントロジーグラフ情報BERTモデル。

モデルの説明

このモデルは、GO機能間の関係を捉えることができる最初のエンコーダーであり、遺伝子または遺伝子産物に関連する様々な生物学的アプリケーション向けにGO機能埋め込みを生成します。遺伝子 - GO機能マッピングデータベースについては、我々の以前の研究であるUniEtnrezDB（https://zenodo.org/records/13335548 上のUniEntrezGOA.zip）を参照してください。

モデルの出所

• リポジトリのURL：https://github.com/MM-YY-WW/GoBERT
• 論文：GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction. (AAAI - 25)
• デモのURL：https://gobert.nasy.moe/

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

🔖 引用

このモデルを使用した場合は、以下の形式で引用してください。

@inproceedings{miao2025gobert,
  title={GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction},
  author={Miao, Yuwei and Guo, Yuzhi and Ma, Hehuan and Yan, Jingquan and Jiang, Feng and Liao, Rui and Huang, Junzhou},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={39},
  number={1},
  pages={622--630},
  year={2025},
  doi={10.1609/aaai.v39i1.32043}
}