GROVER

🚀 DNA語言模型GROVER

本項目是論文 DNA language model GROVER learns sequence context in the human genome 中所介紹的官方預訓練模型。該模型在基因組學領域具有重要價值，能幫助我們更好地理解人類基因組中的序列上下文信息。

🚀 快速開始

以下代碼展示瞭如何導入該模型的分詞器和模型本身：

from transformers import AutoTokenizer, AutoModelForMaskedLM

# 導入分詞器和模型
tokenizer = AutoTokenizer.from_pretrained("PoetschLab/GROVER")
model = AutoModelForMaskedLM.from_pretrained("PoetschLab/GROVER")

🔧 技術細節

一些初步分析表明，如果序列長度小於50個核苷酸，使用字節對編碼（Byte Pair Encoding，BPE）進行序列重新分詞會發生顯著變化。當序列長度超過50個核苷酸時，仍需注意序列邊緣部分。

為確保序列的分詞表示與原始分詞一致，建議在每個序列的開頭和結尾各添加100個核苷酸。

此外，我們還提供了經過分詞處理的染色體及其相應的核苷酸映射器（可在 tokenized chromosomes 文件夾中找到）。

⚠️ 重要提示

序列長度對字節對編碼（BPE）重新分詞有顯著影響，使用時需關注序列長度和邊緣部分。

💡 使用建議

為保證序列分詞表示與原始分詞一致，在每個序列的開頭和結尾各添加100個核苷酸。

📄 許可證

BibTeX引用信息

@article{sanabria2024dna,
  title={DNA language model GROVER learns sequence context in the human genome},
  author={Sanabria, Melissa and Hirsch, Jonas and Joubert, Pierre M and Poetsch, Anna R},
  journal={Nature Machine Intelligence},
  pages={1--13},
  year={2024},
  publisher={Nature Publishing Group UK London}
}