GROVER

🚀 DNA语言模型GROVER

本项目是论文 DNA language model GROVER learns sequence context in the human genome 中所介绍的官方预训练模型。该模型在基因组学领域具有重要价值，能帮助我们更好地理解人类基因组中的序列上下文信息。

🚀 快速开始

以下代码展示了如何导入该模型的分词器和模型本身：

from transformers import AutoTokenizer, AutoModelForMaskedLM

# 导入分词器和模型
tokenizer = AutoTokenizer.from_pretrained("PoetschLab/GROVER")
model = AutoModelForMaskedLM.from_pretrained("PoetschLab/GROVER")

🔧 技术细节

一些初步分析表明，如果序列长度小于50个核苷酸，使用字节对编码（Byte Pair Encoding，BPE）进行序列重新分词会发生显著变化。当序列长度超过50个核苷酸时，仍需注意序列边缘部分。

为确保序列的分词表示与原始分词一致，建议在每个序列的开头和结尾各添加100个核苷酸。

此外，我们还提供了经过分词处理的染色体及其相应的核苷酸映射器（可在 tokenized chromosomes 文件夹中找到）。

⚠️ 重要提示

序列长度对字节对编码（BPE）重新分词有显著影响，使用时需关注序列长度和边缘部分。

💡 使用建议

为保证序列分词表示与原始分词一致，在每个序列的开头和结尾各添加100个核苷酸。

📄 许可证

BibTeX引用信息

@article{sanabria2024dna,
  title={DNA language model GROVER learns sequence context in the human genome},
  author={Sanabria, Melissa and Hirsch, Jonas and Joubert, Pierre M and Poetsch, Anna R},
  journal={Nature Machine Intelligence},
  pages={1--13},
  year={2024},
  publisher={Nature Publishing Group UK London}
}