C2S Scale Pythia 1b Pt

🚀 C2S-Scale-1B預訓練模型

本項目的C2S-Scale-1B預訓練模型基於EleutherAI開發的Pythia - 1b架構，利用Cell2Sentence（C2S）框架在來自CellxGene和人類細胞圖譜（Human Cell Atlas）的大量單細胞RNA測序（scRNA - seq）數據集上進行了微調。Cell2Sentence是一種前沿方法，它通過將scRNA - seq數據轉換為“細胞句子”（基於表達水平排序的基因名稱序列），使大語言模型（LLMs）適用於單細胞生物學。該模型經過訓練，可執行廣泛的單細胞和多細胞任務，是進行各種單細胞和多細胞分析的通用工具。

✨ 主要特性

• 基於Pythia - 1b架構，利用Cell2Sentence框架微調。
• 可執行多種單細胞和多細胞任務，具有廣泛適用性。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

📚 詳細文檔

模型概述

這是C2S - Scale - 1B預訓練模型，基於EleutherAI開發的Pythia - 1b架構，在CellxGene和人類細胞圖譜的大量單細胞RNA測序（scRNA - seq）數據集上，使用Cell2Sentence（C2S）框架進行了微調。Cell2Sentence是一種先進方法，能將scRNA - seq數據轉換為“細胞句子”，從而使大語言模型適用於單細胞生物學。該模型經過訓練，可執行多種單細胞和多細胞任務，是單細胞和多細胞分析的通用工具。

訓練數據

該模型在從CellxGene和人類細胞圖譜的800多個單細胞RNA測序數據集中收集的超過5700萬個人類和小鼠細胞上進行了訓練。此數據集涵蓋了人類和小鼠多種組織的廣泛細胞類型和條件。

該模型在訓練時，每個細胞句子的基因數量可變，最大上下文長度為8192個標記。在C2S訓練之前，使用旋轉位置嵌入擴展了默認Pythia模型的上下文長度。

• 細胞：對於多細胞樣本，每個訓練樣本包含5到20個細胞，同一樣本中的每個細胞具有相同數量的基因。
• 基因：對於單細胞樣本，每個細胞句子包含100到2048個基因。對於多細胞樣本，每個細胞的細胞句子包含100到400個基因。

任務

該模型設計用於以下任務：

單細胞任務

• 無條件單細胞生成：無條件生成單細胞句子。
• 細胞類型預測：預測給定單細胞的細胞類型。
• 細胞類型條件生成：基於特定細胞類型生成單細胞句子。

多細胞任務

• 無條件多細胞生成：無條件生成多個細胞句子。
• 組織預測：預測一組細胞的組織來源。
• 細胞類型預測：預測一組多個細胞中每個細胞的細胞類型。
• 組織條件多細胞生成：基於特定組織生成多個細胞句子。
• 細胞類型條件多細胞生成：基於每個單個細胞的細胞類型生成多個細胞句子。
• 多細胞到摘要：根據提供的多細胞句子生成研究論文摘要。
• 摘要到多細胞：根據給定的研究論文摘要生成多個細胞句子。

基因集任務

• 基因集名稱到基因：根據基因集名稱生成按字母順序排列的基因列表。
• 基因到基因集名稱：根據按字母順序排列的基因列表生成基因集名稱。

相關鏈接

Cell2Sentence鏈接

• GitHub：https://github.com/vandijklab/cell2sentence
• 論文：https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia鏈接

• 論文：https://arxiv.org/pdf/2304.01373
• Hugging Face：https://huggingface.co/EleutherAI/pythia - 410m

📄 許可證

本模型採用CC - BY - NC - ND - 4.0許可證。

📋 信息表格