C2S Pythia 410m Diverse Single And Multi Cell Tasks

🚀 C2S-Pythia-410m多樣單細胞和多細胞任務模型

本項目基於EleutherAI開發的Pythia - 410m架構，構建了C2S - Pythia - 410m多樣單細胞和多細胞任務模型。該模型通過Cell2Sentence（C2S）方法在來自CellxGene和人類細胞圖譜的大量單細胞RNA測序（scRNA - seq）數據集上進行微調。Cell2Sentence是一種前沿方法，它將scRNA - seq數據轉換為“細胞句子”，即基於表達水平排序的基因名稱序列，使大語言模型（LLMs）能夠應用於單細胞生物學領域。此模型經過訓練，可執行廣泛的單細胞和多細胞任務，是進行各種單細胞和多細胞分析的多功能工具。

✨ 主要特性

• 基於Pythia - 410m架構，經Cell2Sentence方法微調，適用於單細胞生物學分析。
• 能夠執行多種單細胞、多細胞以及基因集相關任務，功能豐富。

📦 安裝指南

文檔未提及安裝步驟，此部分跳過。

💻 使用示例

文檔未提供代碼示例，此部分跳過。

📚 詳細文檔

模型概述

這是C2S - Pythia - 410m多樣單細胞和多細胞任務模型，基於EleutherAI開發的Pythia - 410m架構，使用Cell2Sentence（C2S）在來自CellxGene和人類細胞圖譜的大量單細胞RNA測序（scRNA - seq）數據集上進行微調。Cell2Sentence是一種前沿方法，它將scRNA - seq數據轉換為“細胞句子”，即基於表達水平排序的基因名稱序列，使大語言模型（LLMs）能夠應用於單細胞生物學領域。該模型經過訓練，可執行廣泛的單細胞和多細胞任務，是進行各種單細胞和多細胞分析的多功能工具。

訓練數據

• 該模型在從CellxGene和人類細胞圖譜的800多個單細胞RNA測序數據集中收集的超過5700萬個人類和小鼠細胞上進行訓練。此數據集涵蓋了人類和小鼠多種組織的廣泛細胞類型和條件。
• 該模型在訓練時，每個細胞句子的基因數量可變，最大上下文長度為8192個標記。在C2S訓練之前，使用旋轉位置嵌入擴展了默認Pythia模型的上下文長度。
  • 細胞：對於多細胞樣本，每個訓練樣本包含5到20個細胞，同一樣本中的每個細胞具有相同數量的基因。
  • 基因：對於單細胞樣本，每個細胞句子包含100到2048個基因。對於多細胞樣本，每個細胞的細胞句子包含100到400個基因。

任務類型

單細胞任務

• 無條件單細胞生成：無條件生成單細胞句子。
• 細胞類型預測：預測給定單細胞的細胞類型。
• 細胞類型條件生成：基於特定細胞類型生成單細胞句子。

多細胞任務

• 無條件多細胞生成：無條件生成多個細胞句子。
• 組織預測：預測一組細胞的組織來源。
• 細胞類型預測：預測一組多個細胞中每個細胞的細胞類型。
• 組織條件多細胞生成：基於特定組織生成多個細胞句子。
• 細胞類型條件多細胞生成：基於每個單個細胞的細胞類型生成多個細胞句子。
• 多細胞到摘要：根據提供的多細胞句子生成研究論文摘要。
• 摘要到多細胞：根據給定的研究論文摘要生成多個細胞句子。

基因集任務

• 基因集名稱到基因：根據給定的基因集名稱生成按字母順序排列的基因列表。
• 基因到基因集名稱：根據按字母順序排列的基因列表生成基因集的名稱。

相關鏈接

Cell2Sentence鏈接

• GitHub：https://github.com/vandijklab/cell2sentence
• 論文：https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia鏈接

• 論文：https://arxiv.org/pdf/2304.01373
• Hugging Face：https://huggingface.co/EleutherAI/pythia-410m

🔧 技術細節

文檔未提供足夠的技術實現細節（少於50字的具體技術說明），此部分跳過。

📄 許可證

本模型使用CC - BY - NC - ND - 4.0許可證。

📋 信息表格