C2S Pythia 410m Diverse Single And Multi Cell Tasks

🚀 C2S-Pythia-410m-diverse-single-and-multi-cell-tasksモデル

このモデルは、EleutherAIによって開発されたPythia - 410mアーキテクチャに基づき、Cell2Sentence (C2S) を用いて、CellxGeneとHuman Cell Atlasからの多数の単一細胞RNAシーケンシング (scRNA - seq) データセットでファインチューニングされたC2S - Pythia - 410m - diverse - single - and - multi - cell - tasksモデルです。Cell2Sentenceは、scRNA - seqデータを「細胞文」（発現レベルに基づく遺伝子名の順序付き配列）に変換することで、大規模言語モデル (LLM) を単一細胞生物学に適応させる最先端の手法です。このモデルは、幅広い単一細胞および複数細胞のタスクを実行するように訓練されており、様々な単一細胞および複数細胞の分析に汎用的なツールとなっています。

✨ 主な機能

このモデルは、以下のような多様なタスクに対応しています。

• 単一細胞タスク：無条件の単一細胞生成、細胞タイプ予測、特定の細胞タイプを条件とした単一細胞文の生成など。
• 複数細胞タスク：無条件の複数細胞文の生成、細胞群の組織起源の予測、複数細胞群内の各細胞の細胞タイプ予測、特定の組織を条件とした複数細胞文の生成、各個々の細胞の細胞タイプを条件とした複数細胞文の生成、複数細胞文に基づく研究論文のアブストラクトの生成、研究論文のアブストラクトに基づく複数細胞文の生成など。
• 遺伝子セットタスク：遺伝子セット名から遺伝子のアルファベット順リストの生成、遺伝子のアルファベット順リストから遺伝子セット名の生成。

📦 訓練データ

このモデルは、CellxGeneとHuman Cell Atlasからの800以上の単一細胞RNAシーケンシングデータセットから収集された5700万以上のヒトおよびマウスの細胞を用いて訓練されました。このデータセットは、ヒトとマウスの複数の組織からの幅広い細胞タイプと条件をカバーしています。

このモデルは、各細胞文に含まれる遺伝子の数を可変とし、最大コンテキスト長を8192トークンとして訓練されました。デフォルトのPythiaモデルのコンテキスト長は、C2S訓練の前に回転位置埋め込みを使用して拡張されました。

• 細胞：複数細胞サンプルの場合、各訓練サンプルには5から20個の細胞が含まれ、同じサンプル内の各細胞は同じ数の遺伝子を持ちます。
• 遺伝子：単一細胞サンプルの場合、各細胞文には100から2048個の遺伝子が含まれます。複数細胞サンプルの場合、各細胞の細胞文には100から400個の遺伝子が含まれます。

📚 詳細ドキュメント

タスク詳細

単一細胞タスク

• 無条件の単一細胞生成：無条件で単一細胞文を生成します。
• 細胞タイプ予測：与えられた単一細胞の細胞タイプを予測します。
• 特定の細胞タイプを条件とした単一細胞文の生成：特定の細胞タイプを条件として単一細胞文を生成します。

複数細胞タスク

• 無条件の複数細胞文の生成：無条件で複数の細胞文を生成します。
• 組織予測：細胞群の組織起源を予測します。
• 細胞タイプ予測：複数細胞群内の各細胞の細胞タイプを予測します。
• 特定の組織を条件とした複数細胞文の生成：特定の組織を条件として複数の細胞文を生成します。
• 各個々の細胞の細胞タイプを条件とした複数細胞文の生成：各個々の細胞の細胞タイプを条件として複数の細胞文を生成します。
• 複数細胞文に基づく研究論文のアブストラクトの生成：与えられた複数細胞文に基づいて研究論文のアブストラクトを生成します。
• 研究論文のアブストラクトに基づく複数細胞文の生成：与えられた研究論文のアブストラクトに基づいて複数の細胞文を生成します。

遺伝子セットタスク

• 遺伝子セット名から遺伝子のアルファベット順リストの生成：遺伝子セット名が与えられた場合、遺伝子のアルファベット順リストを生成します。
• 遺伝子のアルファベット順リストから遺伝子セット名の生成：遺伝子のアルファベット順リストが与えられた場合、遺伝子セット名を生成します。

関連リンク

Cell2Sentence関連

• GitHub: https://github.com/vandijklab/cell2sentence
• 論文: https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia関連

• 論文: https://arxiv.org/pdf/2304.01373
• Hugging Face: https://huggingface.co/EleutherAI/pythia-410m

📄 ライセンス

このモデルは、CC - BY - NC - ND - 4.0ライセンスの下で提供されています。

📋 モデル情報