C2S Scale Pythia 1b Pt

🚀 C2S-Scale-1B プレトレーニング済みモデル

このモデルは、シングルセルおよびマルチセルの解析において多様なタスクを実行できる汎用的なツールです。EleutherAIによって開発されたPythia-1bアーキテクチャをベースに、Cell2Sentence (C2S) フレームワークを用いて、CellxGeneとHuman Cell Atlasから収集された多数のシングルセルRNAシーケンシング (scRNA-seq) データセットでファインチューニングされています。

✨ 主な機能

• シングルセルおよびマルチセルの様々なタスクを実行可能
• Cell2Sentenceフレームワークを用いてscRNA-seqデータを「セル文」に変換し、大規模言語モデルをシングルセル生物学に適用

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

概要

これはC2S-Scale-1Bプレトレーニング済みモデルで、EleutherAIによって開発されたPythia-1bアーキテクチャをベースに、Cell2Sentence (C2S) フレームワークを用いて、CellxGeneとHuman Cell Atlasから収集された多数のシングルセルRNAシーケンシング (scRNA-seq) データセットでファインチューニングされています。Cell2Sentenceは、scRNA-seqデータを「セル文」（発現レベルに基づく遺伝子名の順序付けられた配列）に変換することで、大規模言語モデル (LLM) をシングルセル生物学に適用する最先端の手法です。このモデルは、幅広いシングルセルおよびマルチセルタスクを実行するようにトレーニングされており、様々なシングルセルおよびマルチセル解析において汎用的なツールとなります。

トレーニングデータ

このモデルは、CellxGeneとHuman Cell Atlasから収集された800以上のシングルセルRNAシーケンシングデータセットから集められた5700万以上のヒトおよびマウスの細胞でトレーニングされています。このデータセットは、ヒトおよびマウスの複数の組織からの幅広い細胞タイプおよび条件をカバーしています。

このモデルは、セル文あたり可変数の遺伝子でトレーニングされ、最大コンテキスト長は8192トークンです。デフォルトのPythiaモデルのコンテキスト長は、C2Sトレーニングの前にロータリー位置埋め込みを使用して拡張されました。

• 細胞: マルチセルサンプルの場合、各トレーニングサンプルには5から20個の細胞が含まれ、同じサンプル内の各細胞の遺伝子数は同じです。
• 遺伝子: シングルセルサンプルの場合、各セル文には100から2048個の遺伝子が含まれます。マルチセルサンプルの場合、各細胞あたりのセル文には100から400個の遺伝子が含まれます。

タスク

このモデルは以下のタスクを目的として設計されています。

シングルセルタスク

• 無条件シングルセル生成: 無条件でシングルセル文を生成します。
• 細胞タイプ予測: 与えられたシングルセルの細胞タイプを予測します。
• 細胞タイプ条件付き生成: 特定の細胞タイプを条件としてシングルセル文を生成します。

マルチセルタスク

• 無条件マルチセル生成: 無条件で複数のセル文を生成します。
• 組織予測: 細胞群の起源組織を予測します。
• 細胞タイプ予測: 複数の細胞群内の各細胞の細胞タイプを予測します。
• 組織条件付きマルチセル生成: 特定の組織を条件として複数のセル文を生成します。
• 細胞タイプ条件付きマルチセル生成: 各個々の細胞の細胞タイプを条件として複数のセル文を生成します。
• マルチセルから論文要約生成: 提供されたマルチセル文に基づいて研究論文の要約を生成します。
• 論文要約からマルチセル生成: 与えられた研究論文の要約に基づいて複数のセル文を生成します。

遺伝子セットタスク

• 遺伝子セット名から遺伝子生成: 遺伝子セット名を与えると、アルファベット順の遺伝子リストを生成します。
• 遺伝子から遺伝子セット名生成: アルファベット順の遺伝子リストを与えると、遺伝子セットの名前を生成します。

Cell2Sentenceのリンク

• GitHub: https://github.com/vandijklab/cell2sentence
• 論文: https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythiaのリンク

• 論文: https://arxiv.org/pdf/2304.01373
• Hugging Face: https://huggingface.co/EleutherAI/pythia-410m

🔧 技術詳細

このドキュメントには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはCC BY-NC-ND 4.0ライセンスの下で提供されています。