Evo 1 8k Base

🚀 Evo-1 (Phase 1)

Evoは、長文脈のモデリングと設計が可能な生物学の基礎モデルです。このモデルは、シーケンスを単一ヌクレオチド、バイトレベルの解像度でモデリングでき、コンテキスト長に対して計算とメモリがほぼ線形にスケーリングします。

🚀 クイックスタート

ニュース

一部の射影の誤った順列に関連する問題を特定し、修正しました。この問題は生成品質に影響を与えます。新しいモデルのリビジョンを使用するには、以下のようにロードしてください。

config = AutoConfig.from_pretrained(model_name, trust_remote_code=True, revision="1.1_fix")
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    trust_remote_code=True,
    revision="1.1_fix"
)

✨ 主な機能

概要

Evoは、長文脈のモデリングと設計が可能な生物学の基礎モデルです。

EvoはStripedHyenaアーキテクチャを使用して、コンテキスト長に対して計算とメモリがほぼ線形にスケーリングする単一ヌクレオチド、バイトレベルの解像度でシーケンスをモデリングできるようにします。Evoは70億のパラメータを持ち、約3000億トークンを含む原核生物の全ゲノムデータセットであるOpenGenomeで学習されています。

Evoに関する技術的な詳細は、我々のプレプリントと付随するブログ記事に記載されています。EvoはArc InstituteとTogetherAIによって共同開発されました。

オープンサイエンスへの取り組みの一環として、事前学習のフェーズ1とフェーズ2について、15の中間事前学習チェックポイントの重みを公開します。チェックポイントは、対応するHuggingFaceリポジトリのブランチとして利用可能です。

Evo-1 (Phase 1) は、Evoファミリーの最初のモデルで、コンテキスト長8kで学習されています。

モデルアーキテクチャ

StripedHyenaは、デコーダーのみのTransformerを改良した、マルチヘッドアテンションとゲート付き畳み込みで構成される深層信号処理のハイブリッドアーキテクチャです。

StripedHyenaは、各層クラスの特化を活用するように設計されており、Hyena層がシーケンス処理に必要な大部分の計算を実行し、アテンション層がターゲットとなるパターンの再現能力を補完します。

このアーキテクチャのいくつかの特長は以下の通りです。

• 再帰モードによる効率的な自己回帰生成（単一の80GB GPUで500k以上の生成）
• 長文脈での大幅に高速な学習と微調整（131kで3倍以上）
• 自然言語と生物学的シーケンスの両方において、最先端のアーキテクチャ（例：Transformer++）よりもスケーリング則が改善
• 計算最適フロンティアを超えた学習に強健 例：チンチラ最適トークン量を大幅に超えた学習（詳細はプレプリントを参照 -- これからさらに詳細を公開）

💻 使用例

基本的な使用法

使用例はスタンドアロンリポジトリに記載されています。

推論と微調整のためのパラメータ化

深層信号処理モデルの利点の1つは、その柔軟性です。事前学習、微調整、または推論のワークロードのメモリ、表現力、および因果関係の要件に応じて、異なる畳み込みのパラメータ化を使用できます。

主なクラスは以下の通りです。

• モーダル正準形：制約のない極（参考文献、参考文献）、または制約付きの極（参考文献、参考文献）。
• コンパニオン正準形/有理形：TBA。
• ハイパーネットワーク：ハイパーネットワーク（参考文献）、変調ハイパーネットワーク（参考文献）。
• 明示的：変調明示的（参考文献）。

StripedHyenaは混合精度モデルです。特に長いプロンプトや学習の場合、poles と residues を float32 精度に保つようにしてください。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

免責事項

プレイグラウンド外でStripedHyenaを使用するには、カスタムカーネルをインストールする必要があります。スタンドアロンリポジトリの指示に従ってください。

引用

@article{nguyen2024sequence,
   author = {Eric Nguyen and Michael Poli and Matthew G. Durrant and Brian Kang and Dhruva Katrekar and David B. Li and Liam J. Bartie and Armin W. Thomas and Samuel H. King and Garyk Brixi and Jeremy Sullivan and Madelena Y. Ng and Ashley Lewis and Aaron Lou and Stefano Ermon and Stephen A. Baccus and Tina Hernandez-Boussard and Christopher Ré and Patrick D. Hsu and Brian L. Hie },
   title = {Sequence modeling and design from molecular to genome scale with Evo},
   journal = {Science},
   volume = {386},
   number = {6723},
   pages = {eado9336},
   year = {2024},
   doi = {10.1126/science.ado9336},
   URL = {https://www.science.org/doi/abs/10.1126/science.ado9336},