Protein Matryoshka Embeddings

🚀 蛋白質套娃嵌入模型

本項目的蛋白質套娃嵌入模型能夠為輸入的蛋白質生成嵌入向量。該模型採用 套娃損失 進行訓練，因此縮短後的嵌入向量可用於更快速的搜索和其他任務。

模型信息

🚀 快速開始

安裝依賴

pip install -U sentence-transformers datasets

生成嵌入向量

from sentence_transformers import SentenceTransformer
sequences = ["M S L E Q K...", "M A R N W S F R V..."]

model = SentenceTransformer('monsoon-nlp/protein-matryoshka-embeddings')
embeddings = model.encode(sentences)
print(embeddings)

📚 詳細文檔

訓練與代碼

• CoLab筆記本：點擊查看
• 訓練過程中驗證數據集上1000個蛋白質對的結果： | 步數 | 餘弦皮爾遜係數 | 餘弦斯皮爾曼係數 | |-----|--------------|---------------| | 3000 | 0.8598688660086558 | 0.8666855900999677 | | 6000 | 0.8692703523988448 | 0.8615673651584274 | | 9000 | 0.8779733537629968 | 0.8754158959780602 | | 12000 | 0.8877422045031667 | 0.8881492475969834 | | 15000 | 0.9027359688395733 | 0.899106724739699 | | 18000 | 0.9046675789738002 | 0.9044183600191271 | | 21000 | 0.9165801536390973 | 0.9061381997421003 | | 24000 | 0.9128046401341833 | 0.9076748537082228 | | 27000 | 0.918547416546341 | 0.9127677526055185 | | 30000 | 0.9239429677657788 | 0.9187051589781693 |

驗證

使用測試集中的蛋白質對，比較完整嵌入向量和128維嵌入向量與原始嵌入向量的散點圖：點擊查看

微調與任務

• 熱門評估任務：蛋白質嵌入評估任務（TAPE）
• 使用SciKit-Learn在TAPE的熒光迴歸任務上訓練的示例：點擊查看
• 使用SciKit-Learn在 greenbeing-binary 分類任務上訓練的示例：點擊查看

未來規劃

• 當有該模型在蛋白質分類任務上的使用示例時，本頁面將進行更新。
• 對 嵌入量化 是否能提高效率感興趣。
• 若你想參與未來項目的合作，或有資源用於對更多嵌入向量進行更長時間的訓練，請與我聯繫。