Mol Llama 3.1 8B Instruct

🚀 Mol-Llama-3.1-8B-Instruct

Mol-Llama-3.1-8B-Instruct 是基於特定基礎模型微調的項目，可用於文本生成，在生物、化學和醫學領域有應用價值。

[項目頁面] [論文] [GitHub]

本倉庫包含 Mol-LLaMA 的權重，包括 LoRA 權重和投影器，其基於 meta-llama/Llama-3.1-8B-Instruct。

✨ 主要特性

• 基礎模型：基於 meta-llama/Llama-3.1-8B-Instruct。
• 數據集：使用 DongkiKim/Mol-LLaMA-Instruct 數據集進行訓練。
• 適用領域：適用於生物學、化學和醫學領域。
• 任務類型：可用於文本生成任務。
• 使用庫：基於 transformers 庫。

🚀 快速開始

請查看 GitHub 倉庫中的推理示例代碼。

📚 詳細文檔

架構

1. 分子編碼器：預訓練的 2D 編碼器 (MoleculeSTM) 和 3D 編碼器 (Uni-Mol)
2. 融合模塊：通過交叉注意力結合 2D 和 3D 編碼器的互補信息
3. Q-Former：基於 SciBERT 將分子表示嵌入到查詢令牌中
4. LoRA：用於微調大語言模型的適配器

訓練數據集

Mol-LLaMA 在 Mol-LLaMA-Instruct 數據集上進行訓練，以學習分子的基本特徵，並具備推理能力和可解釋性。

📄 許可證

本項目採用 apache-2.0 許可證。

📚 引用

如果您覺得我們的模型有用，請考慮引用我們的工作。

@misc{kim2025molllama,
    title={Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model},
    author={Dongki Kim and Wonbin Lee and Sung Ju Hwang},
    year={2025},
    eprint={2502.13449},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

🙏 致謝

我們感謝 LLaMA、3D-MoLM、MoleculeSTM、Uni-Mol 和 SciBERT 的開源貢獻。