Mol Llama 3.1 8B Instruct

🚀 Mol-Llama-3.1-8B-Instruct

このプロジェクトは、分子に関する自然言語処理を行うための大規模言語モデルです。meta-llama/Llama-3.1-8B-Instruct をベースに、分子に特化した学習を行っています。

[プロジェクトページ] [論文] [GitHub]

🚀 クイックスタート

このリポジトリには、meta-llama/Llama-3.1-8B-Instruct をベースとした Mol-LLaMA の重み（LoRA 重みとプロジェクターを含む）が含まれています。

✨ 主な機能

アーキテクチャ

1. 分子エンコーダー: 事前学習済みの 2D エンコーダー (MoleculeSTM) と 3D エンコーダー (Uni-Mol)
2. ブレンディングモジュール: クロスアテンションを介して 2D と 3D エンコーダーからの補完的な情報を結合
3. Q-Former: SciBERT をベースに、分子表現をクエリトークンに埋め込む
4. LoRA: 大規模言語モデルの微調整用アダプター

学習データセット

Mol-LLaMA は Mol-LLaMA-Instruct で学習されており、分子の基本的な特性を推論能力と説明性を持って学習しています。

💻 使用例

推論用のサンプルコードについては、Github リポジトリのコード例 をご確認ください。

📚 ドキュメント

引用

もし当社のモデルが役に立った場合は、以下のように引用をお願いいたします。

@misc{kim2025molllama,
    title={Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model},
    author={Dongki Kim and Wonbin Lee and Sung Ju Hwang},
    year={2025},
    eprint={2502.13449},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

謝辞

LLaMA、3D-MoLM、MoleculeSTM、Uni-Mol および SciBERT のオープンソース貢献に感謝いたします。

📄 ライセンス

本プロジェクトは、Apache-2.0 ライセンスの下で提供されています。

情報テーブル