Sciglm 6B

🚀 SciGLM：基於自反思指令標註與調優的科學語言模型訓練

SciGLM 是一套能夠進行大學水平科學推理的科學語言模型。我們方法的核心是一種新穎的自反思指令標註框架，旨在解決科學領域數據稀缺的挑戰。該框架利用現有的大語言模型為未標註的科學問題生成逐步推理，隨後進行自反思的批評與修正。應用此框架，我們精心構建了 SciInstruct，這是一個涵蓋物理、化學、數學和形式證明的多樣化、高質量數據集。

🚀 快速開始

你可以按照以下步驟使用 SciGLM 模型：

安裝依賴

git clone https://github.com/THUDM/SciGLM.git
cd SciGLM
pip install -r requirements.txt

模型微調

若要訓練 6B 模型，請運行：

bash /path/training/finetune.sh

模型推理

cd /path/to/inference
python cli_demo.py

✨ 主要特性

• 自反思指令標註框架：有效解決科學領域數據稀缺問題，利用現有大語言模型生成推理並進行自反思修正。
• 高質量數據集：構建了涵蓋物理、化學、數學和形式證明的 SciInstruct 數據集。
• 可公開獲取：數據和模型均公開，方便研究人員使用。

📦 安裝指南

git clone https://github.com/THUDM/SciGLM.git
cd SciGLM
pip install -r requirements.txt

💻 使用示例

基礎用法

微調模型

bash /path/training/finetune.sh

模型推理

cd /path/to/inference
python cli_demo.py

📚 詳細文檔

SciInstruct 數據集

我們按如下方式構建了 SciInstruct 數據集：

我們公開了數據和模型供公眾使用。如果你希望使用 SciInstruct 或 SciGLM，可以從以下鏈接下載：

下載數據

• [Google Drive]
• [Tsinghua Cloud]

下載模型

• [Hugging Face]

📄 許可證

本項目採用 Apache-2.0 許可證。

📄 引用

如果你覺得我們的工作有幫助，請引用我們的論文：

@article{zhang2024sciglm,
  title={Sciglm: Training scientific language models with self-reflective instruction annotation and tuning},
  author={Zhang, Dan and Hu, Ziniu and Zhoubian, Sining and Du, Zhengxiao and Yang, Kaiyu and Wang, Zihan and Yue, Yisong and Dong, Yuxiao and Tang, Jie},
  journal={arXiv preprint arXiv:2401.07950},
  year={2024}
}