Sciglm 6B

🚀 SciGLM: 自己反射的な命令注釈と微調整による科学言語モデルの学習

SciGLM は、大学レベルの科学的推論を行うことができる一連の科学言語モデルです。当社のアプローチの中心は、科学分野におけるデータ不足の問題に対処するための新しい自己反射的命令注釈フレームワークです。このフレームワークは、既存の大規模言語モデルを利用して、ラベル付けされていない科学的質問に対するステップバイステップの推論を生成し、その後、自己反射的な批判と修正のプロセスを行います。このフレームワークを適用して、物理学、化学、数学、形式的証明を含む多様で高品質なデータセットであるSciInstructを作成しました。

📃 [SciGLM] [GitHub]

✨ 主な機能

SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのセットです。独自の自己反射的命令注釈フレームワークを用いて、科学分野のデータ不足の問題に対処します。

📦 インストール

ファインチューニング

HuggingfaceのTransformersライブラリを通じて、SciGLMモデルを使用することができます。

git clone https://github.com/THUDM/SciGLM.git
cd SciGLM
pip install -r requirements.txt

6Bモデルを学習するには、以下を実行します。

bash /path/training/finetune.sh

推論

cd /path/to/inference
python cli_demo.py

📚 ドキュメント

SciInstruct

SciInstructは以下のように構築されています。

データとモデルは公開されており、以下のリンクからダウンロードできます。

データのダウンロード: [Google Drive] [Tsinghua Cloud]

モデルのダウンロード: [Hugging Face]

📄 ライセンス

本プロジェクトはApache-2.0ライセンスの下で公開されています。

📚 引用

もし当社の研究が役に立った場合は、以下のように引用していただけると幸いです。

@article{zhang2024sciglm,
  title={Sciglm: Training scientific language models with self-reflective instruction annotation and tuning},
  author={Zhang, Dan and Hu, Ziniu and Zhoubian, Sining and Du, Zhengxiao and Yang, Kaiyu and Wang, Zihan and Yue, Yisong and Dong, Yuxiao and Tang, Jie},
  journal={arXiv preprint arXiv:2401.07950},
  year={2024}
}