Climategpt 7b

🚀 ClimateGPT-7B

ClimateGPTは、気候変動に関する学際的研究を総合するために設計されたAIモデルのファミリーです。ClimateGPT-7Bは、70億パラメータのトランスフォーマーデコーダモデルで、Erasmus AIによって作成された精選された気候関連文書からの42億トークンのコレクションを使用して、Llama-2を気候科学の分野に連続事前学習で適応させたものです。このモデルは、AppTekが気候科学者と協力して手動で収集した命令-完了ペアのデータセットでさらに命令微調整されています。ClimateGPT-7Bは、我々の気候固有のベンチマークでLlama-2-70B Chatを上回っています。このモデルは、知識を拡張し、モデルの事実性を高めるための検索拡張と、言語カバレッジを拡大するためのカスケード機械翻訳と一緒に使用するように設計されています。

📚 ドキュメント

モデルの詳細

モデルの系譜をこちらで確認できます。

使用方法

• このモデルは、気候分野に特化した質問応答モデルとして直接使用することを想定しています。
• このモデルは、気候に関する議論に関与する意思決定者、科学者、ジャーナリストに有用なフィードバックを提供することを目的としています。
• このモデルは、興味のある開発者がさらに微調整するための出発点としても使用できます。
• このモデルは、汎用チャットボットとして使用することを想定していません（ただし、チャット機能はあります）。
• カスケードMT、RAGなどを含む完全なシステムについては、ユーザーは我々のデモウェブサイトec i.ioにアクセスすることをお勧めします。

⚠️ 重要な注意

開発チームが努力しても、他のチャット機能を持つLLMと同様に、このモデルは偏った、不快な、または不正確な応答を生成する可能性があります。

下流の利用

ClimateGPT-7Bは、命令微調整されたモデルで、気候固有の質問応答アプリケーションに直接使用できます。このモデルは、検索拡張で良好な性能を発揮するように訓練されており、コンテキスト内で最大5つの参照をサポートします。

このモデルはChatMLを使用して訓練されているため、プロンプトを与える際には、<|im_start|>、<|im_end|>タグ、system、user、context、assistant識別子、および参照を示す[[0]]、[[1]]などのトークンを含む以下の形式に従う必要があります。

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>context
[[0]] "{reference1_title}", {reference1_year}
{reference1_text}
[[1]] "{reference2_title}", {reference2_year}
{reference2_text}
[...]<|im_end|>
<|im_start|>assistant

訓練

• Llama-2の訓練データについては、ユーザーはhttps://huggingface.co/meta-llama/Llama-2-7b-hf を参照してください。
• 継続的な事前学習には、42億の気候固有のトークン（Llamaトークナイザーでトークン化）が使用されています。
• 命令微調整には、約272Kの命令-完了ペア（気候分野と一般分野の両方）が使用されています。

評価

詳細な評価結果は、我々の論文とモデルカードのウェブサイトec i.io/model-cardに掲載されています。

環境への影響

引用

ClimateGPTがあなたの研究に役立つ場合、以下のように引用してください。

@misc{thulke2024climategpt,
      title={ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change}, 
      author={David Thulke and Yingbo Gao and Petrus Pelser and Rein Brune and Rricha Jalota and Floris Fok and Michael Ramos and Ian van Wyk and Abdallah Nasir and Hayden Goldstein and Taylor Tragemann and Katie Nguyen and Ariana Fowler and Andrew Stanco and Jon Gabriel and Jordan Taylor and Dean Moro and Evgenii Tsymbalov and Juliette de Waal and Evgeny Matusov and Mudar Yaghi and Mohammad Shihadah and Hermann Ney and Christian Dugast and Jonathan Dotan and Daniel Erasmus},
      year={2024},
      eprint={2401.09646},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

📄 ライセンス

このモデルは、ClimateGPT Community Licenseの下で提供されています。