Climategpt 70b

🚀 ClimateGPT-70B

ClimateGPTは、気候変動に関する学際的な研究を統合するために設計されたAIモデルのファミリーです。ClimateGPT-70Bは、700億パラメータのトランスフォーマーデコーダモデルで、Llama-2をベースに、選りすぐった気候関連文書から抽出した42億トークンのコレクションを用いた継続的な事前学習により、気候科学の分野に適応させたものです。このモデルは、AppTekが気候科学者と協力して手動で収集した命令-完了ペアのデータセットを用いて、さらに命令微調整されています。ClimateGPT-7Bは、我々の気候固有のベンチマークでLlama-2-70B Chatを上回っています。このモデルは、知識を拡張し、モデルの事実性を高めるための検索拡張と、言語カバレッジを拡大するためのカスケード機械翻訳と共に使用するように設計されています。

📚 ドキュメント

🔍 モデルの詳細

モデルの系譜をこちらで確認できます。

• 提供元: Erasmus AI
• 訓練実施: AppTek
• 認証機関: EQTYLab
• モデルタイプ: デコーダ専用トランスフォーマー
• 言語 (NLP): 英語
• ライセンス: ClimateGPT Community License
• 継続事前学習元: Llama-2-70B
• コンテキスト長: 4Kトークン
• 入力: テキストデータのみ
• 出力: モデルはテキストのみ生成
• 論文: arXiv:2401.09646
• ウェブサイト: eci.io

💻 使用方法

• このモデルは、気候分野に特化した質問応答モデルとして直接使用することを想定しています。
• このモデルは、気候に関する議論に関わる意思決定者、科学者、ジャーナリストに有用なフィードバックを提供することを目的としています。
• このモデルは、興味のある開発者がさらに微調整するための出発点としても使用できます。
• このモデルは、汎用チャットボットを意図したものではありません（ただし、チャット機能は備えています）。
• カスケードMT、RAGなどを含む完全なシステムについては、デモウェブサイトec i.ioをご利用ください。
• 開発チームがそれらを排除するために努力しているにもかかわらず、他のチャット機能を持つLLMと同様に、このモデルは偏見、不快な内容、または不正確な応答を生成する可能性があります。

⬇️ 下流での使用

ClimateGPT-70Bは、命令微調整されたモデルで、気候固有の質問応答アプリケーションに直接使用できます。このモデルは、検索拡張と共に良好な性能を発揮するように訓練されており、コンテキスト内で最大5つの参照をサポートします。

このモデルはChatMLを使用して訓練されているため、プロンプトを入力する際には、<|im_start|>、<|im_end|>タグ、system、user、context、assistant識別子、および参照を示す[[0]]、[[1]]などのトークンを含め、次の形式に従う必要があります。

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>context
[[0]] "{reference1_title}", {reference1_year}
{reference1_text}
[[1]] "{reference2_title}", {reference2_year}
{reference2_text}
[...]<|im_end|>
<|im_start|>assistant

🏋️‍♂️ 訓練

• Llama-2の訓練データについては、こちらを参照してください。
• 継続的な事前学習には、42億の気候固有のトークン（Llamaトークナイザーでトークン化されたもの）が使用されています。
• 命令微調整には、約27.2万の命令-完了ペア（気候分野および一般分野の両方）が使用されています。

📈 評価

詳細な評価結果は、モデルカードのウェブサイトec i.io/model-cardにある我々の論文に掲載されています。

🌱 環境への影響

• ハードウェアタイプ: 8台のNVIDIA H100 HBM
• GPUあたりの消費電力: 775W
• 使用時間: 2,182時間
• クラウドプロバイダー: MLFoundry
• コンピュートリージョン: 米国ワシントン州
• エネルギーミックス: 100%水力発電（IPCC 2014によると、CO2排出量は24g CO2eq/kWh）
• 排出された二酸化炭素量: 40.6kg CO2eq

📝 引用

ClimateGPTがあなたの研究に役立った場合、以下のように引用してください。

@misc{thulke2024climategpt,
      title={ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change}, 
      author={David Thulke and Yingbo Gao and Petrus Pelser and Rein Brune and Rricha Jalota and Floris Fok and Michael Ramos and Ian van Wyk and Abdallah Nasir and Hayden Goldstein and Taylor Tragemann and Katie Nguyen and Ariana Fowler and Andrew Stanco and Jon Gabriel and Jordan Taylor and Dean Moro and Evgenii Tsymbalov and Juliette de Waal and Evgeny Matusov and Mudar Yaghi and Mohammad Shihadah and Hermann Ney and Christian Dugast and Jonathan Dotan and Daniel Erasmus},
      year={2024},
      eprint={2401.09646},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

📄 ライセンス

このモデルは、ClimateGPT Community Licenseの下で提供されています。