Climategpt 70b

🚀 ClimateGPT-70B

ClimateGPT是一系列人工智能模型，旨在綜合氣候變化領域的跨學科研究。ClimateGPT-70B是一個擁有700億參數的Transformer解碼器模型，它基於Llama - 2，通過對精心挑選的氣候文檔中的42億個標記進行持續預訓練，將其適配到氣候科學領域。該模型還在AppTek與氣候科學家合作手動收集的指令 - 完成對數據集上進行了指令微調。[ClimateGPT - 7B](https://huggingface.co/eci - io/climategpt - 7b)在我們特定的氣候基準測試中表現優於Llama - 2 - 70B Chat。該模型旨在與檢索增強技術結合使用，以擴展知識、提高模型的事實性，並通過級聯機器翻譯來增加語言覆蓋範圍。

🚀 快速開始

你可以通過以下鏈接探索模型譜系：[點擊此處](https://huggingface.co/spaces/EQTYLab/lineage - explorer?repo=https://huggingface.co/eci - io/climategpt - 70b)。

✨ 主要特性

• 強大支持：由Erasmus AI提供支持。
• 專業訓練：由AppTek進行訓練。
• 權威認證：由EQTYLab進行認證。
• 模型類型：僅解碼器Transformer。
• 語言支持：英語。
• 許可證：[ClimateGPT社區許可證](https://huggingface.co/eci - io/climategpt - 70b/blob/main/LICENSE.txt)。
• 預訓練基礎：基於Llama - 2 - 70B繼續預訓練。
• 上下文長度：4K標記。
• 輸入數據：僅文本數據。
• 輸出內容：模型僅生成文本。
• 相關論文：arXiv:2401.09646
• 官方網站：eci.io

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

該模型是一個針對氣候領域的問答模型，可直接使用。使用時需遵循以下格式（模型使用ChatML進行訓練）：

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>context
[[0]] "{reference1_title}", {reference1_year}
{reference1_text}
[[1]] "{reference2_title}", {reference2_year}
{reference2_text}
[...]<|im_end|>
<|im_start|>assistant

高級用法

模型旨在與檢索增強技術結合使用，以擴展知識、提高模型的事實性，並通過級聯機器翻譯來增加語言覆蓋範圍。對於完整系統（包括級聯機器翻譯、檢索增強等），建議訪問我們的演示網站：eci.io。

📚 詳細文檔

用途

• 該模型旨在直接用作專門針對氣候領域的問答模型。
• 該模型旨在為參與氣候討論的決策者、科學家和記者提供有用的反饋。
• 該模型也可作為有興趣的開發者進一步微調的起點。
• 該模型並非旨在作為通用聊天機器人（儘管它具備聊天能力）。

下游使用

ClimateGPT - 70B是一個經過指令微調的模型，可直接用於特定氣候問題的問答應用。它在訓練時考慮了檢索增強技術，並且在上下文中最多支持5個參考資料。

訓練數據

• 關於Llama - 2的訓練數據，請參考：https://huggingface.co/meta - llama/Llama - 2 - 70b - hf。
• 繼續預訓練時，使用了42億個特定氣候標記（由Llama分詞器進行分詞）。
• 指令微調時，使用了約272K個指令 - 完成對（包括氣候領域和通用領域）。

評估

詳細的評估結果在我們的論文以及模型卡片網站：[eci.io/model - card](https://eci.io/model - card)中呈現。

🔧 技術細節

環境影響

📄 許可證

該模型使用[ClimateGPT社區許可證](https://huggingface.co/eci - io/climategpt - 70b/blob/main/LICENSE.txt)。

📖 引用

如果你發現ClimateGPT在你的工作中很有用，請使用以下引用：

@misc{thulke2024climategpt,
      title={ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change}, 
      author={David Thulke and Yingbo Gao and Petrus Pelser and Rein Brune and Rricha Jalota and Floris Fok and Michael Ramos and Ian van Wyk and Abdallah Nasir and Hayden Goldstein and Taylor Tragemann and Katie Nguyen and Ariana Fowler and Andrew Stanco and Jon Gabriel and Jordan Taylor and Dean Moro and Evgenii Tsymbalov and Juliette de Waal and Evgeny Matusov and Mudar Yaghi and Mohammad Shihadah and Hermann Ney and Christian Dugast and Jonathan Dotan and Daniel Erasmus},
      year={2024},
      eprint={2401.09646},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

⚠️ 重要提示

儘管開發團隊努力消除，但和其他具備聊天功能的大語言模型一樣，該模型可能會生成有偏見、冒犯性或不準確的回覆。

💡 使用建議

對於完整系統（包括級聯機器翻譯、檢索增強等），建議訪問我們的演示網站：eci.io。