Climategpt 70b

🚀 ClimateGPT-70B

ClimateGPT是一系列人工智能模型，旨在综合气候变化领域的跨学科研究。ClimateGPT-70B是一个拥有700亿参数的Transformer解码器模型，它基于Llama - 2，通过对精心挑选的气候文档中的42亿个标记进行持续预训练，将其适配到气候科学领域。该模型还在AppTek与气候科学家合作手动收集的指令 - 完成对数据集上进行了指令微调。[ClimateGPT - 7B](https://huggingface.co/eci - io/climategpt - 7b)在我们特定的气候基准测试中表现优于Llama - 2 - 70B Chat。该模型旨在与检索增强技术结合使用，以扩展知识、提高模型的事实性，并通过级联机器翻译来增加语言覆盖范围。

🚀 快速开始

你可以通过以下链接探索模型谱系：[点击此处](https://huggingface.co/spaces/EQTYLab/lineage - explorer?repo=https://huggingface.co/eci - io/climategpt - 70b)。

✨ 主要特性

• 强大支持：由Erasmus AI提供支持。
• 专业训练：由AppTek进行训练。
• 权威认证：由EQTYLab进行认证。
• 模型类型：仅解码器Transformer。
• 语言支持：英语。
• 许可证：[ClimateGPT社区许可证](https://huggingface.co/eci - io/climategpt - 70b/blob/main/LICENSE.txt)。
• 预训练基础：基于Llama - 2 - 70B继续预训练。
• 上下文长度：4K标记。
• 输入数据：仅文本数据。
• 输出内容：模型仅生成文本。
• 相关论文：arXiv:2401.09646
• 官方网站：eci.io

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

基础用法

该模型是一个针对气候领域的问答模型，可直接使用。使用时需遵循以下格式（模型使用ChatML进行训练）：

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>context
[[0]] "{reference1_title}", {reference1_year}
{reference1_text}
[[1]] "{reference2_title}", {reference2_year}
{reference2_text}
[...]<|im_end|>
<|im_start|>assistant

高级用法

模型旨在与检索增强技术结合使用，以扩展知识、提高模型的事实性，并通过级联机器翻译来增加语言覆盖范围。对于完整系统（包括级联机器翻译、检索增强等），建议访问我们的演示网站：eci.io。

📚 详细文档

用途

• 该模型旨在直接用作专门针对气候领域的问答模型。
• 该模型旨在为参与气候讨论的决策者、科学家和记者提供有用的反馈。
• 该模型也可作为有兴趣的开发者进一步微调的起点。
• 该模型并非旨在作为通用聊天机器人（尽管它具备聊天能力）。

下游使用

ClimateGPT - 70B是一个经过指令微调的模型，可直接用于特定气候问题的问答应用。它在训练时考虑了检索增强技术，并且在上下文中最多支持5个参考资料。

训练数据

• 关于Llama - 2的训练数据，请参考：https://huggingface.co/meta - llama/Llama - 2 - 70b - hf。
• 继续预训练时，使用了42亿个特定气候标记（由Llama分词器进行分词）。
• 指令微调时，使用了约272K个指令 - 完成对（包括气候领域和通用领域）。

评估

详细的评估结果在我们的论文以及模型卡片网站：[eci.io/model - card](https://eci.io/model - card)中呈现。

🔧 技术细节

环境影响

📄 许可证

该模型使用[ClimateGPT社区许可证](https://huggingface.co/eci - io/climategpt - 70b/blob/main/LICENSE.txt)。

📖 引用

如果你发现ClimateGPT在你的工作中很有用，请使用以下引用：

@misc{thulke2024climategpt,
      title={ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change}, 
      author={David Thulke and Yingbo Gao and Petrus Pelser and Rein Brune and Rricha Jalota and Floris Fok and Michael Ramos and Ian van Wyk and Abdallah Nasir and Hayden Goldstein and Taylor Tragemann and Katie Nguyen and Ariana Fowler and Andrew Stanco and Jon Gabriel and Jordan Taylor and Dean Moro and Evgenii Tsymbalov and Juliette de Waal and Evgeny Matusov and Mudar Yaghi and Mohammad Shihadah and Hermann Ney and Christian Dugast and Jonathan Dotan and Daniel Erasmus},
      year={2024},
      eprint={2401.09646},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

⚠️ 重要提示

尽管开发团队努力消除，但和其他具备聊天功能的大语言模型一样，该模型可能会生成有偏见、冒犯性或不准确的回复。

💡 使用建议

对于完整系统（包括级联机器翻译、检索增强等），建议访问我们的演示网站：eci.io。