Distilroberta Base Climate F

🚀 distilroberta-base-climate-f 模型卡片

本模型是基於 FULL - SELECT 樣本選擇策略的 ClimateBERT 語言模型，它以 DistilRoBERTa 模型為基礎，在包含氣候相關研究論文摘要、企業和一般新聞以及公司報告的文本語料庫上進行了額外的預訓練。該模型可用於氣候相關文本處理，為氣候變化領域的自然語言處理任務提供支持。

🚀 快速開始

本模型以 DistilRoBERTa 模型為起點，在包含氣候相關研究論文摘要、企業和一般新聞以及公司報告的文本語料庫上進行了額外的預訓練。其底層方法可在我們的 語言模型研究論文 中找到。

⚠️ 重要提示

一般建議優先選擇此語言模型，而非基於其他樣本選擇策略的語言模型（除非有充分理由不這樣做）。這也是我們會不時更新的唯一語言模型。

💡 使用建議

若需更新前的語言模型（例如為了可重複性），可使用舊版本提交，如 6be4fbd。

✨ 主要特性

• 基於 FULL - SELECT 樣本選擇策略，具有較好的性能表現。
• 在較大的文本語料庫上進行預訓練，2022 年 9 月 2 日更新後，在超過 200 萬段落的語料庫上進行了額外預訓練。

📚 詳細文檔

模型描述

這是基於 FULL - SELECT 樣本選擇策略的 ClimateBERT 語言模型。使用 DistilRoBERTa 模型作為起點，ClimateBERT 語言模型在包含氣候相關研究論文摘要、企業和一般新聞以及公司報告的文本語料庫上進行了額外的預訓練。其底層方法可在我們的 語言模型研究論文 中找到。

模型更新說明

2022 年 9 月 2 日更新：現在在更大的文本語料庫（包含超過 200 萬段落）上進行了額外預訓練。若需更新前的語言模型（例如為了可重複性），可使用舊版本提交，如 6be4fbd。

氣候性能模型卡片

📄 許可證

本模型採用 Apache - 2.0 許可證。

📚 引用信息

@inproceedings{wkbl2022climatebert,
    title={{ClimateBERT: A Pretrained Language Model for Climate-Related Text}},
    author={Webersinke, Nicolas and Kraus, Mathias and Bingler, Julia and Leippold, Markus},
    booktitle={Proceedings of AAAI 2022 Fall Symposium: The Role of AI in Responding to Climate Challenges},
    year={2022},
    doi={https://doi.org/10.48550/arXiv.2212.13631},
}