Distilroberta Base Climate F

🚀 distilroberta-base-climate-f モデルカード

このモデルは、FULL - SELECT サンプル選択戦略に基づく ClimateBERT 言語モデルです。DistilRoBERTa モデルをベースに、気候関連の研究論文の要約、企業や一般のニュース、および企業報告を含むテキストコーパスで追加の事前学習を行っています。このモデルは、気候関連のテキスト処理に使用でき、気候変動分野の自然言語処理タスクをサポートします。

🚀 クイックスタート

このモデルは DistilRoBERTa モデルを起点として、気候関連の研究論文の要約、企業や一般のニュース、および企業報告を含むテキストコーパスで追加の事前学習を行っています。その基礎となる方法は、私たちの 言語モデル研究論文 で見ることができます。

⚠️ 重要な注意

通常は、他のサンプル選択戦略に基づく言語モデルではなく、この言語モデルを優先的に選択することをおすすめします（十分な理由がない限り）。これは、私たちが随時更新する唯一の言語モデルでもあります。

💡 使用上のヒント

更新前の言語モデルが必要な場合（例えば再現性のため）、6be4fbd のような旧バージョンのコミットを使用できます。

✨ 主な機能

• FULL - SELECT サンプル選択戦略に基づいており、良好な性能を発揮します。
• 大規模なテキストコーパスで事前学習されており、2022 年 9 月 2 日の更新後は、200 万段落以上のコーパスで追加の事前学習が行われています。

📚 ドキュメント

モデルの説明

これは、FULL - SELECT サンプル選択戦略に基づく ClimateBERT 言語モデルです。DistilRoBERTa モデルを起点として、気候関連の研究論文の要約、企業や一般のニュース、および企業報告を含むテキストコーパスで追加の事前学習を行っています。その基礎となる方法は、私たちの 言語モデル研究論文 で見ることができます。

モデルの更新情報

2022 年 9 月 2 日更新：より大規模なテキストコーパス（200 万段落以上を含む）で追加の事前学習が行われました。更新前の言語モデルが必要な場合（例えば再現性のため）、6be4fbd のような旧バージョンのコミットを使用できます。

気候性能モデルカード

📄 ライセンス

このモデルは Apache - 2.0 ライセンスを採用しています。

📚 引用情報

@inproceedings{wkbl2022climatebert,
    title={{ClimateBERT: A Pretrained Language Model for Climate-Related Text}},
    author={Webersinke, Nicolas and Kraus, Mathias and Bingler, Julia and Leippold, Markus},
    booktitle={Proceedings of AAAI 2022 Fall Symposium: The Role of AI in Responding to Climate Challenges},
    year={2022},
    doi={https://doi.org/10.48550/arXiv.2212.13631},
}