Climate Check Reranker

🚀 氣候科學重排序模型

這是一個 交叉編碼器 模型，基於 cross-encoder/ms-marco-MiniLM-L6-v2 使用 sentence-transformers 庫進行微調。它可以計算文本對的得分，可用於文本重排序和語義搜索。

🚀 快速開始

本模型是一個基於 cross-encoder/ms-marco-MiniLM-L6-v2 微調的交叉編碼器模型，能夠計算文本對的得分，適用於文本重排序和語義搜索任務。

✨ 主要特性

• 基於交叉編碼器架構，能夠有效計算文本對之間的相關性得分。
• 微調自 cross-encoder/ms-marco-MiniLM-L6-v2 模型，在氣候科學相關數據上進行了優化。
• 支持文本重排序和語義搜索任務，可用於提升信息檢索的準確性。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import CrossEncoder

# 從 Hugging Face Hub 下載模型
model = CrossEncoder("cross_encoder_model_id")
# 獲取文本對的得分
pairs = [
    ['北極海冰正在減少，而南極海冰正在增加。 #氣候科學 #極地地區', '摘要：採用對環境影響較小的健康飲食已被廣泛推廣為應對氣候變化的重要策略。通常，這些飲食富含植物性食物，減少動物性和加工食品的攝入。儘管它們對環境的影響各不相同，但通常被稱為“可持續飲食”。本文系統回顧了已發表的關於“可持續飲食”對環境足跡和人類健康影響的證據。我們搜索了八個數據庫（OvidSP-Medline、OvidSP-Embase、EBSCO-GreenFILE、Web of Science Core Collection、Scopus、OvidSP-CAB-Abstracts、OvidSP-AGRIS 和 OvidSP-Global Health），以確定報告“可持續飲食”健康影響和環境足跡的文獻（發表於 1999 - 2019 年）。對可用證據進行了映射，並按飲食模式、健康和環境結果的獨特組合進行了彙總分析。十八項研究（412 次測量）符合我們的納入標準，區分了十二種非互斥的可持續飲食模式、六種環境結果和七種健康結果。在 87% 的測量中（n = 151），與當前/基線消費模式相比，“可持續飲食”報告了積極的健康結果（平均相對健康改善：4.09% [95% CI -0.10 - 8.29]）。與“可持續飲食”相關的溫室氣體排放量平均比當前/基線消費模式低 25.8% [95% CI -27.0 至 -14.6]，其中純素飲食報告的溫室氣體排放量減少最多（-70.3% [95% CI：-90.2 至 -50.4]），然而，水的使用量經常被報告高於當前/基線飲食。大多數測量（n = 315 [76%]）報告了對健康和環境的多重益處。我們發現了一致的證據，表明“可持續飲食”對健康有積極影響，並減少了環境足跡。與“可持續飲食”相關的水使用量增加這一顯著例外表明，協同效益並非普遍存在，可能需要進行一些權衡。當精心設計、基於證據並適應背景因素時，飲食改變可能在緩解氣候變化、可持續糧食系統和未來人口健康方面發揮關鍵作用。'],
    ['我們可以加快從化石燃料的轉型，以減輕未來的氣候變暖。', '最近關於能源轉型時間動態的辯論至關重要，因為從化石燃料轉型的主要原因之一是應對氣候變化。正如我們從歷史中看到的，長期的轉型需要數十年甚至數百年，不太可能有助於實現氣候變化緩解目標。因此，能源轉型的速度以及是否可以加快是一個關鍵的學術和政策問題。我們認為，雖然歷史對於理解轉型動態很重要，但歷史轉型的速度只是部分地為未來提供了一個很好的指導。我們同意 Sovacool [1] 的觀點，即過去已經發生過更快的轉型，因此未來在全球範圍內也有可能實現。我們樂觀的關鍵原因是，歷史上的能源轉型並沒有得到有意識的管理，而如今，各種各樣的行為者正在積極嘗試管理向低碳能源系統的轉型。此外，國際創新動態可能有利於加速全球低碳轉型。最後，2015 年的《巴黎協定》首次表明了全球向低碳經濟轉型的承諾，從而表明了促進快速轉型和克服阻力（例如來自擁有沉沒基礎設施投資的現有企業）所需的政治意願。'],
    ["我們早就知道氣候變化的問題了。 #立即採取氣候行動", '最近北極的變暖正在影響廣泛的物理、生態和人類/文化系統，這些影響在百年時間尺度上可能是不可逆轉的，並有可能導致地球系統的快速變化。北極碳循環對氣候變化的響應是全球關注的一個主要問題，但目前還沒有對當代北極碳循環的現狀及其對氣候變化的響應進行全面的綜述。本綜述旨在闡明北極碳循環對當前氣候變化響應中的關鍵不確定性和脆弱性。雖然很明顯北極有大量的碳儲量，但與永久凍土中有機質儲量的大小以及北極地下和水下永久凍土下甲烷水合物的儲存相關的不確定性也很大。在全球碳循環的背景下，本綜述表明北極在全球二氧化碳和甲烷的動態中都起著重要作用。研究表明，近幾十年來，北極一直是大氣二氧化碳的匯，吸收量在 0 至 0.8 Pg C/年之間，佔 20 世紀 90 年代全球陸地/海洋淨通量的 0% 至 25%。北極是大氣甲烷的重要來源（每年 32 至 112 Tg 甲烷），主要是因為該地區有大面積的溼地。迄今為止的分析表明，21 世紀剩餘時間裡北極碳循環的敏感性高度不確定。為了提高評估北極碳循環對預計氣候變化敏感性的能力，我們建議：（1）開展綜合區域研究，將碳動態觀測與可能影響這些動態的過程聯繫起來；（2）將從這些綜合研究中獲得的理解納入非耦合和完全耦合的碳 - 氣候建模工作中。'],
    ['果樹能產生新鮮氧氣。', '氧氣塑造了我們今天所知的地球生命。分子氧對於正常的細胞功能至關重要，即植物需要氧氣來維持細胞呼吸和進行各種生化反應。當細胞中的氧氣水平低於呼吸所需的水平時，細胞就會經歷缺氧。眾所周知，植物在自然環境條件下（如洪水）會經歷根部缺氧。另一方面，水果在正常氧氣條件下也會缺氧。這種現象至少可以部分解釋為擴散障礙、組織擴散率低以及呼吸作用對氧氣的高消耗。從生理學角度來看，缺氧對水果發育有深遠影響，因為有充分的文獻記載，低氧環境可以顯著延緩某些水果的成熟和衰老。低氧環境的這種效應被廣泛用於優化儲存條件和運輸，並延長几種水果商品的保質期。因此，進一步瞭解細胞內氧氣供應與水果發育之間的複雜關係有助於採後管理。'],
    ["你知道嗎？當冰山融化時，實際上並不會導致海平面上升。 😕 這是因為冰山在漂浮時已經排開了等量的水。 #科學事實 #海洋事實", '摘要：過去 40 年裡，北極海冰的急劇減少是地球氣候變化最明顯的證據。在所有表徵海冰的變量中，海冰體積對氣候變化最為敏感，因為與海冰範圍和厚度相比，它的衰減速度最快。在 40 年裡，北極海冰在夏季結束時的體積減少了約四分之三，相當於海冰範圍和厚度平均減少了一半。40 年前，北極海冰夏季最小值超過 16000 km³，而在最近的幾個夏天，已經降至不到 4000 km³。由於北極海冰體積是海冰範圍和厚度的綜合體現，因此直接準確地觀測它很困難。我們根據 ERA 中期再分析地表氣溫數據，估算了整個北極地區過去 38 年中每年 9 個月（9 月至次年 5 月）的累積凍結度日數（FDD）。然後，我們將根據累積 FDD 推算出的海冰厚度計算得到的北極海冰體積，與基於泛北極冰 - 海洋建模與同化系統（PIOMAS）和歐洲航天局 CryoSat - 2 衛星估算的北極海冰體積進行了比較。結果驚人地相似。大氣變暖在整個凍結季節（9 月至 5 月）對北極海冰體積的減少起著重要作用。此外，FDD 的空間分佈呈現出明顯的雙峰特徵，反映了北極海冰覆蓋典型的多年冰（MYI）與一年冰（FYI）的雙重分佈。這表明，垂直海洋熱通量對海冰的影響很大，具體取決於 MYI 與 FYI 的分佈以及其上的雪層，進而影響地表氣溫。2018 年，北極多年冰在過去 40 年中首次幾乎完全消失。在未來 15 年內，北極海冰在夏季幾乎完全消失的可能性更大，這將對北極海洋和陸地生態系統、全球氣候和天氣模式以及人類活動產生廣泛的影響。"]
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

高級用法

# 根據與單個文本的相似度對不同文本進行排序
ranks = model.rank(
    '北極海冰正在減少，而南極海冰正在增加。 #氣候科學 #極地地區',
    [
        '摘要：採用對環境影響較小的健康飲食已被廣泛推廣為應對氣候變化的重要策略。通常，這些飲食富含植物性食物，減少動物性和加工食品的攝入。儘管它們對環境的影響各不相同，但通常被稱為“可持續飲食”。本文系統回顧了已發表的關於“可持續飲食”對環境足跡和人類健康影響的證據。我們搜索了八個數據庫（OvidSP-Medline、OvidSP-Embase、EBSCO-GreenFILE、Web of Science Core Collection、Scopus、OvidSP-CAB-Abstracts、OvidSP-AGRIS 和 OvidSP-Global Health），以確定報告“可持續飲食”健康影響和環境足跡的文獻（發表於 1999 - 2019 年）。對可用證據進行了映射，並按飲食模式、健康和環境結果的獨特組合進行了彙總分析。十八項研究（412 次測量）符合我們的納入標準，區分了十二種非互斥的可持續飲食模式、六種環境結果和七種健康結果。在 87% 的測量中（n = 151），與當前/基線消費模式相比，“可持續飲食”報告了積極的健康結果（平均相對健康改善：4.09% [95% CI -0.10 - 8.29]）。與“可持續飲食”相關的溫室氣體排放量平均比當前/基線消費模式低 25.8% [95% CI -27.0 至 -14.6]，其中純素飲食報告的溫室氣體排放量減少最多（-70.3% [95% CI：-90.2 至 -50.4]），然而，水的使用量經常被報告高於當前/基線飲食。大多數測量（n = 315 [76%]）報告了對健康和環境的多重益處。我們發現了一致的證據，表明“可持續飲食”對健康有積極影響，並減少了環境足跡。與“可持續飲食”相關的水使用量增加這一顯著例外表明，協同效益並非普遍存在，可能需要進行一些權衡。當精心設計、基於證據並適應背景因素時，飲食改變可能在緩解氣候變化、可持續糧食系統和未來人口健康方面發揮關鍵作用。',
        '最近關於能源轉型時間動態的辯論至關重要，因為從化石燃料轉型的主要原因之一是應對氣候變化。正如我們從歷史中看到的，長期的轉型需要數十年甚至數百年，不太可能有助於實現氣候變化緩解目標。因此，能源轉型的速度以及是否可以加快是一個關鍵的學術和政策問題。我們認為，雖然歷史對於理解轉型動態很重要，但歷史轉型的速度只是部分地為未來提供了一個很好的指導。我們同意 Sovacool [1] 的觀點，即過去已經發生過更快的轉型，因此未來在全球範圍內也有可能實現。我們樂觀的關鍵原因是，歷史上的能源轉型並沒有得到有意識的管理，而如今，各種各樣的行為者正在積極嘗試管理向低碳能源系統的轉型。此外，國際創新動態可能有利於加速全球低碳轉型。最後，2015 年的《巴黎協定》首次表明了全球向低碳經濟轉型的承諾，從而表明了促進快速轉型和克服阻力（例如來自擁有沉沒基礎設施投資的現有企業）所需的政治意願。',
        '最近北極的變暖正在影響廣泛的物理、生態和人類/文化系統，這些影響在百年時間尺度上可能是不可逆轉的，並有可能導致地球系統的快速變化。北極碳循環對氣候變化的響應是全球關注的一個主要問題，但目前還沒有對當代北極碳循環的現狀及其對氣候變化的響應進行全面的綜述。本綜述旨在闡明北極碳循環對當前氣候變化響應中的關鍵不確定性和脆弱性。雖然很明顯北極有大量的碳儲量，但與永久凍土中有機質儲量的大小以及北極地下和水下永久凍土下甲烷水合物的儲存相關的不確定性也很大。在全球碳循環的背景下，本綜述表明北極在全球二氧化碳和甲烷的動態中都起著重要作用。研究表明，近幾十年來，北極一直是大氣二氧化碳的匯，吸收量在 0 至 0.8 Pg C/年之間，佔 20 世紀 90 年代全球陸地/海洋淨通量的 0% 至 25%。北極是大氣甲烷的重要來源（每年 32 至 112 Tg 甲烷），主要是因為該地區有大面積的溼地。迄今為止的分析表明，21 世紀剩餘時間裡北極碳循環的敏感性高度不確定。為了提高評估北極碳循環對預計氣候變化敏感性的能力，我們建議：（1）開展綜合區域研究，將碳動態觀測與可能影響這些動態的過程聯繫起來；（2）將從這些綜合研究中獲得的理解納入非耦合和完全耦合的碳 - 氣候建模工作中。',
        '氧氣塑造了我們今天所知的地球生命。分子氧對於正常的細胞功能至關重要，即植物需要氧氣來維持細胞呼吸和進行各種生化反應。當細胞中的氧氣水平低於呼吸所需的水平時，細胞就會經歷缺氧。眾所周知，植物在自然環境條件下（如洪水）會經歷根部缺氧。另一方面，水果在正常氧氣條件下也會缺氧。這種現象至少可以部分解釋為擴散障礙、組織擴散率低以及呼吸作用對氧氣的高消耗。從生理學角度來看，缺氧對水果發育有深遠影響，因為有充分的文獻記載，低氧環境可以顯著延緩某些水果的成熟和衰老。低氧環境的這種效應被廣泛用於優化儲存條件和運輸，並延長几種水果商品的保質期。因此，進一步瞭解細胞內氧氣供應與水果發育之間的複雜關係有助於採後管理。',
        '摘要：過去 40 年裡，北極海冰的急劇減少是地球氣候變化最明顯的證據。在所有表徵海冰的變量中，海冰體積對氣候變化最為敏感，因為與海冰範圍和厚度相比，它的衰減速度最快。在 40 年裡，北極海冰在夏季結束時的體積減少了約四分之三，相當於海冰範圍和厚度平均減少了一半。40 年前，北極海冰夏季最小值超過 16000 km³，而在最近的幾個夏天，已經降至不到 4000 km³。由於北極海冰體積是海冰範圍和厚度的綜合體現，因此直接準確地觀測它很困難。我們根據 ERA 中期再分析地表氣溫數據，估算了整個北極地區過去 38 年中每年 9 個月（9 月至次年 5 月）的累積凍結度日數（FDD）。然後，我們將根據累積 FDD 推算出的海冰厚度計算得到的北極海冰體積，與基於泛北極冰 - 海洋建模與同化系統（PIOMAS）和歐洲航天局 CryoSat - 2 衛星估算的北極海冰體積進行了比較。結果驚人地相似。大氣變暖在整個凍結季節（9 月至 5 月）對北極海冰體積的減少起著重要作用。此外，FDD 的空間分佈呈現出明顯的雙峰特徵，反映了北極海冰覆蓋典型的多年冰（MYI）與一年冰（FYI）的雙重分佈。這表明，垂直海洋熱通量對海冰的影響很大，具體取決於 MYI 與 FYI 的分佈以及其上的雪層，進而影響地表氣溫。2018 年，北極多年冰在過去 40 年中首次幾乎完全消失。在未來 15 年內，北極海冰在夏季幾乎完全消失的可能性更大，這將對北極海洋和陸地生態系統、全球氣候和天氣模式以及人類活動產生廣泛的影響。'
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 詳細文檔

模型詳情

模型來源

• 文檔：Sentence Transformers 文檔
• 文檔：交叉編碼器文檔
• 代碼倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的交叉編碼器

評估指標

交叉編碼器重排序

• 數據集：climate-science-eval
• 評估方法：使用 CrossEncoderRerankingEvaluator 進行評估，參數如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

訓練詳情

訓練數據集

• 數據集名稱：未命名數據集
• 數據集大小：2016 個訓練樣本
• 數據集列名：query、answer 和 label
• 基於前 1000 個樣本的近似統計信息：

  	查詢 (query)	答案 (answer)	標籤 (label)
  類型	字符串	字符串	整數
  詳情	最小長度：27 個字符 平均長度：111.06 個字符 最大長度：236 個字符	最小長度：183 個字符 平均長度：1988.82 個字符 最大長度：23789 個字符	0：約 74.60% 1：約 25.40%

• 損失函數：BinaryCrossEntropyLoss，參數如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 6
  }
  

訓練超參數

非默認超參數

• eval_strategy：按輪次評估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：2e-05
• warmup_ratio：0.1
• fp16：True
• dataloader_num_workers：4
• load_best_model_at_end：True

所有超參數

訓練日誌

注：加粗行表示保存的檢查點。

框架版本

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

📄 許可證

本模型使用 Apache-2.0 許可證。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}