Gbert Large Paraphrase Euclidean

🚀 德語BERT大模型釋義歐幾里得模型

這是一個 sentence-transformers 模型，它可以將句子和段落（文本）映射到一個1024維的密集向量空間中。該模型旨在與 SetFit 一起使用，以改進德語少樣本的文本分類任務。它有一個兄弟模型 deutsche-telekom/gbert-large-paraphrase-cosine。

此模型基於 deepset/gbert-large 構建，非常感謝 deepset！

🚀 快速開始

該模型可用於德語少樣本的文本分類任務，結合 SetFit 能取得更好的效果。

✨ 主要特性

• 基於 sentence-transformers 框架，可將文本映射到1024維的密集向量空間。
• 與 SetFit 結合使用，提升德語少樣本的文本分類性能。
• 有一個兄弟模型 deutsche-telekom/gbert-large-paraphrase-cosine。

🔧 技術細節

訓練

損失函數

我們使用了 BatchHardSoftMarginTripletLoss 作為損失函數，並採用歐幾里得距離：

    train_loss = losses.BatchHardSoftMarginTripletLoss(
       model=model,
       distance_metric=BatchHardTripletLossDistanceFunction.eucledian_distance,
   )

訓練數據

該模型在經過精心篩選的 deutsche-telekom/ger-backtrans-paraphrase 數據集上進行訓練。我們刪除了以下句子對：

• min_char_len 小於15
• jaccard_similarity 大於0.3
• de_token_count 大於30
• en_de_token_count 大於30
• cos_sim 小於0.85

超參數

• 學習率：5.5512022294147105e-06
• 訓練輪數：7
• 訓練批次大小：68
• GPU數量：???

評估結果

我們使用 NLU Few-shot Benchmark - English and German 數據集在德語少樣本場景下對該模型進行評估。

定性結果

• 多語言句子嵌入的效果最差。
• Electra 模型的效果也不佳。
• 德語BERT基礎大小模型 deepset/gbert-base 效果良好。
• 德語BERT大模型 deepset/gbert-large 效果非常好。
• 我們微調後的模型（本模型和 deutsche-telekom/gbert-large-paraphrase-cosine）效果最佳。

📄 許可證

版權所有 (c) 2023 Philip May，Deutsche Telekom AG 版權所有 (c) 2022 deepset GmbH

本模型遵循 MIT 許可證。除非符合許可證要求，否則不得使用此文件。您可以通過查看倉庫中的 LICENSE 文件獲取許可證。

信息表格