Gbert Large Paraphrase Euclidean

🚀 German BERT large paraphrase euclidean

このモデルは、sentence-transformers をベースにしたモデルです。文章や段落（テキスト）を1024次元の密ベクトル空間にマッピングします。このモデルは、SetFit と組み合わせて、ドイツ語のフェデレーション学習における少サンプルのテキスト分類を改善するために使用されることを想定しています。また、deutsche-telekom/gbert-large-paraphrase-cosine という兄弟モデルもあります。

このモデルは deepset/gbert-large をベースにしています。deepset に感謝いたします！

🚀 クイックスタート

このモデルは、文章や段落を1024次元の密ベクトル空間にマッピングし、SetFitと組み合わせてドイツ語の少サンプルテキスト分類を改善するために使用されます。

✨ 主な機能

• 文章や段落を1024次元の密ベクトル空間にマッピングする。
• SetFitと組み合わせて、ドイツ語の少サンプルテキスト分類を改善する。

🔧 技術詳細

学習

損失関数

損失関数として、ユークリッド距離を用いた BatchHardSoftMarginTripletLoss を使用しています。

    train_loss = losses.BatchHardSoftMarginTripletLoss(
       model=model,
       distance_metric=BatchHardTripletLossDistanceFunction.eucledian_distance,
   )

学習データ

モデルは、deutsche-telekom/ger-backtrans-paraphrase という慎重にフィルタリングされたデータセットで学習されています。以下の文章ペアは削除されています。

• min_char_len が15未満
• jaccard_similarity が0.3を超える
• de_token_count が30を超える
• en_de_token_count が30を超える
• cos_sim が0.85未満

ハイパーパラメータ

• learning_rate: 5.5512022294147105e-06
• num_epochs: 7
• train_batch_size: 68
• num_gpu: ???

評価結果

NLU Few-shot Benchmark - English and German データセットを使用して、ドイツ語の少サンプルシナリオでこのモデルを評価しました。

定性的な結果

• 多言語文章埋め込みは最悪の結果を提供します。
• Electraモデルも悪い結果を提供します。
• ドイツ語BERTベースサイズモデル (deepset/gbert-base) は良い結果を提供します。
• ドイツ語BERTラージサイズモデル (deepset/gbert-large) は非常に良い結果を提供します。
• 微調整されたモデル（このモデルと deutsche-telekom/gbert-large-paraphrase-cosine）は最良の結果を提供します。

📄 ライセンス

Copyright (c) 2023 Philip May, Deutsche Telekom AG Copyright (c) 2022 deepset GmbH

このモデルは MIT License の下でライセンスされています。詳細は LICENSE を参照してください。

情報テーブル