Bert Semantic Similarity

🚀 tf-keras

このライブラリは、SNLIコーパス上でBERTモデルを微調整し、文の意味的類似度を計算するためのモデルとノートブックを提供します。

🚀 クイックスタート

このリポジトリには、SNLIコーパス上でBERTモデルを意味的類似度のために微調整するためのモデルとノートブックが含まれています。詳細については、Semantic Similarity with BERTを参照してください。

完全なクレジットはMohamad Merchantにあります。

再現者はVu Minh Chienです。

動機: 意味的類似度は、2つの文の意味がどれだけ類似しているかを判断します。このチュートリアルでは、BERTモデルを微調整し、2つの文の類似度スコアを予測するために使用することができます。

✨ 主な機能

• SNLIコーパスを使用してBERTモデルを微調整し、文の意味的類似度を予測します。
• トレーニングと評価のデータサンプル数が明確に示されています。
• トレーニングのハイパーパラメータが詳細に記載されています。
• モデルのプロットを表示できます。

📚 ドキュメント

トレーニングと評価データ

この例では、Stanford Natural Language Inference (SNLI) コーパスを使用して、Transformersを用いた文の意味的類似度を予測する方法を示しています。

• 総トレーニングサンプル数: 100000
• 総検証サンプル数: 10000
• 総テストサンプル数: 10000

SNLIデータセットの「類似度」ラベル値は以下の通りです:

• 矛盾 (Contradiction): 文には類似性がありません。
• 含意 (Entailment): 文は類似した意味を持っています。
• 中立 (Neutral): 文は中立的です。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです:

モデルプロット