Ag Nli DeTS Sentence Similarity V2

🚀 文章の類似度判定用のクロスエンコーダ

このモデルは、文章間の類似度を判定するためのもので、SentenceTransformers の Cross-Encoder クラスを用いて学習されました。

🚀 クイックスタート

このモデルは、6種類の自然言語推論（NLI）データセットを用いて学習されています。2つの文章の意味的な類似度を、0（類似していない）から1（非常に類似している）のスコアで予測します。

✨ 主な機能

• 文章の特徴抽出
• 文章の類似度判定
• Transformersベースのモデル

📦 インストール

このモデルを使用するには、sentence-transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import CrossEncoder

model = CrossEncoder('abbasgolestani/ag-nli-DeTS-sentence-similarity-v2')

# 2つの文章リスト
sentences1 = ['I am honored to be given the opportunity to help make our company better',
             'I love my job and what I do here',
             'I am excited about our company’s vision']

sentences2 = ['I am hopeful about the future of our company',
              'My work is aligning with my passion',
              'Definitely our company vision will be the next breakthrough to change the world and I’m so happy and proud to work here']

pairs = zip(sentences1,sentences2)
list_pairs=list(pairs)

scores1 = model.predict(list_pairs, show_progress_bar=False)
print(scores1)

for i in range(len(sentences1)):
    print("{} \t\t {} \t\t Score: {:.4f}".format(sentences1[i], sentences2[i], scores1[i]))

高度な使用法

事前学習済みモデルは、以下のように使用できます。

from sentence_transformers import CrossEncoder
model = CrossEncoder('abbasgolestani/ag-nli-DeTS-sentence-similarity-v2')
scores = model.predict([('Sentence 1', 'Sentence 2'), ('Sentence 3', 'Sentence 4')])

このモデルは、ペア ('Sentence 1', 'Sentence 2') と ('Sentence 3', 'Sentence 4') のスコアを予測します。

また、sentence-transformers を使用せずに、Transformersの AutoModel クラスを使用してこのモデルを利用することもできます。

📚 ドキュメント

データセット

このモデルは、以下のデータセットを用いて学習されています。

• multi_nli
• pietrolesci/nli_fever

サポート言語

• 英語 (en)
• オランダ語 (nl)
• ドイツ語 (de)
• フランス語 (fr)
• イタリア語 (it)
• スペイン語 (es)

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。