Crossencoder Camembert Large

🚀 文章ランキング用Cross-Encoderモデル

このモデルは、文章の類似度を評価するためのCross-Encoderモデルです。dangvantuan/CrossEncoder-camembert-large をベースに、堅牢性と性能を向上させています。

🚀 クイックスタート

インストール

このモデルを使用するには、 sentence-transformers をインストールする必要があります。

pip install -U sentence-transformers

使用例

from sentence_transformers import CrossEncoder
model = CrossEncoder('Lajavaness/CrossEncoder-camembert-large', max_length=512)
scores = model.predict([('Un avion est en train de décoller.', "Un homme joue d'une grande flûte."), ("Un homme étale du fromage râpé sur une pizza.", "Une personne jette un chat au plafond") ])

✨ 主な機能

• 文章の類似度を0から1のスコアで予測することができます。
• dangvantuan/CrossEncoder-camembert-large よりも堅牢性と性能が向上しています。

📦 インストール

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import CrossEncoder
model = CrossEncoder('Lajavaness/CrossEncoder-camembert-large', max_length=512)
scores = model.predict([('Un avion est en train de décoller.', "Un homme joue d'une grande flûte."), ("Un homme étale du fromage râpé sur une pizza.", "Une personne jette un chat au plafond") ])

📚 ドキュメント

モデル

このモデルは、文章の類似度を評価するためのCross-Encoderモデルです。 dangvantuan/CrossEncoder-camembert-large をベースに、堅牢性と性能を向上させています。

学習データ

このモデルは、 STS benchmark dataset で学習され、 Augmented SBERT と組み合わされています。モデルは、 CrossEncoder-camembert-large と dangvantuan/sentence-camembert-large の2つのモデルを使用したペアサンプリング戦略の恩恵を受けています。モデルは、2つの文章の意味的な類似度について0から1のスコアを予測します。

評価

このモデルは、stsbのフランス語のテストデータで以下のように評価することができます。

from sentence_transformers.readers import InputExample
from sentence_transformers.cross_encoder.evaluation import CECorrelationEvaluator
from datasets import load_dataset
def convert_dataset(dataset):
    dataset_samples=[]
    for df in dataset:
        score = float(df['similarity_score'])/5.0  # Normalize score to range 0 ... 1
        inp_example = InputExample(texts=[df['sentence1'], 
                                    df['sentence2']], label=score)
        dataset_samples.append(inp_example)
    return dataset_samples

# Loading the dataset for evaluation
df_dev = load_dataset("stsb_multi_mt", name="fr", split="dev")
df_test = load_dataset("stsb_multi_mt", name="fr", split="test")

# Convert the dataset for evaluation

# For Dev set:
dev_samples = convert_dataset(df_dev)
val_evaluator = CECorrelationEvaluator.from_input_examples(dev_samples, name='sts-dev')
val_evaluator(model, output_path="./")

# For Test set, the Pearson and Spearman correlation are evaluated on many different benchmark datasets:

test_samples = convert_dataset(df_test)
test_evaluator = CECorrelationEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(models, output_path="./")

テスト結果 パフォーマンスは、ピアソン相関係数とスピアマン相関係数を使用して測定されます。

• 開発データセット

• テストデータセット

ピアソンスコア

スピアマンスコア

📄 ライセンス

このモデルは、Apache License 2.0の下で提供されています。