Crossencoder Camembert Large

🚀 跨編碼器CamemBERT大模型

本項目是一個用於句子相似度計算的跨編碼器模型，在現有模型基礎上進行了改進，具備更強的魯棒性和更優的性能，能夠精準預測兩個句子之間的語義相似度得分。

🚀 快速開始

若要使用此模型，需要安裝 sentence-transformers：

pip install -U sentence-transformers

✨ 主要特性

• 基於跨編碼器架構，專為句子相似度任務設計。
• 相比 dangvantuan/CrossEncoder-camembert-large 模型，具有更好的魯棒性和性能。
• 結合了 Augmented SBERT 技術，利用成對採樣策略提升效果。

📦 安裝指南

使用此模型前，需安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import CrossEncoder
model = CrossEncoder('Lajavaness/CrossEncoder-camembert-large', max_length=512)
scores = model.predict([('Un avion est en train de décoller.', "Un homme joue d'une grande flûte."), ("Un homme étale du fromage râpé sur une pizza.", "Une personne jette un chat au plafond") ])

📚 詳細文檔

模型信息

評估

該模型可在 stsb 的法語測試數據上進行如下評估：

from sentence_transformers.readers import InputExample
from sentence_transformers.cross_encoder.evaluation import CECorrelationEvaluator
from datasets import load_dataset
def convert_dataset(dataset):
    dataset_samples=[]
    for df in dataset:
        score = float(df['similarity_score'])/5.0  # Normalize score to range 0 ... 1
        inp_example = InputExample(texts=[df['sentence1'], 
                                    df['sentence2']], label=score)
        dataset_samples.append(inp_example)
    return dataset_samples

# Loading the dataset for evaluation
df_dev = load_dataset("stsb_multi_mt", name="fr", split="dev")
df_test = load_dataset("stsb_multi_mt", name="fr", split="test")

# Convert the dataset for evaluation

# For Dev set:
dev_samples = convert_dataset(df_dev)
val_evaluator = CECorrelationEvaluator.from_input_examples(dev_samples, name='sts-dev')
val_evaluator(model, output_path="./")

# For Test set, the Pearson and Spearman correlation are evaluated on many different benchmark datasets:

test_samples = convert_dataset(df_test)
test_evaluator = CECorrelationEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(models, output_path="./")

測試結果

性能通過皮爾遜相關係數和斯皮爾曼相關係數進行衡量：

開發集

測試集 - 皮爾遜得分

測試集 - 斯皮爾曼得分

📄 許可證

本項目採用 apache-2.0 許可證。