Text2vec Base Chinese Paraphrase

🚀 shibing624/text2vec-base-chinese-paraphrase

このモデルはCoSENT(Cosine Sentence)モデルであるshibing624/text2vec-base-chinese-paraphraseです。文章を768次元の密ベクトル空間にマッピングし、文章埋め込み、テキストマッチング、または意味検索などのタスクに使用できます。

🚀 クイックスタート

このモデルを使用するには、text2vecをインストールすると簡単に利用できます。

pip install -U text2vec

その後、以下のようにモデルを使用できます。

from text2vec import SentenceModel
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
model = SentenceModel('shibing624/text2vec-base-chinese-paraphrase')
embeddings = model.encode(sentences)
print(embeddings)

✨ 主な機能

• 文章を768次元の密ベクトル空間にマッピングすることができます。
• 文章埋め込み、テキストマッチング、または意味検索などのタスクに使用できます。

📦 インストール

text2vecを使用する場合

pip install -U text2vec

HuggingFace Transformersを使用する場合

pip install transformers

sentence-transformersを使用する場合

pip install -U sentence-transformers

💻 使用例

text2vecを使用する場合

from text2vec import SentenceModel
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
model = SentenceModel('shibing624/text2vec-base-chinese-paraphrase')
embeddings = model.encode(sentences)
print(embeddings)

HuggingFace Transformersを使用する場合

from transformers import BertTokenizer, BertModel
import torch
# Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
# Load model from HuggingFace Hub
tokenizer = BertTokenizer.from_pretrained('shibing624/text2vec-base-chinese-paraphrase')
model = BertModel.from_pretrained('shibing624/text2vec-base-chinese-paraphrase')
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)

sentence-transformersを使用する場合

from sentence_transformers import SentenceTransformer
m = SentenceTransformer("shibing624/text2vec-base-chinese-paraphrase")
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
sentence_embeddings = m.encode(sentences)
print("Sentence embeddings:")
print(sentence_embeddings)

📚 ドキュメント

モデル情報

評価

このモデルの自動評価については、Evaluation Benchmark: text2vecを参照してください。

リリースモデル

モデル説明

• 結果評価指標：スピアマン係数
• shibing624/text2vec-base-chineseモデルは、CoSENT方法で訓練され、hfl/chinese-macbert-baseをベースに中文STS-Bデータで訓練され、中文STS-Bテストセットで良好な結果を得ています。examples/training_sup_text_matching_model.pyを実行することでモデルを訓練できます。モデルファイルはHF model hubにアップロードされており、中文の一般的な意味マッチングタスクに推奨されます。
• shibing624/text2vec-base-chinese-sentenceモデルは、CoSENT方法で訓練され、nghuyong/ernie-3.0-base-zhをベースに、人工的に選択された中文STSデータセットshibing624/nli-zh-all/text2vec-base-chinese-sentence-datasetで訓練され、中文の各NLIテストセットで良好な結果を得ています。examples/training_sup_text_matching_model_jsonl_data.pyを実行することでモデルを訓練できます。モデルファイルはHF model hubにアップロードされており、中文のs2s(文章vs文章)意味マッチングタスクに推奨されます。
• shibing624/text2vec-base-chinese-paraphraseモデルは、CoSENT方法で訓練され、nghuyong/ernie-3.0-base-zhをベースに、人工的に選択された中文STSデータセットshibing624/nli-zh-all/text2vec-base-chinese-paraphrase-datasetで訓練されます。このデータセットは、shibing624/nli-zh-all/text2vec-base-chinese-sentence-datasetにs2p(sentence to paraphrase)データが追加されており、長文の表現能力が強化されています。中文の各NLIテストセットでSOTAを達成しています。examples/training_sup_text_matching_model_jsonl_data.pyを実行することでモデルを訓練できます。モデルファイルはHF model hubにアップロードされており、中文のs2p(文章vs段落)意味マッチングタスクに推奨されます。
• sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2モデルは、SBERTで訓練されたparaphrase-MiniLM-L12-v2モデルの多言語バージョンで、中文、英文などをサポートしています。
• w2v-light-tencent-chineseは、騰訊の単語ベクトルのWord2Vecモデルで、CPUでロードして使用でき、中文字面マッチングタスクやデータが不足しているコールドスタートの場合に適しています。

🔧 技術詳細

モデルアーキテクチャ

CoSENT(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: ErnieModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_mean_tokens': True})
)

訓練手順

事前訓練

事前訓練済みのnghuyong/ernie-3.0-base-zhモデルを使用しています。事前訓練手順の詳細については、モデルカードを参照してください。

ファインチューニング

対照的な目的関数を使用してモデルをファインチューニングしています。形式的には、バッチ内のすべての可能な文章ペアからコサイン類似度を計算し、真のペアと偽のペアを比較することでランク損失を適用しています。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

引用と著者

このモデルはtext2vecによって訓練されました。

このモデルが役に立った場合は、以下のように引用してください。

@software{text2vec,
  author = {Ming Xu},
  title = {text2vec: A Tool for Text to Vector},
  year = {2023},
  url = {https://github.com/shibing624/text2vec},
}