Text2vec Base Chinese

🚀 shibing624/text2vec-base-chinese

このモデルはCoSENT（Cosine Sentence）モデルのshibing624/text2vec-base-chineseです。 文章を768次元の密ベクトル空間にマッピングし、文章埋め込み、テキストマッチング、または意味検索などのタスクに使用できます。

🚀 クイックスタート

このモデルの自動評価については、Evaluation Benchmarkを参照してください：text2vec

✨ 主な機能

評価

• 中国語のテキストマッチングタスク：

説明：

• 結果評価指標：spearman係数
• shibing624/text2vec-base-chineseモデルは、CoSENT方法で訓練され、hfl/chinese-macbert-baseをベースに中国語のSTS - Bデータで訓練され、中国語のSTS - Bテストセットで良好な結果を得ています。examples/training_sup_text_matching_model.pyのコードを実行することでモデルを訓練でき、モデルファイルはHF model hubにアップロードされています。中国語の一般的な意味マッチングタスクに推奨されます。
• shibing624/text2vec-base-chinese-sentenceモデルは、CoSENT方法で訓練され、nghuyong/ernie-3.0-base-zhをベースに、人工的に選択された中国語のSTSデータセットshibing624/nli-zh-all/text2vec-base-chinese-sentence-datasetで訓練され、中国語の各NLIテストセットで良好な結果を得ています。examples/training_sup_text_matching_model_jsonl_data.pyのコードを実行することでモデルを訓練でき、モデルファイルはHF model hubにアップロードされています。中国語のs2s（文章vs文章）意味マッチングタスクに推奨されます。
• shibing624/text2vec-base-chinese-paraphraseモデルは、CoSENT方法で訓練され、nghuyong/ernie-3.0-base-zhをベースに、人工的に選択された中国語のSTSデータセットshibing624/nli-zh-all/text2vec-base-chinese-paraphrase-datasetで訓練されます。このデータセットはshibing624/nli-zh-all/text2vec-base-chinese-sentence-datasetに比べてs2p（文章vs段落）データが追加され、長文の表現能力が強化されており、中国語の各NLIテストセットでSOTAの結果を得ています。examples/training_sup_text_matching_model_jsonl_data.pyのコードを実行することでモデルを訓練でき、モデルファイルはHF model hubにアップロードされています。中国語のs2p（文章vs段落）意味マッチングタスクに推奨されます。
• sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2モデルはSBERTで訓練され、paraphrase-MiniLM-L12-v2モデルの多言語バージョンで、中国語、英語などをサポートしています。
• w2v-light-tencent-chineseは騰訊の単語ベクトルのWord2Vecモデルで、CPUでロードして使用でき、中国語の文字通りのマッチングタスクやデータが不足しているコールドスタートの場合に適しています。

📦 インストール

text2vecを使用する場合

text2vecをインストールすると、このモデルの使用が簡単になります。

pip install -U text2vec

HuggingFace Transformersを使用する場合

text2vecがなくても、次のようにモデルを使用できます。まず、入力をTransformerモデルに通し、その後、文脈化された単語埋め込みの上に適切なプーリング操作を適用する必要があります。

pip install transformers

sentence-transformersを使用する場合

pip install -U sentence-transformers

💻 使用例

text2vecを使用する場合

from text2vec import SentenceModel
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']

model = SentenceModel('shibing624/text2vec-base-chinese')
embeddings = model.encode(sentences)
print(embeddings)

HuggingFace Transformersを使用する場合

from transformers import BertTokenizer, BertModel
import torch

# Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Load model from HuggingFace Hub
tokenizer = BertTokenizer.from_pretrained('shibing624/text2vec-base-chinese')
model = BertModel.from_pretrained('shibing624/text2vec-base-chinese')
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)

sentence-transformersを使用する場合

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("shibing624/text2vec-base-chinese")
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']

sentence_embeddings = m.encode(sentences)
print("Sentence embeddings:")
print(sentence_embeddings)

モデルの高速化

簡単に言うと：

1. ✅ shibing624/text2vec-base-chinese (onnx - O4)、ONNXをO4に最適化すると、性能が低下することはなく、GPUで~2倍の高速化が得られます。
2. ✅ shibing624/text2vec-base-chinese (ov)、OpenVINOを使用すると、性能が低下することはなく、CPUで1.12倍の高速化が得られます。
3. 🟡 shibing624/text2vec-base-chinese (ov - qint8)、OVを使用したint8量子化では、Chinese STSBで量子化すると、一部のタスクでわずかな性能低下が見られ、他のタスクではわずかな性能向上が見られます。また、CPUで4.78倍の高速化が得られます。

onnx - O4（GPU用）

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "shibing624/text2vec-base-chinese",
    backend="onnx",
    model_kwargs={"file_name": "model_O4.onnx"},
)
embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"])
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities)

ov（CPU用）

# pip install 'optimum[openvino]'

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "shibing624/text2vec-base-chinese",
    backend="openvino",
)

embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"])
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities)

ov - qint8（CPU用）

# pip install optimum
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "shibing624/text2vec-base-chinese",
    backend="onnx",
    model_kwargs={"file_name": "model_qint8_avx512_vnni.onnx"},
)
embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"])
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities)

📚 ドキュメント

モデルの全体構造

CoSENT(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_mean_tokens': True})
)

想定される用途

このモデルは、文章および短い段落のエンコーダとして使用することを想定しています。入力テキストが与えられると、意味情報を捉えたベクトルを出力します。文章ベクトルは、情報検索、クラスタリング、または文章類似度タスクに使用できます。

デフォルトでは、256語片より長い入力テキストは切り捨てられます。

訓練手順

事前訓練

事前訓練済みのhfl/chinese-macbert-baseモデルを使用しています。事前訓練手順の詳細については、モデルカードを参照してください。

微調整

対照的な目的関数を使用してモデルを微調整しています。正式には、バッチ内のすべての可能な文章ペアからコサイン類似度を計算します。その後、真のペアと偽のペアを比較することでランク損失を適用します。

ハイパーパラメータ

• 訓練データセット：https://huggingface.co/datasets/shibing624/nli_zh
• max_seq_length: 128
• 最適エポック数: 5
• 文章埋め込み次元: 768

🔧 技術詳細

このモデルはtext2vecによって訓練されました。

もしこのモデルが役に立った場合、以下のように引用してください。

@software{text2vec,
  author = {Xu Ming},
  title = {text2vec: A Tool for Text to Vector},
  year = {2022},
  url = {https://github.com/shibing624/text2vec},
}

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。