Sbertdistil

🚀 FractalGPT/SbertDistil

FractalGPT/SbertDistil是一個基於sentence-transformers的模型。它能將句子和段落映射到384維的密集向量空間，可用於聚類、語義搜索等任務。這是一個輕量級的快速模型，用於解決句子相似度判定問題，未來還會對其進行進一步的加速和輕量化。項目鏈接

🚀 快速開始

安裝依賴

使用該模型前，需要安裝sentence-transformers：

pip install -U sentence-transformers

代碼示例

安裝完成後，你可以按照如下方式使用該模型：

import numpy as np
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('FractalGPT/SbertDistil')

def cos(x, y):
  return np.dot(x, y)/(np.linalg.norm(x)*np.linalg.norm(y))

text_1 = "Кто такой большой кот?"
text_2 = "Who is kitty?"
a = model.encode(text_1)
b = model.encode(text_2)
cos(a, b)

>>> 0.8072159157330788

你也可以在Collab中運行示例。

📚 詳細文檔

訓練信息

• 初始權重：模型的初始權重來自於cointegrated/rubert-tiny2。
• 訓練階段：模型的訓練分為兩個階段：
  1. 第一階段：在維基百科文本（400萬條文本）上進行了三個週期的訓練。
  2. 第二階段：在維基百科和對話數據集上進行了一個週期的訓練。

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 312, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Dense({'in_features': 312, 'out_features': 384, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
)

📄 許可證

本項目採用Apache 2.0許可證。