St Polish Kartonberta Base Alpha V1

🚀 st-polish-kartonberta-base-alpha-v1

這個句子轉換器模型旨在將文本內容轉換為768維浮點向量空間，以實現有效的文本表示。它擅長處理句子或文檔相似度相關任務。

🚀 快速開始

使用Sentence-Transformers

你可以使用 sentence-transformers 庫來使用該模型：

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('OrlikB/st-polish-kartonberta-base-alpha-v1')

text_1 = 'Jestem wielkim fanem opakowań tekturowych'
text_2 = 'Bardzo podobają mi się kartony'

embeddings_1 = model.encode(text_1, normalize_embeddings=True)
embeddings_2 = model.encode(text_2, normalize_embeddings=True)

similarity = embeddings_1 @ embeddings_2.T
print(similarity)

使用HuggingFace Transformers

from transformers import AutoTokenizer, AutoModel
import torch
import numpy as np

def encode_text(text):
    encoded_input = tokenizer(text, padding=True, truncation=True, return_tensors='pt', max_length=512)
    with torch.no_grad():
        model_output = model(**encoded_input)
        sentence_embeddings = model_output[0][:, 0]
        sentence_embeddings = torch.nn.functional.normalize(sentence_embeddings, p=2, dim=1)
    return  sentence_embeddings.squeeze().numpy()

cosine_similarity = lambda a, b: np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))


tokenizer = AutoTokenizer.from_pretrained('OrlikB/st-polish-kartonberta-base-alpha-v1')
model = AutoModel.from_pretrained('OrlikB/st-polish-kartonberta-base-alpha-v1')
model.eval()

text_1 = 'Jestem wielkim fanem opakowań tekturowych'
text_2 = 'Bardzo podobają mi się kartony'

embeddings_1 = encode_text(text_1)
embeddings_2 = encode_text(text_2)

print(cosine_similarity(embeddings_1, embeddings_2))

⚠️ 重要提示

你可以使用 encode_text 函數進行演示。為獲得最佳體驗，建議批量處理文本。

✨ 主要特性

• 能將文本轉換為768維浮點向量空間，實現有效文本表示。
• 擅長句子或文檔相似度相關任務。

📚 詳細文檔

模型描述

評估

波蘭語MTEB

🔧 技術細節

該模型目前處於Alpha版本發佈階段。由於GPU資源有限，有很多潛在的改進方法可以提升其性能，例如調整訓練超參數或延長訓練時間（目前僅訓練了一個epoch）。

📄 許可證

該模型使用LGPL-3.0許可證。