Serafim 100m Portuguese Pt Sentence Encoder Ir
模型概述
該模型專門針對葡萄牙語(PT)設計,能夠將句子和段落轉換為高維向量表示,便於進行語義相似度計算和信息檢索。
模型特點
葡萄牙語優化
專門針對葡萄牙語文本進行優化,能夠更好地捕捉葡萄牙語的語義特徵。
高維向量表示
將文本映射到768維的密集向量空間,便於進行語義相似度計算。
句子級編碼
能夠處理句子和段落級別的文本,生成有意義的向量表示。
模型能力
文本向量化
語義相似度計算
信息檢索
文本聚類
使用案例
信息檢索
文檔搜索
構建基於語義的文檔搜索系統
提高搜索結果的語義相關性
文本分析
文本聚類
將語義相似的文檔或句子自動分組
發現文本數據中的潛在主題
🚀 Serafim 100m葡萄牙語(PT)句子編碼器
Serafim 100m葡萄牙語(PT)句子編碼器是一個基於sentence-transformers
的模型,它可以將句子和段落映射到768維的密集向量空間,可用於聚類或語義搜索等任務。
🚀 快速開始
安裝sentence-transformers
庫
使用此模型,你需要先安裝sentence-transformers
庫:
pip install -U sentence-transformers
使用示例
基礎用法
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('PORTULAN/serafim-100m-portuguese-pt-sentence-encoder-ir')
embeddings = model.encode(sentences)
print(embeddings)
高級用法
若不使用sentence-transformers
庫,你可以按以下方式使用該模型:首先,將輸入數據通過Transformer模型,然後對上下文詞嵌入應用正確的池化操作。
from transformers import AutoTokenizer, AutoModel
import torch
#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0] #First element of model_output contains all token embeddings
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
# Sentences we want sentence embeddings for
sentences = ['This is an example sentence', 'Each sentence is converted']
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('PORTULAN/serafim-100m-portuguese-pt-sentence-encoder-ir')
model = AutoModel.from_pretrained('PORTULAN/serafim-100m-portuguese-pt-sentence-encoder-ir')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# Compute token embeddings
with torch.no_grad():
model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📚 詳細文檔
評估結果
要對該模型進行自動評估,請參考 Sentence Embeddings Benchmark:https://seb.sbert.net
訓練參數
該模型使用以下參數進行訓練:
數據加載器
sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader
,長度為361643,參數如下:
{'batch_size': 220}
損失函數
sentence_transformers.losses.GISTEmbedLoss.GISTEmbedLoss
,參數如下:
{'guide': SentenceTransformer(
(0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
), 'temperature': 0.01}
fit()
方法的參數
{
"epochs": 1,
"evaluation_steps": 1809,
"evaluator": "sentence_transformers.evaluation.InformationRetrievalEvaluator.InformationRetrievalEvaluator",
"max_grad_norm": 1,
"optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
"optimizer_params": {
"lr": 1e-05
},
"scheduler": "WarmupLinear",
"steps_per_epoch": 361643,
"warmup_steps": 36165,
"weight_decay": 0.01
}
完整模型架構
SentenceTransformer(
(0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
引用與作者
該文章已在EPIA 2024會議上發表,並由Springer出版:
@InProceedings{epia2024serafim,
title={Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family},
author={Luís Gomes and António Branco and João Silva and João Rodrigues and Rodrigo Santos},
editor={Manuel Filipe Santos and José Machado and Paulo Novais and Paulo Cortez and Pedro Miguel Moreira},
booktitle={Progress in Artificial Intelligence},
doi={doi.org/10.1007/978-3-031-73503-5_22},
year={2024},
publisher={Springer Nature Switzerland},
address={Cham},
pages={267--279},
isbn={978-3-031-73503-5}
}
在Springer出版之前,預印本可在arXiv上獲取:
@misc{gomes2024opensentenceembeddingsportuguese,
title={Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family},
author={Luís Gomes and António Branco and João Silva and João Rodrigues and Rodrigo Santos},
year={2024},
eprint={2407.19527},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2407.19527},
}
📄 許可證
本項目採用MIT許可證。
Jina Embeddings V3
Jina Embeddings V3 是一個多語言句子嵌入模型,支持超過100種語言,專注於句子相似度和特徵提取任務。
文本嵌入
Transformers 支持多種語言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基於MS Marco段落排序任務訓練的交叉編碼器模型,用於信息檢索中的查詢-段落相關性評分
文本嵌入 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基於蒸餾技術的稀疏檢索模型,專為OpenSearch優化,支持免推理文檔編碼,在搜索相關性和效率上優於V1版本
文本嵌入
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基於PubMedBERT的生物醫學實體表徵模型,通過自對齊預訓練優化語義關係捕捉
文本嵌入 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一個強大的句子轉換器模型,專注於句子相似度和文本嵌入任務,在多個基準測試中表現出色。
文本嵌入 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一個英文句子轉換器模型,專注於句子相似度任務,在多個文本嵌入基準測試中表現優異。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一個多語言的句子嵌入模型,支持超過50種語言,適用於句子相似度計算等任務。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一個化學語言模型,旨在實現完全由機器驅動的超快聚合物信息學。它將PSMILES字符串映射為600維密集指紋,以數值形式表示聚合物化學結構。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基於土耳其語BERT的句子嵌入模型,專為語義相似度任務優化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基於BAAI/bge-small-en-v1.5模型微調的文本嵌入模型,通過MEDI數據集與MTEB分類任務數據集訓練,優化了檢索任務的查詢編碼能力。
文本嵌入
Safetensors 英語
G
avsolatorio
945.68k
29
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98