Ember V1

🚀 ember-v1

ember-v1是一款强大的文本嵌入模型，它在广泛的文本对上进行训练，涵盖金融、科学、医学、法律等多个领域。该模型结合了先进的训练技术，在MTEB基准测试中表现出色，能够为用户提供高质量的文本嵌入表示。

🚀 快速开始

使用transformers库

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

input_texts = [
    "This is an example sentence",
    "Each sentence is converted"
]

tokenizer = AutoTokenizer.from_pretrained("llmrails/ember-v1")
model = AutoModel.from_pretrained("llmrails/ember-v1")

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

使用sentence-transformers库

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = [
    "This is an example sentence",
    "Each sentence is converted"
]

model = SentenceTransformer('llmrails/ember-v1')
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

✨ 主要特性

• 广泛的训练数据：该模型在包含金融、科学、医学、法律等多个领域的大量文本对上进行训练，使其具有更广泛的适用性和更强的泛化能力。
• 先进的训练技术：在训练过程中，结合了RetroMAE和SetFit等研究论文中的技术，提升了模型的性能。
• 出色的基准测试表现：在MTEB排行榜上取得了领先的成绩，证明了其在文本嵌入任务上的卓越性能。

📚 详细文档

Massive Text Embedding Benchmark (MTEB) 评估

我们的模型在 MTEB排行榜 上达到了最先进的性能。

局限性

本模型仅适用于英文文本，并且任何长文本将被截断为最多512个标记。

计划

• 研究论文即将发表。
• 模型的v2版本正在开发中，将支持最长4000个标记的序列长度。

📄 许可证

本项目采用MIT许可证。

🔗 引用

如果您在研究中使用了该模型，请使用以下BibTeX引用：

@misc{nur2024emberv1,
      title={ember-v1: SOTA embedding model}, 
      author={Enrike Nur and Anar Aliyev},
      year={2023},
}