Ember V1

🚀 ember-v1

ember-v1是一款強大的文本嵌入模型，它在廣泛的文本對上進行訓練，涵蓋金融、科學、醫學、法律等多個領域。該模型結合了先進的訓練技術，在MTEB基準測試中表現出色，能夠為用戶提供高質量的文本嵌入表示。

🚀 快速開始

使用transformers庫

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

input_texts = [
    "This is an example sentence",
    "Each sentence is converted"
]

tokenizer = AutoTokenizer.from_pretrained("llmrails/ember-v1")
model = AutoModel.from_pretrained("llmrails/ember-v1")

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

使用sentence-transformers庫

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = [
    "This is an example sentence",
    "Each sentence is converted"
]

model = SentenceTransformer('llmrails/ember-v1')
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

✨ 主要特性

• 廣泛的訓練數據：該模型在包含金融、科學、醫學、法律等多個領域的大量文本對上進行訓練，使其具有更廣泛的適用性和更強的泛化能力。
• 先進的訓練技術：在訓練過程中，結合了RetroMAE和SetFit等研究論文中的技術，提升了模型的性能。
• 出色的基準測試表現：在MTEB排行榜上取得了領先的成績，證明了其在文本嵌入任務上的卓越性能。

📚 詳細文檔

Massive Text Embedding Benchmark (MTEB) 評估

我們的模型在 MTEB排行榜 上達到了最先進的性能。

侷限性

本模型僅適用於英文文本，並且任何長文本將被截斷為最多512個標記。

計劃

• 研究論文即將發表。
• 模型的v2版本正在開發中，將支持最長4000個標記的序列長度。

📄 許可證

本項目採用MIT許可證。

🔗 引用

如果您在研究中使用了該模型，請使用以下BibTeX引用：

@misc{nur2024emberv1,
      title={ember-v1: SOTA embedding model}, 
      author={Enrike Nur and Anar Aliyev},
      year={2023},
}