M2 BERT 8k Retrieval Encoder V1

🚀 Monarch Mixer-BERT

Monarch Mixer-BERT是來自論文Benchmarking and Building Long-Context Retrieval Models with LoCo and M2-BERT的M2-BERT-8k的80M檢查點。該模型可用於長上下文檢索，具有重要的應用價值。

前往我們的 GitHub 獲取下載和微調該模型的說明！

🚀 快速開始

本部分將介紹如何使用Monarch Mixer-BERT模型，包括模型加載、分詞器使用以及生成嵌入等操作。

✨ 主要特性

• 基於論文提出的架構，適用於長上下文檢索任務。
• 生成的嵌入維度為768，可用於相關的檢索應用。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 GitHub 上的說明進行安裝。

💻 使用示例

基礎用法

你可以使用Hugging Face的 AutoModel 加載此模型：

from transformers import AutoModelForMaskedLM, BertConfig
config = BertConfig.from_pretrained("hazyresearch/M2-BERT-8K-Retrieval-Encoder-V1")
model = AutoModelForMaskedLM.from_pretrained("hazyresearch/M2-BERT-8K-Retrieval-Encoder-V1", config=config,trust_remote_code=True)

此模型使用Hugging Face的 bert-base-uncased 分詞器：

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

高級用法

此模型用於生成用於檢索的嵌入，嵌入維度為768：

from transformers import AutoTokenizer, AutoModelForMaskedLM, BertConfig

max_seq_length = 8192
testing_string = "Every morning, I make a cup of coffee to start my day."
config = BertConfig.from_pretrained("hazyresearch/M2-BERT-8K-Retrieval-Encoder-V1")
model = AutoModelForMaskedLM.from_pretrained("hazyresearch/M2-BERT-8K-Retrieval-Encoder-V1", config=config, trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", model_max_length=max_seq_length)
input_ids = tokenizer([testing_string], return_tensors="pt", padding="max_length", return_token_type_ids=False, truncation=True, max_length=max_seq_length)

outputs = model(**input_ids)
embeddings = outputs['sentence_embedding']

遠程代碼

此模型需要在 from_pretrained 方法中傳入 trust_remote_code=True。這是因為我們使用了自定義的PyTorch代碼（詳見我們的GitHub）。你可以考慮傳入一個 revision 參數來指定代碼的確切git提交版本，例如：

mlm = AutoModelForMaskedLM.from_pretrained(
   "hazyresearch/M2-BERT-8K-Retrieval-Encoder-V1",
   config=config,
   trust_remote_code=True,
)

配置

注意，use_flash_mm 默認值為 false。目前不支持使用FlashMM。

📄 許可證

本項目採用Apache-2.0許可證。