Hypencoder.8 Layer

🚀 Hypencoder模型

Hypencoder是一種用於信息檢索的模型，基於超網絡架構，能將文本轉換為相關得分，在信息檢索任務中表現出色。

🚀 快速開始

本模型是論文 Hypencoder: Hypernetworks for Information Retrieval 中的官方模型。若要使用該模型，請查看 Github 頁面，其中包含所需代碼和運行模型的詳細說明。

✨ 主要特性

• 這是一個Hypencoder雙編碼器，包含文本編碼器和Hypencoder兩個主幹部分。
• 文本編碼器將文本項轉換為768維向量，Hypencoder則將文本轉換為一個小型神經網絡，該網絡以文本編碼器輸出的768維向量為輸入，最終輸出相關性得分。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

from hypencoder_cb.modeling.hypencoder import Hypencoder, HypencoderDualEncoder, TextEncoder
from transformers import AutoTokenizer

dual_encoder = HypencoderDualEncoder.from_pretrained("jfkback/hypencoder.6_layer")
tokenizer = AutoTokenizer.from_pretrained("jfkback/hypencoder.6_layer")

query_encoder: Hypencoder = dual_encoder.query_encoder
passage_encoder: TextEncoder = dual_encoder.passage_encoder

queries = [
    "how many states are there in india",
    "when do concussion symptoms appear",
]

passages = [
    "India has 28 states and 8 union territories.",
    "Concussion symptoms can appear immediately or up to 72 hours after the injury.",
]

query_inputs = tokenizer(queries, return_tensors="pt", padding=True, truncation=True)
passage_inputs = tokenizer(passages, return_tensors="pt", padding=True, truncation=True)

q_nets = query_encoder(input_ids=query_inputs["input_ids"], attention_mask=query_inputs["attention_mask"]).representation
passage_embeddings = passage_encoder(input_ids=passage_inputs["input_ids"], attention_mask=passage_inputs["attention_mask"]).representation

# The passage_embeddings has shape (2, 768), but the q_nets expect the shape
# (num_queries, num_items_per_query, input_hidden_size) so we need to reshape
# the passage_embeddings.

# In the simple case where each q_net only takes one passage, we can just
# reshape the passage_embeddings to (num_queries, 1, input_hidden_size).
passage_embeddings_single = passage_embeddings.unsqueeze(1)
scores = q_nets(passage_embeddings_single)  # Shape (2, 1, 1)
# [
#    [[-12.1192]],
#    [[-13.5832]]
# ]

# In the case where each q_net takes both passages we can reshape the
# passage_embeddings to (num_queries, 2, input_hidden_size).
passage_embeddings_double = passage_embeddings.repeat(2, 1).reshape(2, 2, -1)
scores = q_nets(passage_embeddings_double)  # Shape (2, 2, 1)
# [
#    [[-12.1192], [-32.7046]],
#    [[-34.0934], [-13.5832]]
# ]

📚 詳細文檔

模型變體

我們發佈了論文中使用的四個模型。除了被稱為q - nets的小型神經網絡的隱藏層數量不同外，每個模型的其他部分相同。

模型信息

🔧 技術細節

文檔未提供具體技術細節內容，故跳過該章節。

📄 許可證

本項目採用MIT許可證。

📚 引用

如果您在研究中使用了該模型，請使用以下BibTeX引用：

@misc{killingback2025hypencoderhypernetworksinformationretrieval,
      title={Hypencoder: Hypernetworks for Information Retrieval}, 
      author={Julian Killingback and Hansi Zeng and Hamed Zamani},
      year={2025},
      eprint={2502.05364},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2502.05364}, 
}