Plamo Embedding 1b

🚀 PLaMo-Embedding-1B

PLaMo-Embedding-1B 是由 Preferred Networks, Inc 開發的日語文本嵌入模型，可將日語文本輸入轉換為數值向量，廣泛應用於信息檢索、文本分類和聚類等領域。

🚀 快速開始

PLaMo-Embedding-1B 是一個強大的日語文本嵌入模型，以下為你介紹如何快速使用它。

✨ 主要特性

• 高性能：截至 2025 年 4 月上旬，在日語文本嵌入基準測試 JMTEB 中取得了一流的成績，尤其在檢索任務中表現出色。
• 靈活使用：提供 encode_query 和 encode_document 方法，適用於不同的文本處理場景。
• 商業友好：基於 Apache v2.0 許可證發佈，可免費用於商業用途。

📦 安裝指南

使用該模型前，你需要安裝以下依賴：

sentencepiece
torch
transformers

💻 使用示例

基礎用法

import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

# You can download models from the Hugging Face Hub 🤗 as follows:
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)
model = AutoModel.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

query = "PLaMo-Embedding-1Bとは何ですか？"
documents = [
    "PLaMo-Embedding-1Bは、Preferred Networks, Inc. によって開発された日本語テキスト埋め込みモデルです。",
    "最近は隨分と暖かくなりましたね。"
]

with torch.inference_mode():
    # For embedding query texts in information retrieval, please use the `encode_query` method.
    # You also need to pass the `tokenizer`.
    query_embedding = model.encode_query(query, tokenizer)
    # For other texts/sentences, please use the `encode_document` method.
    # Also, for applications other than information retrieval, please use the `encode_document` method.
    document_embeddings = model.encode_document(documents, tokenizer)

# The similarity between vectors obtained by inputting sentences into the model is high for similar sentences and low for dissimilar sentences.
# This feature can be utilized for applications such as information retrieval.
similarities = F.cosine_similarity(query_embedding, document_embeddings)
print(similarities)
# tensor([0.8812, 0.5533])

高級用法

# 注意事項說明：對於 `encode_document` 和 `encode_query`，超過模型最大上下文長度 4096 的文本將被截斷。特別要注意的是，對於 `encode_query`，內部會添加一個前綴，使得有效最大上下文長度略短。
# 此代碼示例展示了在實際使用中，如何處理可能出現的文本長度問題以及如何利用模型的特性進行信息檢索等應用。
import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)
model = AutoModel.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

# 模擬一個較長的查詢文本
long_query = "這是一個非常長的查詢文本，可能會超過模型的最大上下文長度，我們需要注意處理這種情況。PLaMo-Embedding-1Bとは何ですか？"
documents = [
    "PLaMo-Embedding-1Bは、Preferred Networks, Inc. によって開発された日本語テキスト埋め込みモデルです。",
    "最近は隨分と暖かくなりましたね。"
]

with torch.inference_mode():
    try:
        query_embedding = model.encode_query(long_query, tokenizer)
    except Exception as e:
        print(f"查詢文本處理出錯: {e}，可能是因為文本過長。")
        # 這裡可以添加進一步的處理邏輯，如截斷文本等
    document_embeddings = model.encode_document(documents, tokenizer)

similarities = F.cosine_similarity(query_embedding, document_embeddings)
print(similarities)

📚 詳細文檔

基準測試

我們使用日語文本嵌入基準測試 JMTEB 對模型進行了性能評估，結果如下：

(*)：使用上下文長度 1024 進行測量。雖然模型支持最大上下文長度為 4096，但由於訓練期間包含的上下文長度最大為 1024，因此我們在 1024 進行測量。不過，已知在 4096 進行評估對平均得分影響不大。(參考：技術博客 (日語))

模型詳情

🔧 技術細節

如需瞭解更多技術細節，請參考以下技術博客文章（日語）：https://tech.preferred.jp/ja/blog/plamo-embedding-1b/

📄 許可證

PLaMo-Embedding-1B 基於 Apache v2.0 許可證發佈，你可以自由使用，包括用於商業目的。

如何引用

@online{PLaMoEmbedding1B,
    author    = {Preferred Networks, Inc},
    title     = {PLaMo-Embedding-1B},
    year      = {2025},
    url       = {https://huggingface.co/pfnet/plamo-embedding-1b},
    urldate   = {2025-04-17}
}

⚠️ 重要提示

對於 encode_document 和 encode_query，超過模型最大上下文長度 4096 的文本將被截斷。特別要注意的是，對於 encode_query，內部會添加一個前綴，使得有效最大上下文長度略短。

💡 使用建議

在使用模型時，注意處理可能出現的文本長度問題，避免因文本過長導致信息丟失。可以在輸入文本前進行長度檢查和截斷處理。