German Semantic V3b

🚀 🇩🇪 德語語義V3b 🇩🇪

本項目是 German_Semantic_STS_V2 的繼任者，帶來了許多超酷的新特性！German_Semantic_V3 側重於知識豐富度，而V3b則更注重性能。歡迎對模型提供反饋，分享您的期待。

注意：若要正確運行此模型，請查看“使用方法”部分。

✨ 主要特性

• 靈活性：模型以靈活的序列長度和嵌入截斷方式進行訓練，靈活性是其核心特性。不過，較小的維度會在質量上有輕微的折損。
• 序列長度：可嵌入多達8192個標記（是V2和其他模型的16倍）。
• 套娃嵌入（Matryoshka Embeddings）：模型針對從1024到64的嵌入大小進行訓練，允許您存儲更小的嵌入，且質量損失極小。
• 僅支持德語：該模型僅適用於德語，擁有豐富的德國文化知識和德語主題知識。因此，由於其分詞器，模型學習效率更高，能更好地處理較短查詢，並且在許多場景中表現得更細緻入微。
• 抗拼寫和大小寫錯誤：該模型經過訓練，對輕微的拼寫錯誤和大小寫不敏感，這在訓練期間會使基準性能稍弱，但能提高嵌入的魯棒性。
• 池化函數：從平均池化轉向使用CLS標記。在第二階段預訓練後，通常學習效果更好，並且更具靈活性。
• 許可證：Apache 2.0

📦 安裝指南

文檔未提及安裝步驟，暫無法提供。

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

matryoshka_dim = 1024 # 嵌入的大小，可選值：64, 128, 256, 512, 768, 1024
model = SentenceTransformer("aari1995/German_Semantic_V3", trust_remote_code=True, truncate_dim=matryoshka_dim)

# model.truncate_dim = 64 # 加載後也可以更改截斷維度
# model.max_seq_length = 512 # 如果硬件有限，可以選擇設置最大序列長度

# 運行推理
sentences = [
    'Eine Flagge weht.',
    'Die Flagge bewegte sich in der Luft.',
    'Zwei Personen beobachten das Wasser.',
]

# 生成FP16嵌入（佔用一半空間，無質量損失）
embeddings = model.encode(sentences, convert_to_tensor=True).half()

# 生成FP32嵌入（佔用更多空間）
# embeddings = model.encode(sentences)

# 獲取嵌入的相似度分數
similarities = model.similarity(embeddings, embeddings)

📚 詳細文檔

常見問題解答

問：該模型是否比V2更好？ 答：在靈活性方面，此模型更優。從性能上看，在大多數實驗中該模型也表現更佳。

問：V3和V3b有什麼區別？ 答：V3在基準測試中表現稍遜，而V3b的知識截止到2020年，因此選擇哪個模型取決於您的具體用例。 如果您追求極致性能且不太關注近期發展，建議選擇V3b。 如果您願意在基準測試中犧牲一些分數，並且希望模型瞭解2020年以後發生的事件（如選舉、新冠疫情、其他文化事件等），建議使用 German_Semantic_V3。 另一個明顯的區別是，V3的餘弦相似度範圍更廣，從 -1 到 1（但大多數情況下最小值大於 -0.2）。而V3b與V2更接近，相似度範圍約為 0 到 1。此外，V3使用cls池化，而V3b使用平均池化。

問：與多語言模型相比，該模型的性能如何？ 答：有很多優秀的多語言模型適用於各種用例。此模型的優勢在於其豐富的德國文化知識以及對德國人及其行為的瞭解。

問：減小嵌入大小會有什麼權衡？ 答：一般來說，從1024維降至512維時，權衡極小（約1%）。降至64維時，性能可能會下降多達3%。

評估

存儲對比： 基準測試：即將推出。

後續計劃

German_Semantic_V3_Instruct：引導嵌入朝著自選方面發展。計劃於2024年推出。

致謝與鳴謝

• 感謝 jinaAI 提供的BERT實現，特別是ALiBi。
• 感謝 deepset 提供的gbert-large，這是一個非常出色的模型。
• 感謝 occiglot 和OSCAR提供用於預訓練模型的數據。
• 感謝 Tom，特別是在sentence-transformers方面的貢獻；感謝 ellamind的Björn和Jan 提供的諮詢。
• 感謝 Meta 提供的XNLI（以不同變體使用）。

創意、訓練和實現：Aaron Chibb

📄 許可證

本項目使用Apache 2.0許可證。