Nmixx Bge M3

🚀 NMIXX-BGE-M3

本倉庫包含一個基於bge-m3的SentenceTransformer模型，該模型在nmixx-fin/NMIXX_train數據集上通過三元組損失設置進行了微調。它能夠為韓語金融文本生成高質量的句子嵌入，具備多語言處理能力，針對金融領域的語義相似度任務進行了優化。

🚀 快速開始

安裝依賴

確保你已經安裝了必要的庫：

pip install transformers torch

使用示例

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

# 1. 從Hugging Face Hub加載分詞器和模型
repo_name = "nmixx-fin/nmixx-bge-m3"
tokenizer = AutoTokenizer.from_pretrained(repo_name)
model = AutoModel.from_pretrained(repo_name)

# 2. 若有可用的GPU則將模型移至GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()

# 3. 準備輸入句子
sentences = [
    "이 모델은 한국 금융 도메인에 특화된 다국어 임베딩을 제공합니다.",
    "NMIXX 데이터셋으로 fine-tuning된 multilingual sentence transformer입니다."
]

# 4. 分詞
encoded_input = tokenizer(
    sentences,
    padding=True,
    truncation=True,
    max_length=8192,  # BGE-M3支持更長的序列
    return_tensors="pt"
)
input_ids = encoded_input["input_ids"].to(device)
attention_mask = encoded_input["attention_mask"].to(device)

# 5. 前向傳播（詞嵌入）
with torch.no_grad():
    model_output = model(input_ids=input_ids, attention_mask=attention_mask)

# 6. CLS池化（BGE模型使用CLS標記）
sentence_embeddings = model_output[0][:, 0]  # 使用CLS標記（第一個標記）

# 7. L2歸一化
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings shape:", sentence_embeddings.shape)
print(sentence_embeddings.cpu())

✨ 主要特性

• 多語言支持：基於BGE-M3，支持韓語和英語。
• 擴展序列長度：支持長達8192個標記。
• 韓語金融領域：專門針對韓語金融文本進行微調。
• 高性能：針對金融領域的語義相似度任務進行了優化。

📚 詳細文檔

模型詳情

⚠️ 重要提示

該模型僅在金融語義文本相似度任務上表現良好。

論文即將發佈！

📄 許可證

本項目採用Apache-2.0許可證。