Nmixx Bge M3

🚀 NMIXX-BGE-M3

このリポジトリには、nmixx-fin/NMIXX_trainデータセットを用いてトリプレット損失設定でファインチューニングされた、BGE-M3ベースのSentenceTransformerモデルが含まれています。このモデルは、多言語対応で韓国語の金融テキストに対して高品質な文埋め込みを生成し、金融ドメインの意味的類似度タスクに最適化されています。

🚀 クイックスタート

以下のコードを使用して、モデルを使って文埋め込みを生成することができます。

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

# 1. Load tokenizer & model from Hugging Face Hub
repo_name = "nmixx-fin/nmixx-bge-m3"
tokenizer = AutoTokenizer.from_pretrained(repo_name)
model = AutoModel.from_pretrained(repo_name)

# 2. Move to GPU if available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()

# 3. Prepare input sentences
sentences = [
    "이 모델은 한국 금융 도메인에 특화된 다국어 임베딩을 제공합니다.",
    "NMIXX 데이터셋으로 fine-tuning된 multilingual sentence transformer입니다."
]

# 4. Tokenize
encoded_input = tokenizer(
    sentences,
    padding=True,
    truncation=True,
    max_length=8192,  # BGE-M3 supports longer sequences
    return_tensors="pt"
)
input_ids = encoded_input["input_ids"].to(device)
attention_mask = encoded_input["attention_mask"].to(device)

# 5. Forward pass (token embeddings)
with torch.no_grad():
    model_output = model(input_ids=input_ids, attention_mask=attention_mask)

# 6. CLS Pooling (BGE models use CLS token)
sentence_embeddings = model_output[0][:, 0]  # Use CLS token (first token)

# 7. L2 Normalization
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings shape:", sentence_embeddings.shape)
print(sentence_embeddings.cpu())

✨ 主な機能

• 多言語対応：BGE-M3をベースとしており、韓国語と英語をサポートしています。
• 拡張されたシーケンス長：最大8192トークンをサポートします。
• 韓国語金融ドメイン：韓国語の金融テキストに特化してファインチューニングされています。
• 高性能：金融分野の意味的類似度タスクに最適化されています。

📚 ドキュメント

モデル詳細

⚠️ 重要提示

このモデルは金融STS以外では性能が良くないです。

論文は近日公開予定です！

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。