Bge M3 Financial Matryoshka

🚀 BGE-M3 Financial Matryoshka

このモデルは、BAAI/bge-m3 をファインチューニングした sentence-transformers モデルです。文章や段落を 1024 次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどに使用できます。

🚀 クイックスタート

このモデルを使用するには、まず Sentence Transformers ライブラリをインストールする必要があります。その後、モデルをロードして推論を実行できます。

✨ 主な機能

• 文章や段落を 1024 次元の密ベクトル空間にマッピングします。
• 意味的な文章の類似性、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに使用できます。

📦 インストール

まず、Sentence Transformers ライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("haophancs/bge-m3-financial-matryoshka")
# Run inference
sentences = [
    'As of January 28, 2024 the net carrying value of our inventories was $1.3 billion, which included provisions for obsolete and damaged inventory of $139.7 million.',
    "What is the status of the company's inventory as of January 28, 2024, in terms of its valuation and provisions for obsolescence?",
    'What is the relationship between the ESG goals and the long-term growth strategy?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

情報検索

以下は、異なるデータセットでの評価結果です。

データセット: dim_1024

InformationRetrievalEvaluator を使用して評価しました。

データセット: dim_768

InformationRetrievalEvaluator を使用して評価しました。

データセット: dim_512

InformationRetrievalEvaluator を使用して評価しました。

データセット: dim_384

InformationRetrievalEvaluator を使用して評価しました。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。