Finance Embeddings Investopedia

🚀 FinLang/finance-embeddings-investopedia

このモデルは、FinLangチームによる金融アプリケーション向けのInvestopedia埋め込みモデルです。このモデルは、https://huggingface.co/datasets/FinLang/investopedia-embedding-dataset から入手できるオープンソースの金融データセットを使用して学習されています。

このモデルは、BAAI/bge-base-en-v1.5 をベースに微調整された埋め込みモデルです。文章や段落を768次元の密ベクトル空間にマッピングし、クラスタリングやRAGアプリケーションにおける意味検索などのタスクに使用できます。

このプロジェクトは研究目的のみを対象としています。サードパーティのデータセットには、関連するライセンスに基づく追加の条件が適用される場合があります。

🚀 クイックスタート

このモデルは、金融分野の文章や段落を768次元の密ベクトル空間にマッピングすることができ、クラスタリングや意味検索などのタスクに使用できます。

✨ 主な機能

• 金融分野の文章や段落を768次元の密ベクトル空間にマッピングすることができます。
• クラスタリングや意味検索などのタスクに使用できます。

📦 インストール

pip install -U sentence-transformers

💻 使用例

基本的な使用法 (LLamaIndex)

from llama_index.embeddings import HuggingFaceEmbedding
embed_model = HuggingFaceEmbedding(model_name="FinLang/investopedia_embedding")

基本的な使用法 (Sentence-Transformers)

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('FinLang/investopedia_embedding')
embeddings = model.encode(sentences)
print(embeddings)

高度な使用法 (Sentence-Transformers)

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("FinLang/investopedia_embedding")

query_1 = "What is a potential concern with allowing someone else to store your cryptocurrency keys, and is it possible to decrypt a private key?"
query_2 = "A potential concern is that the entity holding your keys has control over your cryptocurrency in a custodial relationship. While it is theoretically possible to decrypt a private key, with current technology, it would take centuries or millennia for the 115 quattuorvigintillion possibilities. Most hacks and thefts occur in wallets, where private keys are stored."

embedding_1 = model.encode(query_1)
embedding_2 = model.encode(query_2)
scores = (embedding_1*embedding_2).sum()
print(scores) # 0.862

📚 ドキュメント

計画

• 研究論文は近日公開予定です。
• 金融データの学習コーパスを増やし、埋め込み学習に改良技術を使用したv2バージョンのモデルを開発中です。

評価結果

このモデルは、見られていない文章ペアの類似度と、シャッフルされた見られていない文章ペアの非類似度について評価されています。評価セットには、Investopedia（金融に関する習熟度をテストするため）、およびGooaq、MSMARCO、stackexchange_duplicate_questions_title_title、yahoo_answers_title_answer（微調整後の忘却を回避するモデルの能力を評価するため）の文章ペアが含まれています。

📄 ライセンス

微調整に非商用データセットを使用しているため、このモデルはcc-by-nc-4.0として公開されています。