Fin Mpnet Base

🚀 fin-mpnet-base-v0.1

このモデルは、文章や段落を768次元の密ベクトル空間にマッピングする、ファインチューニングされたsentence-transformersモデルです。クラスタリングや意味検索などのタスクに使用できます。このモデルは、金融文書検索タスクで高い性能を発揮しつつ、できるだけ汎用的な性能を維持することを目指しています。

🚀 クイックスタート

このモデルを使用するには、sentence-transformersをインストールする必要があります。

pip install -U sentence-transformers

次に、以下のようにモデルを使用できます。

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('mukaj/fin-mpnet-base')
embeddings = model.encode(sentences)
print(embeddings)

✨ 主な機能

• 文章や段落を768次元の密ベクトル空間にマッピングすることができます。
• クラスタリングや意味検索などのタスクに使用できます。
• 金融文書検索タスクで高い性能を発揮します。

📦 インストール

このモデルを使用するには、sentence-transformersをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('mukaj/fin-mpnet-base')
embeddings = model.encode(sentences)
print(embeddings)

📚 ドキュメント

評価結果

モデルは、トレーニング中に新しい金融QAの例のみで評価されました。そのため、v0.1では金融関連のベンチマークのみが評価されました [FiQA-2018, BankingClassification77]。このモデルは現在、MTEBリーダーボード (https://huggingface.co/spaces/mteb/leaderboard) のテストセットで最も高いFiQA検索スコアを示しています。他のベンチマークでは、パフォーマンスが低下している可能性があります。たとえば、BankingClassification77は81.6から80.25に低下しています。これはv0.2で改善され、すべてのセットで完全な評価が行われます。

トレーニング

"sentence-transformers/all-mpnet-base-v2" は、MNR損失を使用して150k以上の金融文書QAの例でファインチューニングされました。

モデル比較

v0.1はFiQAテストセットでSoTAの結果を示しており、他の非金融ベンチマークではわずかな低下に留まり、一部では改善も見られます。

モデルの詳細情報