German Semantic V3b

🚀 ドイツ語セマンティックV3b

このモデルは、German_Semantic_STS_V2 の後継モデルで、多くのクールな新機能を備えています！German_Semantic_V3 が知識ベースが豊富であるのに対し、V3bはパフォーマンスに重点を置いています。モデルに関するフィードバックや、次に追加して欲しい機能など、自由にコメントを残してください。

注意: このモデルを適切に実行するには、「使用方法」を参照してください。

✨ 主な機能

柔軟性

柔軟なシーケンス長と埋め込みの切り捨てで学習されており、柔軟性がモデルの核心機能です。ただし、次元数を小さくすると、品質がわずかに低下するトレードオフがあります。

シーケンス長

最大8192トークンを埋め込むことができます（V2や他のモデルの16倍）。

マトリョーシカ埋め込み

モデルは1024から64までの埋め込みサイズで学習されており、品質の損失をほとんど伴わずに、はるかに小さな埋め込みを保存することができます。

ドイツ語専用

このモデルはドイツ語専用で、ドイツやドイツのトピックに関する豊富な文化知識を持っています。そのため、トークナイザーにより、より効率的に学習し、短いクエリにもうまく対応し、多くのシナリオでより微妙な表現が可能になります。

タイポと大文字小文字

このモデルは、軽微なタイポや大文字小文字に対して頑健に学習されています。これにより、ベンチマークでのパフォーマンスはわずかに低下しますが、埋め込みの頑健性が向上します。

プーリング関数

平均プーリングからCLSトークンの使用に移行しています。一般的に、2段階目の事前学習後により良く学習し、より柔軟性が高くなります。

ライセンス

Apache 2.0

📦 インストール

このモデルを使用するには、sentence-transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

matryoshka_dim = 1024 # 埋め込みのサイズを選択します: 64, 128, 256, 512, 768, 1024
model = SentenceTransformer("aari1995/German_Semantic_V3", trust_remote_code=True, truncate_dim=matryoshka_dim)

# model.truncate_dim = 64 # 読み込み後に切り捨てる次元数を変更することもできます
# model.max_seq_length = 512 # ハードウェアの制限がある場合は、最大シーケンス長を設定します

# 推論を実行します
sentences = [
    'Eine Flagge weht.',
    'Die Flagge bewegte sich in der Luft.',
    'Zwei Personen beobachten das Wasser.',
]

# FP16埋め込み（半分のメモリ使用量、品質損失なし）
embeddings = model.encode(sentences, convert_to_tensor=True).half()

# FP32埋め込み（より多くのメモリを使用）
# embeddings = model.encode(sentences)

# 埋め込みの類似度スコアを取得します
similarities = model.similarity(embeddings, embeddings)

📚 ドキュメント

FAQ

Q: このモデルはV2より良いですか？

A: 柔軟性の面では、このモデルの方が良いです。パフォーマンスの面でも、ほとんどの実験でこのモデルの方が良い結果を示しています。

Q: V3とV3bの違いは何ですか？

A: V3はベンチマークではわずかに劣りますが、V3bは2020年までの知識で学習されています。したがって、どのモデルを使用するかは、具体的な使用ケースによって異なります。

ピークパフォーマンスが必要で、最近の開発にあまりこだわらない場合は、このモデル（V3b）を選択してください。

ベンチマークでのスコアをいくらか犠牲にしても、2020年以降の出来事（選挙、コロナウイルス、その他の文化的なイベントなど）をモデルに知ってもらいたい場合は、German_Semantic_V3 を使用することをおすすめします。

もう1つの顕著な違いは、V3のコサイン類似度スペクトルが-1から1まで広く（ただし、ほとんどの場合、最小値は-0.2を超えます）、V3bはV2により近く、類似度スペクトルが0から1程度であることです。また、V3はcls_poolingを使用し、V3bはmean_poolingを使用しています。

Q: このモデルは多言語モデルと比べてどうですか？

A: 多くの使用ケースに非常に役立つ素晴らしい多言語モデルがあります。しかし、このモデルはドイツの文化知識やドイツ人の行動に関する知識が豊富で、その点で光ります。

Q: 埋め込みサイズを小さくするとどのようなトレードオフがありますか？

A: 大まかに言うと、1024次元から512次元に減らす場合は、ほとんどトレードオフはありません（1％程度）。64次元まで下げると、最大3％の低下が見られる場合があります。

📊 評価

保存容量の比較

ベンチマーク

近日公開予定。

🔮 今後の予定

German_Semantic_V3_Instruct: 埋め込みを自分で選択した側面に導く。 - 予定: 2024年

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

🙏 謝辞とクレジット

• jinaAI のBERT実装、特にALiBiの使用に感謝します。
• deepset のgbert-largeモデルは本当に素晴らしいモデルで、感謝します。
• occiglot とOSCARのデータを事前学習に使用しています。ありがとうございます。
• Tom のsentence-transformers、ellamindのBjörnとJan のコンサルティングに感謝します。
• Meta のXNLIをバリエーションで使用しています。ありがとうございます。

このモデルのアイデア、学習、実装はAaron Chibbによるものです。