Greennode Embedding Large VN Mixed V1

🚀 SentenceTransformer

このモデルは、sentence-transformersを用いて訓練されたものです。文章や段落を1024次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味検索、言い換えのマイニング、テキスト分類、クラスタリングなどに利用できます。

✨ 主な機能

• 文章や段落を1024次元の密ベクトル空間にマッピングする。
• 意味的な文章の類似性、意味検索、言い換えのマイニング、テキスト分類、クラスタリングなどのタスクに利用可能。

📦 インストール

まずはSentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1")
# Run inference
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

表: GreenNodeTableRetrievalにおける各モデルの性能比較

データセット: GreenNode/GreenNode-Table-Markdown-Retrieval

表: ZacLegalTextRetrievalにおける各モデルの性能比較

データセット: GreenNode/zalo-ai-legal-text-retrieval-vn

表: VieQuADRetrievalにおける各モデルの性能比較

データセット: taidng/UIT-ViQuAD2.0

表: GreenNodeTableRetrievalにおける各モデルのヒット率比較

フレームワークのバージョン

• Python: 3.10.14
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.3.1
• Accelerate: 0.33.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

📄 ライセンス

このリポジトリとモデルの重みは、MIT Licenseの下でライセンスされています。

フォロー

https://x.com/greennode23

サポート

https://discord.gg/B6MJFM3J3a

お問い合わせ

• 一般的なお問い合わせとコラボレーション: tung.vu@greennode.ai, thuvt@greennode.ai
• 技術的なお問い合わせ: viethq5@greennode.ai