tags:

• sentence-transformers
• sentence-similarity
• feature-extraction
• generated_from_trainer
• dataset_size:130899
• loss:MultipleNegativesRankingLoss base_model: Alibaba-NLP/gte-multilingual-base widget:
• source_sentence: >- これらのマネージャーは、管理、運用、プログラム、および利益配達サービスの効率性、そして彼らの大規模な戦略的情報システムの効果にますます焦点を当てています。 sentences:

  • これらのマネージャーがより焦点を当てていることの一つは、彼らの戦略的情報システムの活動です。
  • すべてのケースは、誰であろうと同じプロセスを経るべきです。
  • Eszterhausは強い男性について書いています。
• source_sentence: >- 今日のアメリカは、典型的な多様なウェブサイト予測の集合的で大胆なレイアウトを配置しており、ほとんど指でタップしてクリックするように誘い、Christine Hoàng Giaの美容整形手術の過程を追ったり、オリンピック選手の日々の個人ページに飛び込んだり、ボクシングの戦いの深淵を探求したりできます。 sentences:
  • 従業員には年金と政府の福利が保証されています。
  • 彼が毒物に関連する話題から遠ざかってくれてとても嬉しいです。

  • 現代的なウェブサイトが存在する前は、今日のレイアウトはウェブデザインのトレンドと共に機能していました。
• source_sentence: >- 個人の職人の店はもうここにはありませんが、絹織物工場、陶器工場、そして仏山の民俗芸術ギャラリーを訪れることができ、そこで中国のランタン、木彫りの像、絵巻物、そして紙切り細工を作る労働者を観察できます。 sentences:
  • スルタン・ハサンのマドラサは1362年に建てられました。
  • どの名前を使いますか？
  • 中国のランタンの作品を見ることができます。
• source_sentence: Linda Wertheimerが彼に尋ねたとき、どうやって私たちは知ることができるのでしょうか？ sentences:
  • 理事会のメンバーは、自分の責任を片付けるのに2週間必要です。

  • 初日、彼は沼地と草原を通る旅が好きでした。
  • Lindaは彼に質問をしました。
• source_sentence: >- いずれにせよ、私が親戚を訪ねて帰ったとき、彼らが最初に言う言葉が「食べない、食べる、痩せた男の子」でないとき、私はインドが最終的に第三世界の状態から上昇したことを知るでしょう。 sentences:

  • Ernie Lewisは、Appalredの評議会に参加する前に、民間政策で15年を過ごしました。

  • 私の親戚が食べ物についてあまり言わなくなったとき、私はインドが改善されていることを知るでしょう。
  • 世紀の最初の部分には12,000の自動車会社が含まれていました。 pipeline_tag: sentence-similarity library_name: sentence-transformers metrics:
• cosine_accuracy model-index:
• name: Alibaba-NLP/gte-multilingual-baseに基づくSentenceTransformer results:
  • task: type: triplet name: トリプレット dataset: name: xnli vi test type: xnli-vi-test metrics:
    • type: cosine_accuracy value: 0.9982035756111145 name: コサイン類似度精度 license: mit datasets:
• facebook/xnli language:
• vi

Alibaba-NLP/gte-multilingual-baseに基づくSentenceTransformer

これはAlibaba-NLP/gte-multilingual-baseからファインチューニングされたsentence-transformersモデルです。文や段落を768次元の密なベクトル空間にマッピングし、意味的テキスト類似性、意味的検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに使用できます。

モデルの詳細

モデルの説明

• モデルタイプ: センテンストランスフォーマー
• ベースモデル: Alibaba-NLP/gte-multilingual-base
• 最大シーケンス長: 8192トークン
• 出力次元数: 768次元
• 類似性関数: コサイン類似度
• トレーニングデータセット: facebook/xnliデータセットのベトナム語サブセット、130kトリプレット。
• 言語: ベトナム語
• ライセンス: MIT

モデルソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方法

直接使用（Sentence Transformers）

まずSentence Transformersライブラリをインストールします：

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
    'いずれにせよ、私が親戚を訪ねて帰ったとき、彼らが最初に言う言葉が「食べない、食べる、痩せた男の子」でないとき、私はインドが最終的に第三世界の状態から上昇したことを知るでしょう。',
    '私の親戚が食べ物についてあまり言わなくなったとき、私はインドが改善されていることを知るでしょう。',
    'Ernie Lewisは、Appalredの評議会に参加する前に、民間政策で15年を過ごしました。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みの類似性スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

評価

メトリクス

トリプレット

• データセット: xnli-vi-test
• TripletEvaluatorで評価

トレーニングの詳細

トレーニングデータセット

無名データセット

• サイズ: 130,899トレーニングサンプル
• 列: sentence_0, sentence_1, sentence_2
• 最初の1000サンプルに基づくおおよその統計:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 3 tokens mean: 35.19 tokens max: 167 tokens	min: 6 tokens mean: 18.96 tokens max: 64 tokens	min: 6 tokens mean: 19.34 tokens max: 57 tokens

• サンプル:

  sentence_0	sentence_1	sentence_2
  その間、Juliusは自分の測定値を得ました。	Juliusは自分の仕事を終えました。	あなたがレストランに行かないと私に言ったことを知っています、なぜなら彼らがあなたの食べ物に唾を吐くことを恐れているからです。
  完成すると、これらのツールはアプリケーションが展開中に技術プロジェクトを評価できるようにし、成功した完了を保証し、最終的に目標が達成されたかどうかを判断します	ツールが完成すると、目標が達成されたかどうか評価されます。	Penrith周辺では頻繁に戦いがあります。
  Hさん、私の愛する人。	ああ、私の小さな愛する子。	その通りです。

• 損失: MultipleNegativesRankingLoss これらのパラメータで:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

トレーニングハイパーパラメータ

非デフォルトハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

すべてのハイパーパラメータ

トレーニングログ

フレームワークバージョン

• Python: 3.10.12
• Sentence Transformers: 4.0.2
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 0.26.1
• Datasets: 3.5.0
• Tokenizers: 0.21.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}