Maux Gte Persian

🚀 ペルシャ語（ファルシ語）用Alibaba - NLP/gte - multilingual - baseに基づくSentenceTransformer

このモデルは、[Alibaba - NLP/gte - multilingual - base](https://huggingface.co/Alibaba - NLP/gte - multilingual - base) をファインチューニングした sentence - transformers モデルです。ペルシャ語（ファルシ語）の文や段落を768次元の密ベクトル空間にマッピングし、ペルシャ語における意味的なテキスト類似度、意味的な検索、言い換えのマイニング、テキスト分類、クラスタリングなどに使用できます。

📚 ドキュメント

モデルの概要

モデルのソース

• ドキュメント：Sentence Transformers Documentation
• リポジトリ：[Sentence Transformers on GitHub](https://github.com/UKPLab/sentence - transformers)
• Hugging Face：[Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence - transformers)

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

💻 使用例

基本的な使用法

まず、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

次に、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("xmanii/maux-gte-persian")
# 推論を実行
sentences = [
    'شخصیت\u200cهای اصلی در جنبش کوبیسم چه کسانی بودند؟',
    'لئوناردو داوینچی به خاطر مشارکت\u200cهایش در رنسانس شناخته می\u200cشود، نه کوبیسم.',
    'شخصیت\u200cهای اصلی در جنبش کوبیسم چه کسانی بودند؟',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技術詳細

学習のハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy：steps
• per_device_train_batch_size：32
• per_device_eval_batch_size：32
• learning_rate：2e - 05
• warmup_ratio：0.1
• fp16：True

📄 ライセンス

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}