Gte Base Ko

🚀 基於Alibaba-NLP/gte-multilingual-base的句子轉換器模型

本模型是基於 sentence-transformers 庫，在 nlpai-lab/ko-triplet-v1.0 數據集上對 Alibaba-NLP/gte-multilingual-base 模型進行微調得到的。它能夠將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後加載模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 進行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多語言支持：基於多語言基礎模型微調，適用於韓語相關任務。
• 高維向量表示：將文本映射到768維的密集向量空間，便於進行語義分析。
• 多種應用場景：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 進行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

訓練詳情

訓練數據集

• 數據集：nlpai-lab/ko-triplet-v1.0
• 大小：10,000個訓練樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息： | | 錨點 | 正樣本 | 負樣本 | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：9個標記
  • 平均：22.12個標記
  • 最大：146個標記
  |
  • 最小：10個標記
  • 平均：92.69個標記
  • 最大：1815個標記
  |
  • 最小：8個標記
  • 平均：99.24個標記
  • 最大：880個標記
  |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

評估數據集

• 數據集：nlpai-lab/ko-triplet-v1.0
• 大小：3,724個評估樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息： | | 錨點 | 正樣本 | 負樣本 | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：6個標記
  • 平均：21.63個標記
  • 最大：143個標記
  |
  • 最小：8個標記
  • 平均：88.89個標記
  • 最大：2003個標記
  |
  • 最小：10個標記
  • 平均：102.66個標記
  • 最大：3190個標記
  |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

訓練超參數

非默認超參數

• eval_strategy：按步數評估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：1e-05
• num_train_epochs：1
• warmup_ratio：0.1
• bf16：True
• push_to_hub：True
• hub_model_id：scottsuk0306/gte-base-ko
• batch_sampler：無重複樣本

所有超參數

訓練日誌

框架版本

• Python: 3.11.9
• Sentence Transformers: 3.0.1
• Transformers: 4.44.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.1.1
• Datasets: 2.19.0
• Tokenizers: 0.19.1

📄 許可證

文檔未提及相關信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}