Gte Base Ko

🚀 基於Alibaba-NLP/gte-multilingual-base的句子轉換器模型

這是一個基於 sentence-transformers 庫，在 nlpai-lab/ko-triplet-v1.0 數據集上對 Alibaba-NLP/gte-multilingual-base 模型進行微調得到的模型。它能將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先，安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載該模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 進行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 基於 Sentence Transformers 框架，可將文本轉換為768維的向量表示。
• 在韓語三元組數據集上進行微調，適用於韓語語義相關任務。
• 支持多種相似度計算指標，如餘弦相似度、點積相似度等。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 進行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

訓練詳情

訓練數據集

• 數據集：nlpai-lab/ko-triplet-v1.0
• 大小：10,000個訓練樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息：

  	錨點	正樣本	負樣本
  類型	字符串	字符串	字符串
  詳情	最小：9個詞元 平均：22.12個詞元 最大：146個詞元	最小：10個詞元 平均：92.69個詞元 最大：1815個詞元	最小：8個詞元 平均：99.24個詞元 最大：880個詞元

• 樣本：

  錨點	正樣本	負樣本
  글쓰기, 대회, 참가료, 받다	글쓰기 대회는 참가자한테 일정분의 참가료를 받았다.	재주는 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기 등등 이다.
  "K리그 2002 시즌"에서 기록한 관객의 수보다 독일 고틀리프 다임러 경기장에서 개최된 "제4회 세계 육상 선수권 대회"의 관객 수가 많았나?	1993년 세계 육상 선수권 대회. 제4회 세계 육상 선수권 대회는 국제 육상 경기 연맹 주관으로 1993년 8월 13일에서 8월 22일까지 독일 슈투트가르트 고틀리프 다임러 경기장에서 열린 국제 육상 대회이다. 독일에서 열린 첫 번째 세계 육상 선수권 대회였다. 187개국 선수 1630명이 참가했으며, 대회 역사상 가장 많은 수인 58만 5000명의 관중이 입장했다.	송강호. 경력. 1996-2000: 초기 경력과 주목 받다. 1999년에는 강제규 감독의 영화 《쉬리》에 이장길 역할로 출연했다. 이 영화는 관객수 582만 명을 기록하며 당시 국내 최다 관객 영화 기록을 갱신했고, 최초로 500만 관객을 넘어섰다. 2000년에는 코미디 영화 《반칙왕》에서 첫 주연을 맡았다. 이 영화에서 그는 은행원이자 레슬러 대호 역할로 캐스팅 되어 영화를 위해 레슬링 훈련을 했었다. 이후 송강호는 이 영화가 가장 인상 깊다고 꼽으며 "물리적으로 가장 극한의 상황까지 간 작품이었다는 생각이 든다. 만약 지금 레슬링을 다시 한다면 죽을 거다"라고 말했다. 같은 해 그는 박찬욱 감독의 영화 《공동경비구역 JSA》에서 오경필 중사 역할로 출연했다. 이 영화는 이전까지 반공이데올로기에서 벗어나지 못했던 분단 소재 한국영화의 시각을 인간애로 확장한 작품으로 583만 명의 관객수를 기록하며 역대 흥행 1위 영화로 기록했다. 송강호는 2019년 매체와의 인터뷰에서 배우 인생의 전환점이 됐다고 언급하며 “두 영화가 개봉한 2000년은 배우 생활 초반의 분기점이 됐다”고 말했다. 한 영화 관계자는 송강호에게 "《반칙왕》에서 보여준뛰어난 연기를 보고 그 이상의 연기는 나올 수 없을 것이라 생각했다. 이번 영화를 보고 내가 당신 연기의 한계를 너무 낮게 잡았음을 알았다"고 말했다. 《매일경제》의 프리뷰에서는 "송강호가 그려낸 따뜻하고 넉넉한 오경필 중사는 군기가 한참 빠져 서로 노닥거리는 것으로 비칠수도 있는 모습들을 눈물나는 형제애로 잡아주는 든든한 받침대다"라고 리뷰했다. 이러한 호평 속에 제1회 부산영화평론가협회상, 제38회 대종상영화제, 제3회 도빌아시아영화제, 에서 남우주연상을 수상했고, 이 외에도 백상예술대상에서 인기상을 받는 등 다수의 시상식에서 연기력과 스타성에서 인정을 받았다.
  트리거는 데이터를 저장시켜?	트리거는 안테나 시험 장비를 구동시켜 시나리오를 발생시키며, 시나리오에 따라 안테나부의 송신기와 수신기를 제어 및 측정하여 데이터를 저장하 게 된다.	영화관에서는 왜 대부분의 관객이 실감나게 소리가 잘 들리는 걸까? 디자인이 Ugly하지만 왜 CRT일때는 소리가 잘 들렸을까? 이런 질문에 대한 해답을 영화관 스크린속에서 찾을 수 있었다.

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

評估數據集

• 數據集：nlpai-lab/ko-triplet-v1.0
• 大小：3,724個評估樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息：

  	錨點	正樣本	負樣本
  類型	字符串	字符串	字符串
  詳情	最小：6個詞元 平均：21.63個詞元 最大：143個詞元	最小：8個詞元 平均：88.89個詞元 最大：2003個詞元	最小：10個詞元 平均：102.66個詞元 最大：3190個詞元

• 樣本：

  錨點	正樣本	負樣本
  지하, 차도, 빠져나가다, 우회전, 하다, 목적지, 도착하다	지하 차도를 재빨리 빠져나가자마자 우회전을 하면 목적지에 도착한다.	재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.
  본문의 표 6에서 packet length = 0.5이고 노드수가 4일 때 Basic CSMA/CA의 수학적분석값은 얼마일까?	표 6. 패킷 길이에 따른 IEEE 802.11 MAC 프로토콜의 시뮬레이션 결과와 Analytic 결과 비교 노드의 수 packet length = 0.5 packet length = 0.3 Basic CSMA/CA RTS/CTS 프로토콜 Basic CSMA/CA RTS/CTS 프로토콜 시뮬레이션 수학적분석 시뮬레이션 수학적분석 시뮬레이션 수학적분석 시뮬레이션 수학적분석 1 0.670 0.672 0.682 0.673 0.625 0.625 0.570 0.571 2 0.772 0.770 0.746 0.735 0.708 0.710 0.650 0.652 3 0.779 0.781 0.780 0.772 0.739 0.738 0.690 0.690 4 0.780 0.783 0.785 0.784 0.740 0.741 0.700 0.701 5 0.780 0.782 0.811 0.797 0.739 0.738 0.710 0.713 6 0.780 0.782 0.811 0.810 0.735 0.735 0.720 0.720 7 0.764 0.752 0.812 0.811 0.731 0.728 0.728 0.729 8 0.753 0.748 0.815 0.814 0.700 0.701 0.730 0.731 9 0.750 0.746 0.816 0.816 0.690 0.687 0.735 0.733 10 0.742 0.741 0.821 0.820 0.675 0.672 0.735 0.734 15 0.730 0.728 0.821 0.822 0.650 0.651 0.735 0.736 20 0.686 0.681 0.821 0.822 0.630 0.630 0.740 0.741	표 5 및 6은 수학적 분석의 결과값과 컴퓨터 시뮬레이션을 한 결과값을 비교한 표이다.
  점심시간, 유산소, 운동, 하다	건강을 위하여 점심시간에 유산소 운동을 했다.	흑미밥과 바지락미역국, 닭볶음, 냉이무침, 무말랭이, 배추김치가 오늘 점심이다.

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 1e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• push_to_hub: True
• hub_model_id: scottsuk0306/gte-base-ko
• batch_sampler: no_duplicates

所有超參數

訓練日誌

框架版本

• Python: 3.11.9
• Sentence Transformers: 3.0.1
• Transformers: 4.44.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.1.1
• Datasets: 2.19.0
• Tokenizers: 0.19.1

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}