Setfit All MiniLM L6 V2 Sst2 32 Shot

🚀 SetFit結合sentence-transformers/all-MiniLM-L6-v2在sst2數據集上的應用

這是一個基於 SetFit 訓練的模型，在 sst2 數據集上進行訓練，可用於文本分類任務。該SetFit模型使用 sentence-transformers/all-MiniLM-L6-v2 作為句子嵌入模型，並使用 LogisticRegression 進行分類。

該模型採用了高效的少樣本學習技術進行訓練，具體步驟如下：

1. 使用對比學習對 Sentence Transformer 進行微調。
2. 使用微調後的句子嵌入模型的特徵訓練分類頭。

✨ 主要特性

• 高效少樣本學習：無需提示即可實現高效的少樣本學習。
• 文本分類能力：可對文本進行分類，適用於sst2數據集相關的文本分類任務。

📦 安裝指南

首先安裝SetFit庫：

pip install setfit

💻 使用示例

基礎用法

from setfit import SetFitModel

# 從🤗 Hub下載模型
model = SetFitModel.from_pretrained("tomaarsen/setfit-all-MiniLM-L6-v2-sst2-8-shot")
# 進行推理
preds = model("a fast , funny , highly enjoyable movie . ")

📚 詳細文檔

模型詳情

模型描述

模型來源

• 倉庫：GitHub上的SetFit
• 論文：Efficient Few-Shot Learning Without Prompts
• 博客文章：SetFit: Efficient Few-Shot Learning Without Prompts

模型標籤

評估

指標

訓練詳情

訓練集指標

訓練超參數

• 批量大小：(16, 16)
• 訓練輪數：(3, 3)
• 最大步數：-1
• 採樣策略：過採樣
• 嵌入模型學習率：(2e-05, 1e-05)
• 分類頭學習率：0.01
• 損失函數：CosineSimilarityLoss
• 距離度量：餘弦距離
• 邊界值：0.25
• 端到端訓練：否
• 使用混合精度訓練：否
• 熱身比例：0.1
• 隨機種子：42
• 訓練結束時加載最佳模型：是

訓練結果

注：加粗行表示保存的檢查點。

環境影響

使用 CodeCarbon 測量碳排放：

• 碳排放：0.003千克二氧化碳
• 使用時長：0.072小時

訓練硬件

• 是否使用雲服務：否
• GPU型號：1 x NVIDIA GeForce RTX 3090
• CPU型號：13th Gen Intel(R) Core(TM) i7-13700K
• 內存大小：31.78 GB

框架版本

• Python：3.9.16
• SetFit：1.0.0.dev0
• Sentence Transformers：2.2.2
• Transformers：4.29.0
• PyTorch：1.13.1+cu117
• Datasets：2.15.0
• Tokenizers：0.13.3

📄 許可證

本項目採用apache-2.0許可證。

📚 引用

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}