開源setfit-absa-bge-small-en-v1.5-restaurants-aspect模型

首頁

Setfit Absa Bge Small En V1.5 Restaurants Aspect

由tomaarsen開發

這是一個基於SetFit框架的方面級情感分析模型，專門用於餐廳評論中的方面術語識別。

文本分類

PyTorch

英語開源協議:Apache-2.0 #方面級情感分析 #小樣本學習 #餐廳評論處理

下載量 2,390

發布時間 : 12/4/2023

模型概述

該模型用於識別餐廳評論中的方面術語（如食物、服務等），是方面級情感分析系統的組成部分。

模型特點

高效小樣本學習

採用SetFit框架，通過對比學習和分類頭訓練實現高效的小樣本學習

ABSA系統集成

作為完整ABSA流程的一部分，與spaCy模型和極性分類模型協同工作

高準確率

在SemEval 2014餐廳數據集上達到86.23%的準確率

模型能力

方面術語識別

文本分類

小樣本學習

使用案例

情感分析

餐廳評論分析

從餐廳評論中識別評價對象（如食物、服務等）

準確識別86.23%的方面術語

🚀 SetFit方面模型：基於BAAI/bge-small-en-v1.5處理SemEval 2014任務4（餐廳）

本項目是基於SemEval 2014任務4（餐廳）數據集訓練的SetFit模型，可用於基於方面的情感分析（ABSA）。該SetFit模型採用BAAI/bge-small-en-v1.5作為句子嵌入模型，並使用LogisticRegression實例進行分類。特別地，此模型負責篩選可能的方面跨度候選。

該模型運用高效的少樣本學習技術進行訓練，具體步驟如下：

通過對比學習對Sentence Transformer進行微調。
利用微調後的Sentence Transformer提取的特徵訓練分類頭。

此模型是在一個更大的ABSA系統中進行訓練的，該系統的工作流程如下：

使用spaCy模型選擇可能的方面跨度候選。
使用此SetFit模型篩選這些可能的方面跨度候選。
使用SetFit模型對篩選後的方面跨度候選進行分類。

🚀 快速開始

安裝SetFit庫

pip install setfit

加載模型並進行推理

from setfit import AbsaModel

# 從🤗 Hub下載模型
model = AbsaModel.from_pretrained(
    "tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-aspect",
    "tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-polarity",
)
# 進行推理
preds = model("The food was great, but the venue is just way too busy.")

✨ 主要特性

高效少樣本學習：採用高效的少樣本學習技術，無需大量數據即可進行訓練。
準確篩選方面跨度：能夠準確篩選可能的方面跨度候選，為後續的情感分類提供高質量的數據。

📦 安裝指南

要使用此模型，首先需要安裝SetFit庫：

pip install setfit

💻 使用示例

基礎用法

from setfit import AbsaModel

# 從🤗 Hub下載模型
model = AbsaModel.from_pretrained(
    "tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-aspect",
    "tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-polarity",
)
# 進行推理
preds = model("The food was great, but the venue is just way too busy.")

📚 詳細文檔

模型詳情

模型描述

屬性	詳情
模型類型	SetFit
句子Transformer主體	BAAI/bge-small-en-v1.5
分類頭	LogisticRegression實例
spaCy模型	en_core_web_lg
SetFitABSA方面模型	tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-aspect
SetFitABSA極性模型	tomaarsen/setfit-absa-bge-small-en-v1.5-restaurants-polarity
最大序列長度	512個標記
類別數量	2類
訓練數據集	SemEval 2014任務4（餐廳）
語言	英語
許可證	apache-2.0

模型來源

倉庫：GitHub上的SetFit
論文：Efficient Few-Shot Learning Without Prompts
博客文章：SetFit: Efficient Few-Shot Learning Without Prompts

模型標籤

標籤	示例
aspect	'staff:But the staff was so horrible to us.' "food:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora." "food:The food is uniformly exceptional, with a very capable kitchen which will proudly whip up whatever you feel like eating, whether it's on the menu or not."
no aspect	"factor:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora." "deficiencies:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora." "Teodora:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora."

標籤

示例

aspect

'staff:But the staff was so horrible to us.'
"food:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora."
"food:The food is uniformly exceptional, with a very capable kitchen which will proudly whip up whatever you feel like eating, whether it's on the menu or not."

no aspect

"factor:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora."
"deficiencies:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora."
"Teodora:To be completely fair, the only redeeming factor was the food, which was above average, but couldn't make up for all the other deficiencies of Teodora."

評估

指標

標籤	準確率
all	0.8623

訓練詳情

訓練集指標

訓練集	最小值	中位數	最大值
單詞計數	4	19.3576	45

標籤	訓練樣本數量
no aspect	170
aspect	255

訓練超參數

批量大小：(256, 256)
訓練輪數：(5, 5)
最大步數：5000
採樣策略：過採樣
主體學習率：(2e-05, 1e-05)
頭部學習率：0.01
損失函數：CosineSimilarityLoss
距離度量：餘弦距離
邊界值：0.25
端到端：False
使用混合精度訓練：True
熱身比例：0.1
隨機種子：42
評估最大步數：-1
訓練結束時加載最佳模型：True

訓練結果

輪數	步數	訓練損失	驗證損失
0.0027	1	0.2498	-
0.1355	50	0.2442	-
0.2710	100	0.2462	0.2496
0.4065	150	0.2282	-
0.5420	200	0.0752	0.1686
0.6775	250	0.0124	-
0.8130	300	0.0128	0.1884
0.9485	350	0.0062	-
1.0840	400	0.0012	0.183
1.2195	450	0.0009	-
1.3550	500	0.0008	0.2072
1.4905	550	0.0031	-
1.6260	600	0.0006	0.1716
1.7615	650	0.0005	-
1.8970	700	0.0005	0.1666
2.0325	750	0.0005	-
2.1680	800	0.0004	0.2086
2.3035	850	0.0005	-
2.4390	900	0.0004	0.183
2.5745	950	0.0004	-
2.7100	1000	0.0036	0.1725
2.8455	1050	0.0004	-
2.9810	1100	0.0003	0.1816
3.1165	1150	0.0004	-
3.2520	1200	0.0003	0.1802

加粗行表示保存的檢查點。

環境影響

使用CodeCarbon測量碳排放：

碳排放：0.018千克二氧化碳
使用時長：0.303小時

訓練硬件

是否使用雲服務：否
GPU型號：1 x NVIDIA GeForce RTX 3090
CPU型號：13th Gen Intel(R) Core(TM) i7-13700K
內存大小：31.78 GB

框架版本

Python：3.9.16
SetFit：1.0.0.dev0
Sentence Transformers：2.2.2
spaCy：3.7.2
Transformers：4.29.0
PyTorch：1.13.1+cu117
Datasets：2.15.0
Tokenizers：0.13.3

🔧 技術細節

該模型採用高效的少樣本學習技術，結合對比學習和特徵提取，能夠在少量數據的情況下進行準確的方面跨度篩選。具體來說，模型首先使用對比學習對Sentence Transformer進行微調，然後利用微調後的模型提取特徵，最後使用LogisticRegression進行分類。

📄 許可證

本模型採用apache-2.0許可證。

📖 引用

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}