🚀 🦔 HEDGEhog 🦔:基於BERT的多類別不確定性線索識別
這是一個微調後的多類別分類模型,能夠在標記級別檢測四種不同類型的不確定性線索(即模糊限制語),為文本分析提供了精準的不確定性識別能力。
🚀 快速開始
本模型可用於檢測文本中的不確定性線索。不過需要注意,它是使用 Simple Transformers 庫進行微調的,無法直接與 Transformers 的 pipeline
和類一起使用,否則會產生錯誤輸出。
✨ 主要特性
- 能夠在標記級別檢測四種不同類型的不確定性線索。
- 基於 BERT 模型進行微調,具有較高的準確性。
📦 安裝指南
使用此模型需要安裝 Simple Transformers 庫。
💻 使用示例
基礎用法
from simpletransformers.ner import NERModel
model = NERModel(
'bert',
'jeniakim/hedgehog',
use_cuda=False,
labels=["C", "D", "E", "I", "N"],
)
example = "As much as I definitely enjoy solitude, I wouldn't mind perhaps spending little time with you (Björk)"
predictions, raw_outputs = model.predict([example])
預測結果如下:
[[{'As': 'C'},
{'much': 'C'},
{'as': 'C'},
{'I': 'C'},
{'definitely': 'C'},
{'enjoy': 'C'},
{'solitude,': 'C'},
{'I': 'C'},
{"wouldn't": 'C'},
{'mind': 'C'},
{'perhaps': 'E'},
{'spending': 'C'},
{'little': 'C'},
{'time': 'C'},
{'with': 'C'},
{'you': 'C'},
{'(Björk)': 'C'}]]
這表明,標記 'perhaps' 被識別為一個認知不確定性線索,而其他標記不是不確定性線索。
📚 詳細文檔
不確定性類型
標籤 |
類型 |
描述 |
示例 |
E |
認知(Epistemic) |
命題有可能成立,但目前無法確定其真值。 |
She may be already asleep.(她可能已經睡著了。) |
I |
調查(Investigation) |
命題正在被確定其真值的過程中。 |
She examined the role of NF - kappaB in protein activation.(她研究了NF - κB在蛋白質激活中的作用。) |
D |
信念(Doxatic) |
命題表達了信念和假設,其他人可能知道其真假。 |
She believes that the Earth is flat.(她相信地球是平的。) |
N |
條件(Condition) |
命題的真假取決於另一個命題的真值。 |
If she gets the job, she will move to Utrecht.(如果她得到那份工作,她將搬到烏得勒支。) |
C |
確定(certain) |
不適用 |
不適用 |
預期用途和限制
- 該模型使用 Simple Transformers 庫進行微調。此庫基於 Transformers,但該模型不能直接與 Transformers 的
pipeline
和類一起使用,否則會生成錯誤輸出。因此,本頁面的 API 已禁用。
訓練數據
HEDGEhog 模型在 [Szeged Uncertainty Corpus](https://rgai.inf.u - szeged.hu/node/160)(Szarvas 等人,20121)上進行訓練和評估。該數據集的原始句子級 XML 版本可在[此處](https://rgai.inf.u - szeged.hu/node/160)獲取。
用於訓練的標記級版本可以從[這裡](https://1drv.ms/u/s!AvPkt_QxBozXk7BiazucDqZkVxLo6g?e = IisuM6)以 pickle 格式的 pandas DataFrame 形式下載。你可以下載拆分後的數據集(train.pkl
137MB,test.pkl
17MB,dev.pkl
17MB)或完整數據集(szeged_fixed.pkl
172MB)。DataFrame 中的每一行包含一個標記、其特徵(這些對 HEDGEhog 模型無關緊要;它們用於訓練基線 CRF 模型,詳見此處)、其句子 ID 和其標籤。
訓練過程
使用了以下訓練參數:
- 優化器:AdamW
- 學習率:4e - 5
- 訓練輪數:1
- 訓練批次大小:16
評估結果
類別 |
精確率 |
召回率 |
F1 分數 |
樣本數 |
認知(Epistemic) |
0.90 |
0.85 |
0.88 |
624 |
信念(Doxatic) |
0.88 |
0.92 |
0.90 |
142 |
調查(Investigation) |
0.83 |
0.86 |
0.84 |
111 |
條件(Condition) |
0.85 |
0.87 |
0.86 |
86 |
確定(Certain) |
1.00 |
1.00 |
1.00 |
104,751 |
宏平均 |
0.89 |
0.90 |
0.89 |
105,714 |
🔧 技術細節
該模型基於 BERT 進行微調,使用 Simple Transformers 庫實現多類別分類任務,在標記級別檢測不確定性線索。訓練過程中使用了特定的優化器和訓練參數,以達到較好的性能。
📄 許可證
本項目採用 MIT 許可證。
參考文獻
1 Szarvas, G., Vincze, V., Farkas, R., Móra, G., & Gurevych, I. (2012). Cross - genre and cross - domain detection of semantic uncertainty. Computational Linguistics, 38(2), 335 - 367.