Secroberta

🚀 SecRoBERTa

SecRoBERTa是一個基於網絡安全文本訓練的預訓練模型，它能有效提升網絡安全領域下游任務的表現。

🚀 快速開始

SecRoBERTa是在論文 SecBERT: A Pretrained Language Model for Cyber Security Text 中提出的預訓練模型，它是基於網絡安全文本訓練的SecRoBERTa模型。

訓練語料來自以下論文：

• APTnotes
• Stucco-Data: Cyber security data sources
• CASIE: Extracting Cybersecurity Event Information from Text
• SemEval - 2018 Task 8: Semantic Extraction from CybersecUrity REports using Natural Language Processing (SecureNLP)。

SecRoBERTa有自己的詞塊詞彙表（secvocab），該詞彙表是為了與訓練語料最佳匹配而構建的。

我們訓練了 SecBERT 和 SecRoBERTa 兩個版本。

可用的模型包括：

• SecBERT
• SecRoBERTa

✨ 主要特性

我們提出構建適用於網絡安全文本的語言模型，因此它可以改進網絡安全領域的下游任務（命名實體識別、文本分類、語義理解、問答）。

首先，如下展示了 Google Bert、AllenAI SciBert 和我們的 SecBERT 的掩碼填充（Fill - Mask）管道。

原代碼倉庫可在 這裡 找到。

📄 許可證

本項目採用 Apache - 2.0 許可證。