Log Classifier BERT V1

🚀 日誌分類器-BERT-v1

本模型是一個基於Transformer的分類模型，使用BertForSequenceClassification進行訓練，專為網絡和設備日誌挖掘任務而設計。由 Selector AI 開發。

🚀 快速開始

模型使用

from transformers import BertForSequenceClassification, BertTokenizer

# 步驟1：從Hugging Face加載模型和分詞器
model = BertForSequenceClassification.from_pretrained("rahulm-selector/log-classifier-BERT-v1")
tokenizer = BertTokenizer.from_pretrained("rahulm-selector/log-classifier-BERT-v1")

import torch

model.eval()

# 步驟2：準備輸入數據（示例日誌文本）
log_text = "Error occurred while accessing the database."

# 對輸入數據進行分詞
inputs = tokenizer(log_text, return_tensors="pt", padding=True, truncation=True, max_length=128)

# 步驟3：進行預測
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 步驟4：獲取預測類別（得分最高的類別）
predicted_class = torch.argmax(logits, dim=1).item()

# 標籤映射（可以從倉庫中的JSON文件或配置中加載）
label_mapping = model.config.id2label

# 步驟5：獲取事件名稱
predicted_event = label_mapping[predicted_class]
print(f"Predicted Event: {predicted_event}")

✨ 主要特性

• 專注於結構化和半結構化日誌數據，可輸出約60種不同的事件類別。
• 對即時日誌分析、異常檢測和運營監控非常有效。
• 幫助組織管理大規模網絡數據，通過將日誌自動分類到預定義的類別中，有助於更快、更準確地診斷網絡問題。

📚 詳細文檔

背景

該模型專注於結構化和半結構化日誌數據，輸出約60種不同的事件類別。它在即時日誌分析、異常檢測和運營監控方面非常有效，通過將日誌自動分類到預定義的類別中，幫助組織管理大規模網絡數據，有助於更快、更準確地診斷網絡問題。

預期用途

我們的模型旨在用作分類器。給定輸入文本（來自網絡/設備/路由器的日誌），它會輸出與該日誌最相關的對應事件。 可分類的可能事件見 encoder-main.json

訓練詳情

數據

該模型在各種網絡事件和系統日誌上進行訓練，重點關注監控和分析基礎設施組件的狀態變化、協議行為和硬件交互。這包括跟蹤路由問題、協議鄰居狀態變化、鏈路穩定性和安全事件，確保模型能夠識別和分類設備通信、網絡健康和配置活動中的關鍵模式。

訓練/測試分割

• 訓練數據大小：~80K 條日誌
• 測試數據大小：~20K 條日誌

超參數

訓練期間使用了以下超參數來優化模型性能：