Log Classifier BERT V1

🚀 LogClassifier

このモデルは、ネットワークやデバイスのログマイニングタスクに使用するために設計された、BERTForSequenceClassificationを用いて学習されたTransformers分類モデルです。Selector AIによって開発されました。

🚀 クイックスタート

モデルの使用方法

from transformers import BertForSequenceClassification, BertTokenizer

# Step 1: Load the model and tokenizer from Hugging Face
model = BertForSequenceClassification.from_pretrained("rahulm-selector/log-classifier-BERT-v1")
tokenizer = BertTokenizer.from_pretrained("rahulm-selector/log-classifier-BERT-v1")

import torch

model.eval()

# Step 2: Prepare the input data (Example log text)
log_text = "Error occurred while accessing the database."

# Tokenize the input data
inputs = tokenizer(log_text, return_tensors="pt", padding=True, truncation=True, max_length=128)

# Step 3: Make predictions
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# Step 4: Get the predicted class (the class with the highest score)
predicted_class = torch.argmax(logits, dim=1).item()

# label mapping (can load from JSON file in repo or config)
label_mapping = model.config.id2label

# Step 5: Get the event name
predicted_event = label_mapping[predicted_class]
print(f"Predicted Event: {predicted_event}")

✨ 主な機能

このモデルは、構造化および半構造化のログデータに焦点を当て、約60種類の異なるイベントカテゴリを出力します。リアルタイムのログ分析、異常検出、および運用監視に非常に有効であり、組織がログを事前定義されたカテゴリに自動的に分類することで、大規模なネットワークデータを管理し、ネットワークの問題をより迅速かつ正確に診断するのを支援します。

📚 ドキュメント

想定される用途

当社のモデルは分類器として使用することを想定しています。入力テキスト（ネットワーク/デバイス/ルータからのログ）が与えられると、そのログに最も関連する対応するイベントを出力します。分類可能なイベントは、encoder-main.jsonに示されています。

🔧 技術詳細

学習データ

このモデルは、さまざまなネットワークイベントとシステムログを対象に学習されており、インフラコンポーネント全体の状態変化、プロトコルの動作、およびハードウェアの相互作用の監視と分析に焦点を当てています。これには、ルーティングの問題、プロトコルのネイバー状態の変化、リンクの安定性、およびセキュリティイベントの追跡が含まれ、モデルがデバイス通信、ネットワークの健全性、および構成活動における重要なパターンを認識して分類できるようになっています。

学習/テストデータの分割

• 学習データサイズ: ~80K ログ
• テストデータサイズ: ~20K ログ

ハイパーパラメータ

モデルのパフォーマンスを最適化するために、学習中に以下のハイパーパラメータが使用されました。

• バッチサイズ: 32
• 学習率: .001
• オプティマイザー: Adam
• エポック数: 10
• ドロップアウト率: N/A
• LSTM隠れ次元: 384
• 埋め込み次元: 384