license: apache-2.0 language:

• en base_model:
• meta-llama/Llama-3.1-8B pipeline_tag: text-generation library_name: transformers tags:
• security

Foundation-Sec-8B - モデルカード

モデル情報

Foundation-Sec-8B (Llama-3.1-FoundationAI-SecurityLLM-base-8B) は、サイバーセキュリティアプリケーション向けに特化したオープンウェイトの80億パラメータベース言語モデルです。このモデルは、Llama-3.1-8Bモデルを拡張し、脅威インテリジェンスレポート、脆弱性データベース、インシデント対応文書、セキュリティ標準など、サイバーセキュリティに特化した精選されたテキストコーパスを用いて継続事前学習を行いました。複数のセキュリティドメインにわたるセキュリティ概念、用語、および実践を理解するように訓練されています。このモデルは、脅威検出、脆弱性評価、セキュリティ自動化、攻撃シミュレーションなどのアプリケーションで使用するためのドメイン適応ベースモデルとして設計されています。Foundation-Sec-8Bは、組織がローカルに展開可能なAI駆動のセキュリティツールを構築することを可能にし、セキュリティ関連タスクでの高性能を維持しながら、クラウドベースのAIサービスへの依存を軽減します。

• モデル名: Foundation-Sec-8B (Llama-3.1-FoundationAI-SecurityLLM-base-8B)
• モデル開発者: Amin KarbasiおよびFoundation AI — Ciscoのチーム
• 技術レポート: https://arxiv.org/abs/2504.21039
• モデルカード連絡先: チーム、モデルの使用、今後の方向性に関する質問はkarbasi@cisco.comまで。モデルに関する技術的な質問はpaulkass@cisco.comまで。
• モデルリリース日: 2025年4月28日
• 対応言語: 英語
• モデルアーキテクチャ: 最適化されたトランスフォーマーアーキテクチャを使用した自己回帰型言語モデル（Meta Llama-3.1-8Bバックボーン）
• 訓練目的: サイバーセキュリティ特化コーパスでの継続事前学習
• 訓練データの状態: オフラインデータセットで訓練された静的モデル。調整済みモデルの将来のバージョンは更新されたデータでリリースされます。
• ライセンス: Apache 2.0

意図された使用

意図された使用ケース

Foundation-Sec-8Bは、セキュリティ実務者、研究者、およびAI駆動のセキュリティワークフローとアプリケーションを構築する開発者向けに設計されています。Foundation-Sec-8Bは、以下の3つの主要な使用ケースカテゴリに最適化されています：

• SOC加速化: トリアージ、要約、ケースノート生成、証拠収集の自動化。
• 積極的な脅威防御: 攻撃のシミュレーション、脆弱性の優先順位付け、TTPのマッピング、攻撃者の行動モデリング。
• エンジニアリング支援: セキュリティ支援、構成の検証、コンプライアンス証拠の評価、セキュリティ態勢の改善。

このモデルは、データセキュリティ、規制遵守、および運用管理を優先する環境でのローカル展開を意図しています。

下流での使用

Foundation-Sec-8Bは、セキュリティ関連の言語タスクに直接使用でき、さまざまなサイバーセキュリティワークフローにわたる微調整の強力な出発点として機能します。下流アプリケーションの例には以下が含まれます：

• 要約:
  • 検知プレイブックとインシデントレポートの要約
  • 断片的なアナリストノートを構造化されたケース要約に統合
• 分類:
  • 脅威をMITRE ATT&CKテクニックにマッピング
  • コンテキストリスクに基づく脆弱性の優先順位付け
  • セキュリティ関連のメールと漏洩ファイル内容の分類
• 固有表現認識:
  • 文書からのコンプライアンス証拠の抽出
  • 技術マニュアルからのネットワーク行動プロファイルの構築
• 質問応答:
  • SOCアナリストのアラートトリアージと調査支援
  • クラウドセキュリティとソフトウェアコンプライアンスのクエリへの対応
• 推論とテキスト生成:
  • レッドチーム攻撃計画と脅威モデルの生成
  • アクティブな調査における攻撃者の次のステップの予測
  • コンテキスト洞察による脆弱性スキャン結果の充実

Foundation-Sec-8Bの微調整に関する質問や支援が必要な場合は、Paul Kassianik (paulkass@cisco.com) または Dhruv Kedia (dkedia@cisco.com) までご連絡ください。

範囲外の使用

以下の使用は範囲外であり、推奨も意図もされていません：

1. 有害なコンテンツの生成 - モデルは以下に使用すべきではありません：
   • マルウェアやその他の悪意のあるコードの生成
   • フィッシングコンテンツやソーシャルエンジニアリングスクリプトの作成
   • 特定の組織を標的とした攻撃計画の開発
   • 正当なセキュリティ研究目的なしの脆弱性の悪用技術の設計
2. 人間の監視なしの重大なセキュリティ決定 - モデルは以下に使用すべきではありません：
   • 人間のレビューなしの自律的なセキュリティ意思決定
   • 専門家の監督なしの重要インフラ保護
   • 人間の検証なしのセキュリティコンプライアンスの最終決定
   • テストなしの自律的な脆弱性修復
3. 法的または医療アドバイス - モデルは以下を提供する資格がありません：
   • セキュリティ規制、コンプライアンス要件、または知的財産紛争に関する法的アドバイス
   • 法的アドバイスを提供するために必要な法律、判例、または事例法を参照するセキュリティ問題に関する法的アドバイス
   • セキュリティインシデントの健康影響に関する医療アドバイス
4. 非セキュリティ使用ケース - このモデルはサイバーセキュリティに特化して最適化されており、より広範なアプリケーション向けに訓練されたモデルほど一般的なタスクで性能を発揮しない場合があります。
5. 法律または規制の違反 - 適用可能な法律または規制に違反する使用。

モデルの開始方法

以下のコードを使用してモデルを開始します。

# 必要なライブラリをインポート
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルとトークナイザーをロード
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")

# 例: CWEをCVE IDにマッチング
prompt="""CVE-2021-44228は、Apache Log4j2の安全でないJNDIルックアップ（「Log4Shell」）によるリモートコード実行の欠陥です。CWEはCWE-502です。

CVE-2017-0144は、MicrosoftのSMBv1サーバー（「EternalBlue」）のバッファオーバーフローによるリモートコード実行の脆弱性です。CWEはCWE-119です。

CVE-2014-0160は、OpenSSLのハートビート拡張（「Heartbleed」）による範囲外読み取りを引き起こす情報漏洩のバグです。CWEはCWE-125です。

CVE-2017-5638は、Apache Struts 2のJakarta MultipartパーサーのContent-Typeヘッダーの不適切な入力検証に起因するリモートコード実行の問題です。CWEはCWE-20です。

CVE-2019-0708は、MicrosoftのRemote Desktop Services（「BlueKeep」）の使用後解放（use-after-free）によって引き起こされるリモートコード実行の脆弱性です。CWEはCWE-416です。

CVE-2015-10011は、OpenDNS OpenResolveの不適切なログ出力中和に関する脆弱性です。CWEは"""

# 入力をトークン化
inputs = tokenizer(prompt, return_tensors="pt")

# 応答を生成
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=3,
    do_sample=True,
    temperature=0.1,
    top_p=0.9,
)

# 応答をデコードして表示
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.replace(prompt, "").strip()
print(response)

訓練と評価

訓練データ

Foundation-sec-8Bは、CiscoのFoundation AIチームによって社内で精選された約51億トークンのサイバーセキュリティ特化データで事前訓練されました。データセットは、ウェブ上の公開ソースから注意深く収集されました。

事前訓練コーパスは、大規模なウェブクローリング、関連性フィルタリング、重複排除、品質フィルタリングを含む多段階パイプラインを通じて構築されました。

データカットオフ: 2025年4月10日。

より詳細な方法論は技術レポートで利用可能です。

訓練設定

Foundation-sec-8Bは、Llama 3.1 8Bアーキテクチャに基づいています。事前訓練は、Cisco Foundation AIの内部計算クラスターで実行されました。

主要な訓練の詳細：

• サイバーセキュリティ特化のための継続事前訓練
• 4096トークンのシーケンス長
• オプティマイザ: AdamW

より詳細な方法論は技術レポートで利用可能です。

評価

Foundation-sec-8Bは、サイバーセキュリティおよび一般的な推論タスクでベンチマークされ、標準化された5ショットプロンプティング設定（温度=0.3）が使用されました。

ベンチマーク概要:

• CTI-MCQA: MITRE ATT&CK、NIST、GDPR、脅威インテリジェンスのベストプラクティスなどのフレームワークにわたるサイバーセキュリティ知識をテストする2,500の多肢選択問題。
• CTI-RCM: CVEをCWEカテゴリにリンクする900以上の脆弱性根本原因マッピング例、セキュリティ弱点の深い理解を評価。

主なハイライト:

• セキュリティ特化ベンチマークでLlama-3.1-8Bに対して**+3から+9ポイントの向上**。
• サイバー脅威インテリジェンスタスクでLlama-3.1-70Bと同等またはそれ以上の性能。
• サイバーセキュリティ特化にもかかわらず、一般的な言語推論（MMLU）でのわずかな低下（約2%）。

完全なベンチマークの詳細と評価方法論については、技術レポートを参照してください。

制限事項

Foundation-Sec-8Bには、ユーザーが認識すべきいくつかの制限があります：

1. ドメイン固有の知識の制限:
   • Foundation-Sec-8Bは、訓練カットオフ日以降にリリースされた最近の脆弱性、悪用、または新しい攻撃ベクトルやセキュリティ技術に精通していない可能性があります。
   • 専門的または独自のセキュリティシステムやツールの知識が限られている可能性があります。
2. 潜在的なバイアス:
   • モデルはセキュリティ文献と文書に存在するバイアスを反映する可能性があります。
   • モデルは既知の攻撃パターンで訓練されており、新しい攻撃ベクトルの認識が困難な場合があります。
   • セキュリティプラクティスと推奨事項が特定の技術エコシステムに偏る可能性があります。
   • セキュリティアプローチにおける地理的および文化的バイアスが存在する可能性があります。
3. セキュリティリスク:
   • モデルはユーザーの身元や意図を確認できません。
   • 敵対的なプロンプティング技術が安全メカニズムを回避する可能性があります。
   • 適切なプロンプティングガードレールが実装されていない場合、誤用される可能性のある情報を意図せず提供する可能性があります。
4. コンテキストの盲目性:
   • モデルは、システム、ユーザー、データ間の複雑な相互関係を理解して正確なコンテキストを提供するのに苦労する可能性があります。
5. 技術的な制限:
   • セキュリティ概念がプロンプトでどのように記述されているかに基づいて性能が異なります。
   • 明確な説明なしの複雑な多段階のセキュリティシナリオを完全に理解できない可能性があります。
   • 外部システムにアクセスしたり、環境を積極的にスキャンしたりできません。
   • 出力の事実の正確性を独立して検証できません。
6. 倫理的考慮事項:
   • セキュリティ知識のデュアルユース性質は、適切な使用ケースの慎重な考慮を必要とします。

推奨事項

Foundation-Sec-8Bの制限に対処するために、以下を推奨します：

1. 人間の監視:
   • 実装前に常に資格のあるセキュリティ専門家がモデルの出力をレビューします。
   • 専門家の人間の判断の代わりに補助ツールとしてモデルを使用します。
   • セキュリティクリティカルなアプリケーションには人間インザループアプローチを実装します。
2. システム設計の安全対策:
   • このモデルで構築されたアプリケーションに追加の検証層を実装します。
   • 潜在的に有害な行動（過度のエージェンシー）を実行するモデルの能力を制限するアーキテクチャ制約を検討します。
   • 適切なアクセス制御がある環境にモデルを展開します。
3. プロンプトエンジニアリング:
   • 倫理的なセキュリティプラクティスを促進するように設計されたプロンプトを使用します。
   • 責任ある開示と倫理的ハッキング原則に関する明示的な指示を含めます。
   • 意図せず有害な出力のリスクを最小限に抑えるように相互作用を構築します。
4. 知識の補完:
   • 最新のセキュリティフィードとデータベースでモデルを補完します。
   • 現在の脅威インテリジェンスソースに対して検索拡張生成を実装します。
5. 使用ポリシー:
   • このモデルを使用するアプリケーションの明確な許容使用ポリシーを開発し、施行します。
   • 高リスクアプリケーションの監視と監査を実装します。
   • モデルの制限に関するエンドユーザー向けのドキュメントを作成します。