license: apache-2.0 language:

• en base_model:
• meta-llama/Llama-3.1-8B
• fdtn-ai/Foundation-Sec-8B pipeline_tag: text-generation library_name: transformers tags:
• security
• unsloth
• trl
• sft datasets:
• yahma/alpaca-cleaned

追加のトレーニングイテレーションを実行しようとした際に何かを壊してしまいました。このモデルは現在正常に機能しません。

Foundation-Sec-8B - モデルカード

モデル情報

Foundation-Sec-8B (Llama-3.1-FoundationAI-SecurityLLM-base-8B) は、サイバーセキュリティアプリケーション向けに特化したオープンウェイトの80億パラメータベース言語モデルです。このモデルは、脅威インテリジェンスレポート、脆弱性データベース、インシデント対応ドキュメント、セキュリティ標準など、サイバーセキュリティに特化した精選されたコーパスを用いた継続的な事前学習を通じて、Llama-3.1-8Bモデルを拡張しています。複数のセキュリティドメインにわたるセキュリティ概念、専門用語、実践方法を理解するように訓練されています。このモデルは、脅威検出、脆弱性評価、セキュリティ自動化、攻撃シミュレーションなどのアプリケーションで使用するためのドメイン適応型ベースモデルとして設計されています。Foundation-Sec-8Bにより、組織はローカルに展開可能なAI駆動のセキュリティツールを構築でき、セキュリティ関連タスクでの高性能を維持しながら、クラウドベースのAIサービスへの依存を減らすことができます。

• モデル名: Foundation-Sec-8B (Llama-3.1-FoundationAI-SecurityLLM-base-8B)
• モデル開発者: Amin KarbasiおよびFoundation AI — Ciscoのチーム
• 技術レポート: https://arxiv.org/abs/2504.21039
• モデルカード連絡先: チーム、モデルの使用、今後の方向性に関する質問はkarbasi@cisco.comまで。モデルに関する技術的な質問はpaulkass@cisco.comまで。
• モデルリリース日: 2025年4月28日
• 対応言語: 英語
• モデルアーキテクチャ: 最適化されたトランスフォーマーアーキテクチャを使用した自己回帰型言語モデル（Meta Llama-3.1-8Bバックボーン）
• 訓練目的: サイバーセキュリティ特化コーパスでの継続的な事前学習
• 訓練データの状態: オフラインデータセットで訓練された静的モデルです。調整済みモデルの将来のバージョンは更新されたデータでリリースされます。
• ライセンス: Apache 2.0

意図された使用法

意図された使用ケース

Foundation-Sec-8Bは、AI駆動のセキュリティワークフローやアプリケーションを構築するセキュリティ実務者、研究者、開発者向けに設計されています。Foundation-Sec-8Bは、以下の3つの主要な使用ケースカテゴリに最適化されています：

• SOC加速化: トリアージ、要約、ケースノート生成、証拠収集の自動化。
• 積極的な脅威防御: 攻撃のシミュレーション、脆弱性の優先順位付け、TTPのマッピング、攻撃者の行動モデリング。
• エンジニアリング支援: セキュリティ支援の提供、設定の検証、コンプライアンス証拠の評価、セキュリティ態勢の改善。

このモデルは、データセキュリティ、規制コンプライアンス、運用管理を優先する環境でのローカル展開を意図しています。

下流での使用

Foundation-Sec-8Bは、セキュリティ関連の言語タスクに直接使用でき、さまざまなサイバーセキュリティワークフローにわたる微調整の強力な出発点として機能します。下流アプリケーションの例には以下が含まれます：

• 要約
  • 検知プレイブックやインシデントレポートの要約
  • 断片的なアナリストノートを構造化されたケース要約に統合
• 分類
  • 脅威をMITRE ATT&CKテクニックにマッピング
  • コンテキストリスクに基づく脆弱性の優先順位付け
  • セキュリティ関連のメールや漏洩ファイル内容の分類
• 固有表現認識
  • ドキュメントからのコンプライアンス証拠の抽出
  • 技術マニュアルからのネットワーク行動プロファイルの構築
• 質問応答
  • SOCアナリストのアラートトリアージと調査の支援
  • クラウドセキュリティとソフトウェアコンプライアンスのクエリへの対応
• 推論とテキスト生成
  • レッドチーム攻撃計画と脅威モデルの生成
  • アクティブな調査における攻撃者の次のステップの予測
  • コンテキスト洞察による脆弱性スキャン結果の強化

Foundation-Sec-8Bの微調整に関する質問や支援が必要な場合は、Paul Kassianik (paulkass@cisco.com) または Dhruv Kedia (dkedia@cisco.com) までご連絡ください。

範囲外の使用

以下の使用は範囲外であり、推奨も意図もされていません：

1. 有害なコンテンツの生成 - モデルは以下に使用すべきではありません：
   • マルウェアやその他の悪意のあるコードの生成
   • フィッシングコンテンツやソーシャルエンジニアリングスクリプトの作成
   • 特定の組織を標的とした攻撃計画の開発
   • 正当なセキュリティ研究目的なしの脆弱性の悪用技術の設計
2. 人間の監視なしの重大なセキュリティ決定 - モデルは以下に使用すべきではありません：
   • 人間のレビューなしの自律的なセキュリティ意思決定
   • 専門家の監督なしの重要インフラ保護
   • 人間の検証なしのセキュリティコンプライアンスの最終決定
   • テストなしの自律的な脆弱性修復
3. 法的または医療アドバイス - モデルは以下を提供する資格がありません：
   • セキュリティ規制、コンプライアンス要件、または知的財産紛争に関する法的助言
   • 法的助言を提供するために必要な法律、判例、または判例法を参照するセキュリティ問題に関する法的助言
   • セキュリティインシデントの健康影響に関する医療アドバイス
4. 非セキュリティ使用ケース - モデルはサイバーセキュリティに特化して最適化されており、より広範なアプリケーション向けに訓練されたモデルほど一般的なタスクでは性能が劣る可能性があります。
5. 法律または規制の違反 - 適用される法律または規制に違反する使用。

モデルの開始方法

以下のコードを使用してモデルを開始します。

# 必要なライブラリをインポート
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルとトークナイザーをロード
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")

# 例: CWEをCVE IDにマッチング
prompt="""CVE-2021-44228は、Apache Log4j2の安全でないJNDIルックアップ（「Log4Shell」）によるリモートコード実行の欠陥です。CWEはCWE-502です。

CVE-2017-0144は、MicrosoftのSMBv1サーバー（「EternalBlue」）のバッファオーバーフローによるリモートコード実行の脆弱性です。CWEはCWE-119です。

CVE-2014-0160は、OpenSSLのハートビート拡張（「Heartbleed」）の情報漏洩バグで、範囲外読み取りを引き起こします。CWEはCWE-125です。

CVE-2017-5638は、Apache Struts 2のJakarta MultipartパーサーのContent-Typeヘッダーの不適切な入力検証に起因するリモートコード実行問題です。CWEはCWE-20です。

CVE-2019-0708は、Microsoftのリモートデスクトップサービス（「BlueKeep」）のuse-after-freeによって引き起こされるリモートコード実行の脆弱性です。CWEはCWE-416です。

CVE-2015-10011は、OpenDNS OpenResolveの不適切なログ出力中和に関する脆弱性です。CWEは"""

# 入力をトークン化
inputs = tokenizer(prompt, return_tensors="pt")

# 応答を生成
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=3,
    do_sample=True,
    temperature=0.1,
    top_p=0.9,
)

# 応答をデコードして表示
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.replace(prompt, "").strip()
print(response)

訓練と評価

訓練データ

Foundation-sec-8Bは、CiscoのFoundation AIチームが社内で精選した約51億トークンのサイバーセキュリティ特化データで事前訓練されました。データセットは、ウェブ上の公開ソースから注意深く収集されました。

事前訓練コーパスは、大規模なウェブクローリング、関連性フィルタリング、重複排除、品質フィルタリングを含む多段階パイプラインを通じて構築されました。

データカットオフ: 2025年4月10日。

より詳細な方法論は技術レポートで利用可能です。

訓練設定

Foundation-sec-8Bは、Llama 3.1 8Bアーキテクチャに基づいています。事前訓練は、Cisco Foundation AIの内部計算クラスターで実行されました。

主要な訓練の詳細：

• サイバーセキュリティ特化のための継続的な事前訓練
• 4096トークンのシーケンス長
• オプティマイザー: AdamW

より詳細な方法論は技術レポートで利用可能です。

評価

Foundation-sec-8Bは、サイバーセキュリティおよび一般的な推論タスクでベンチマークされ、標準化された5-shotプロンプト設定（温度=0.3）が使用されました。

ベンチマーク概要:

• CTI-MCQA: MITRE ATT&CK、NIST、GDPRなどのフレームワークや脅威インテリジェンスのベストプラクティスにわたるサイバーセキュリティ知識をテストする2,500の多肢選択問題。
• CTI-RCM: CVEをCWEカテゴリにリンクする900以上の脆弱性根本原因マッピング例で、セキュリティ弱点の深い理解を評価。

主なハイライト:

• セキュリティ特化ベンチマークでLlama-3.1-8Bに対して**+3から+9ポイントの向上**。
• サイバー脅威インテリジェンスタスクでLlama-3.1-70Bと同等またはそれ以上の性能。
• サイバーセキュリティ特化にもかかわらず、一般的な言語推論（MMLU）でのわずかな低下（約2%）。

完全なベンチマークの詳細と評価方法論については、技術レポートを参照してください。

制限事項

Foundation-Sec-8Bには、ユーザーが認識すべきいくつかの制限があります：

1. ドメイン固有の知識の制限:
   • Foundation-Sec-8Bは、訓練カットオフ日以降にリリースされた最近の脆弱性、エクスプロイト、新しい攻撃ベクトル、またはセキュリティ技術に精通していない可能性があります
   • 専門的または独自のセキュリティシステムやツールの知識が限られている可能性があります
2. 潜在的なバイアス:
   • モデルはセキュリティ文献やドキュメントに存在するバイアスを反映する可能性があります
   • モデルは既知の攻撃パターンで訓練されており、新しい攻撃ベクトルの認識が困難な可能性があります
   • セキュリティプラクティスと推奨事項が特定の技術エコシステムに偏っている可能性があります
   • セキュリティアプローチにおける地理的および文化的バイアスが存在する可能性があります
3. セキュリティリスク:
   • モデルはユーザーの身元や意図を確認できません
   • 敵対的なプロンプト技術が安全メカニズムを回避する可能性があります
   • 適切なプロンプトガードレールが実装されていない場合、誤用される可能性のある情報を意図せず提供する可能性があります
4. コンテキストの盲目性:
   • モデルは、正確なコンテキストを提供するためにシステム、ユーザー、データ間の複雑な相互関係を理解するのに苦労する可能性があります。
5. 技術的な制限:
   • セキュリティ概念がプロンプトでどのように記述されているかによって性能が異なります
   • 明確な説明なしの複雑な多段階のセキュリティシナリオを完全に理解できない可能性があります
   • 外部システムにアクセスしたり、環境を積極的にスキャンしたりできません
   • 出力の事実の正確性を独立して検証できません
6. 倫理的考慮事項:
   • セキュリティ知識のデュアルユースの性質は、適切な使用ケースの慎重な検討を必要とします

推奨事項

Foundation-Sec-8Bの制限に対処するために、以下を推奨します：

1. 人間の監視:
   • 実装前に常に資格のあるセキュリティ専門家がモデルの出力をレビューする
   • 専門家の人間の判断の代わりに支援ツールとしてモデルを使用する
   • セキュリティクリティカルなアプリケーションには人間参加型アプローチを実装する
2. システム設計の安全策:
   • このモデルで構築されたアプリケーションに追加の検証層を実装する
   • 潜在的に有害な行動（過剰なエージェンシー）をモデルが実行する能力を制限するアーキテクチャ制約を考慮する
   • 適切なアクセス制御が施された環境にモデルを展開する
3. プロンプトエンジニアリング:
   • 倫理的なセキュリティプラクティスを促進するように設計されたプロンプトを使用する
   • 責任ある開示と倫理的ハッキング原則に関する明示的な指示を含める
   • 意図せず有害な出力のリスクを最小限に抑えるように相互作用を構造化する
4. 知識の補完:
   • 最新のセキュリティフィードとデータベースでモデルを補完する
   • 現在の脅威インテリジェンスソースに対して検索拡張生成を実装する
5. 使用ポリシー:
   • このモデルを使用するアプリケーションに対して明確な許容使用ポリシーを策定し、施行する
   • 高リスクアプリケーションに対して監視と監査を実装する
   • モデルの制限に関するエンドユーザー向けのドキュメントを作成する