2019年6月にMITRE社が実施したATT＆CK評価に関して、エフセキュアのEDR (エンドポイントの検知と対応)のラウンド１の評価結果がMITREのWebサイト（英語）に公開され、高度な侵入手法に対する高い検知能力が確認されました。
ここでは、ATT＆CK評価の以下のテスト項目の評価に関して解説します:
- テレメトリーのカバレッジ
- 検知の分析
- 修飾子の使用
また、EDR製品の導入を検討する際に考慮すべき事項へのガイダンスと、EDRベンダーの検討方法についても説明します。
MITREとATT＆CK評価について詳しく知りたい方は、下記ブログを参照ください。
エフセキュアの取組み
エフセキュアのMDR(マネージド検知/対応)ソリューションである、F-Secure Counterceptの評価結果は非常にポジティブな内容でした。
多くのテスト項目で高得点を獲得し、F-Secure Counterceptが、「APT3」（中国政府が支援する脅威グループ)が用いる脅威アクターを包括的に検知するために必要なデータセットと検知ロジックを提供していることを証明しました。
評価の結果は、105種類のテストケースに分割された20の攻撃フェーズに基づき、検知能力が実証できるように加えられたテストを含む、合計136種類のテストケースで実施されています。主な調査結果の一部を紹介します。
テレメトリーのカバレッジ
テレメトリーのカバレッジは、さまざまな攻撃ベクターに対する可視化性能を示しているため、MITRE評価の中でも最も役に立つ指標の1つです。ここでは、136種類の攻撃手法に対して、情報を提供できたケース（検知タイプ「なし」を除く）をベースに評価されており、下のグラフの通り、F-Secure Counterceptは122/136のスコアを獲得し、テレメトリーのカバレッジにおいてトップレベルのパフォーマンスだったことがお分かりいただけます。
エフセキュアのスコアが他社より高い理由
エフセキュアがこの項目で他社よりも高いスコアが得られた理由のひとつは、Windowsイベント、WMI、.NETのデータをキャプチャできることに起因しています。また、多くの製品がプロセス、ネットワーク、ファイル、PowerShellイベントなどといった同様のデータセットをキャプチャしているため、各社のスコアが非常に似通っていることに気付かれると思います。
この評価で把握しづらいことは、多くの製品がリアルタイムのデータ収集に依存している点です。F-Secure Counterceptのユニークな点は、EDRエージェントが永続的なデータとメモリの異常を定期的に収集するスキャン機能を備えている点です。この機能によって侵害後フェーズで、リアルタイムなイベントが発生しない場合でも、過去に起こったアクティビティを発見することができます。
検知の分析
ラウンド1評価の大部分は、各製品によって収集される情報量に基づいて、検知カテゴリ(エンリッチメント/一般的な行動/具体的な行動)をテストケースに割り当てることに焦点が当てられています。
このアプローチの制約ついては弊社ブログで解説していますが、検知能力を評価する際に、有用な高精度のアラート、低精度のアラート、およびエンリッチメントの間には大きな違いがあることを強調したいと思います。
- 高精度のアラートは、真の悪意のあるアクティビティをすばやく見つけるのに役立ちます。
- 低精度のアラートやエンリッチメントは、脅威ハンティングまたは調査の実施中に役立ちます。
ラウンド1における課題は、MITRE評価ではエンリッチメントデータを収集していますが、最初はもっと価値のあるデータ、すなわち高精度の検知データを収集すべきだと思われます。実際、エンリッチメントデータを収集することによって、さまざまな製品の検知能力を有意義な形で比較することが困難になっています。また、おそらく調査能力の比較はもっと簡単だと思われますが、相関関係、ワークフロー、対応などの重要な要因が測定されなかったため、各製品の正確な比較が難しくなっています。
MITREの製品評価の結果は、各ベンダーのスコア、ランキング、比較は提供されていません。そのため、米国の調査会社Forresterが公開している検知をカウントしスコアリングする評価スクリプトを用いてスコア指標を算出したところ、エフセキュアは最高スコアの376を達成しました。
これは、エフセキュアのEDRが他社より優れたソリューションであることを意味するのか？
その可能性はありますが、必ずしもそうとは言い切れません。Forresterのスクリプトを用いたスコアリングは、遅延のない行動に対して、よりウェイトが付けられていることから当社のスコアが高くなっています。これは、エフセキュアがより多くのコンテキストを提供し、調査に役立てている可能性があることを示していますが、必ずしも検知能力が他社より優れていることを意味しているわけではありません。
限られたラウンド1のデータで検知能力を評価できるのか？
この問いを検証するためのひとつのアプローチは、検知範囲を調べ、エンリッチメントと行動が(検知の可能性において)等しいと仮定し、遅延検知部分を削除することです。これらは通常、マネージドサービスに関連していますが、ここでは製品のみにフォーカスして検証しています。
ラウンド1において、すべてのテストケースが等しいわけではないことに注意してください。実際、エフセキュアが所有している実データでは、直接検知に使用できるものはテストケースの25％か、おそらくそれ以下であると推察されます。残りの75％は検知にのために送還を必要とするか、調査中にエンリッチメントとして使用されます。
これを考慮すると、次のようになります:
エフセキュアは、パロアルト、ファイア・アイ、カーボン・ブラックと同様に、良好な検知カバレッジを達成しています。 ここでより興味深いのは、高精度のアラートの検知の高さです。この数値は、平均値が低く、EDR製品の実際の有効性をより反映しています。 また、高精度のアラートの検知結果の違いは、トップベンダー間ではごくわずかな点にも注目ください。
相関関係
ラウンド1では、Tainted(汚染)修飾子を使用して、検知が前のアクティビティ(ポジティブとネガティブの両方)に依存しているかどうかの判断をします。 F-Secure Counterceptは直接検知が可能なため、tainted detectionsはありませんでした。
ただし、一部のスクリーンショットに示されているように、エフセキュアのプラットフォームは検知と調査の相関を使用しています。この点はラウンド1では記録されませんでした。 現時点では、分析から相関関係を除外していますが、MITRE評価のラウンド2では、相関関係修飾子が追加されます。
MITREからの引用:「評価は、ベンダー製品の性能にスコアを割り当てるのではなく、検知方法を明確にすることに焦点を当てています。」
そのため、検知の総数を合計してベンダーを評価しようとするのは魅力的ですが、現実の環境では検知の量より質のほうがより重要です。
ラウンド1の制限
ラウンド1での評価は、あらゆるEDRソリューションに適用できる高レベルの包括的なテストセットを提供するという意味で、素晴らしいスタートと言えます。ただし、そこにはいくつかの制限があります:
- すべてのテストケースが平等に扱われる（現実世界ではそのようなことはない）
- ノイズのない環境が前提
- 調査のワークフローがテストされない
- 対応タスクが使用されない
- 人間の要素が省略されている
EDR製品の評価手段としてラウンド1の結果だけでは片手落ち
候補となるベンダを絞り込むための出発点として、ハイレベルのテレメトリー、検知の指標、ラウンド1のユーザインターフェイスのスクリーンショットを活用することをお薦めします。そして、ツールを正しく評価するためには、自分自身でツールをインストールしてテストする必要があります（攻撃/ワークフローをシミュレートするのが理想的）。
あなたの組織に最適なEDRエージェントとは？
多くのベンダーは、競合他社よりも優れている理由について協調して主張します。エフセキュアは、アプローチが少し異なります。 F-Secure Countercept用に開発されたエージェントと、非常によく似たEDR製品がたくさんあると思われるため、MITRE評価はこの状況を非常によく示しています。
MITREの結果に基づいてEDR製品を比較する場合は、エフセキュア、パロアルト、サイバーリーズン、マイクロソフトの製品・サービスは、レビューする価値があると思います。
EDRは攻撃検出に不可欠なコンポーネントであり、その背後にいる人々がその有効性に大きな影響を与えています。 F-Secure Counterceptは、マネージド検知/対応サービスであり、EDRエージェントと優秀な人材を組み合わたソリューションです。
参考情報
https://go.forrester.com/blogs/measuring-vendor-efficacy-using-the-mitre-attck-evaluation/
https://blog.f-secure.com/why-should-you-care-about-mitre/
https://blog.f-secure.com/how-to-interpret-the-mitre-attck-evaluation/
https://www.endgame.com/blog/executive-blog/heres-why-we-cant-have-nice-things
カテゴリ