コンテンツを開く

テーマのトレンド

スマート情報システムのセキュリティ問題、危険性および影響

エフセキュアは、以前のブログ投稿でご紹介したように、EUが出資しているHorizon 2020プロジェクトのコードネームSHERPAに参加しており、SHERPAコンソーシアムのパートナー11社のうちの1社として名を連ねています。このプロジェクトは、将来の社会で機械学習がどのように使用されるか、また、その際にはどのような倫理的問題が生ずるか、さらに、それらの問題に対処する方法について理解を深めることを目的としています。

このプロジェクトが当初目指していたことは、現在の機械学習の使用方法を理解し、それを拠り所にして、将来起こり得る一連のシナリオ(2025年に想定される状況)を推定することでした。それらのシナリオの一部はすでに公開されています(そして興味深い書籍にもなっています)。例としては、教育警察、戦争、人間支援輸送領域における機械学習の活用などがあります。その他に、SHERPAによる成果物で既に公開されているものとしては、一連のケーススタディなどがあります。

エフセキュアでは、このプロジェクトにおける技術パートナーとして、他のパートナーに技術的なアドバイス(機械学習方法論の仕組みの説明、これらの方法論で何ができて何ができないのか、さらにそれらが将来どのように改善または革新されるかなど)を提供しています。明らかにされた倫理的懸念事項に対処する技術ソリューションを提案することも、目的の1つとなっています。

このプロジェクトにおけるエフセキュアの最初の作業は、セキュリティ問題、危険性、およびデータ分析と人工知能を使用した場合の影響を調査することでした。それにはサイバーセキュリティドメインのアプリケーションを評価することも含まれていました。この研究プロジェクトが調査した主要項目は以下のとおりです。

  • 機械学習システムの実装においてよくある間違い(および、推奨される防止策)
  • 機械学習モデルとアルゴリズムを攻撃する手口(および、攻撃の緩和策)
  • 人工知能とデータ分析手法を悪用する手口

この作業の成果は、パートナーと共同で報告書にまとめました。この報告書では、機械学習テクノロジーの技術的および倫理的影響と、現在の使用方法を取り上げると共に、将来の予測も若干加えています。報告書全体はこちらをご覧ください(英語)。かなり長文ですので、別途、抄録をシリーズ化した記事を投稿することにしました。このシリーズは、本紹介記事の他に4つの記事から構成されています。各記事は、最終報告書のそれぞれのセクションをカバーしています。なお、このシリーズは技術的な部分をまとめていますので、倫理的な部分に興味がありましたら、元の報告書をご覧ください。4つの記事は、それぞれ以下のトピックをカバーしています。

  • 悪いAI(英語)
    • 機械学習モデルを開発する際に発生する欠陥の種類について詳しく説明します。独自のモデルを開発する際に欠陥を紛れ込ませないようにする方法もアドバイスします。
  • AIの悪用(英語)
    • 機械学習の手法と、それを利用するサービスを悪用する策略を探り出します。
  • AIに対する敵対的な攻撃(英語)
    • 機械学習モデルに対する攻撃の仕組みを解説し、機械学習手法を利用するシステムに対する潜在的攻撃の興味深い事例をいくつか示します。
  • 敵対的攻撃に対する緩和策(英語)
    • 機械学習システムを敵対的攻撃に対して堅牢化するうえで、現在提案されている手法を明らかにします。

各記事には次の記事へのリンクが含まれていますので、シリーズを順番にお読になりたい場合は、この記事の最後にあるリンクをクリックしてください。また、特定のトピックに関心がある場合は、上記のリンクのいずれかをクリックしてください。もちろん、こちらから報告書全体をダウンロードすれば、オフラインで読むこともできます。

カテゴリ

関連する投稿

Newsletter modal

登録を受付ました。 購読受付のメールをお送りしたのでご確認ください。

Gated Content modal

下のボタンをクリックしてコンテンツを確認ください。