人間の心には、まだ比類のない能力があるという明確な例がひとつあります。それは、マシンが人工知能（AI）に対して敵対的攻撃（adversarial attack）を使用して、人類を攻撃し、支配し、さらには奴隷化する方法を私たちが想像できるという点です。現状では、まだ人間がマシンを支配しています。
今日「AI」は機械学習を指す用語として使われている
「AIをテレビや映画で見られる人工の一般的な知能と混同しているので、ほとんどの人がAIの危険性をキラーロボットのようなものと関連付けていると思います。 これは今日使用されているAIとは異なり、はるかに進歩しています。しかしながら、今日のAIは、基本的に、コンピュータが独自に実行するように学習された機能にすぎません。」とAndy Patel（アンディ・パテル）（英語）は説明しています。「今日、AIは機械学習を指す用語として使われています。これはタスクを実行するために機能（コンピューターではなく）をトレーニングするプロセスです。」
Andyは、エフセキュアの人工知能研究拠点（AI CoE）のリサーチャーで、「スマート情報システムのセキュリティ問題、危険性、およびその影響」と題してSHERPAコンソーシアムが発表した最新の調査への主要な寄稿者でもあります。この調査プロジェクトは、2018年にEUが資金提供し、エフセキュアが参加しています。
AIへの攻撃シナリオからわかること
この調査報告書の「AIに対する敵対的攻撃」の章では、AIシステムを悪用する方法のタイプとクラスについて解説しています。包括的に見るとこれらの攻撃は理論に留まっていますが、中にはすでに実行可能で、何年も前から攻撃に悪用されているものも多くあります。特に無謀なスピードで大量の商品が市場に送り出されている現状を考えると、対処していない既知および未知の脆弱性が生み出されることで、さらに多くの攻撃が発生することは避けられません。
AIに対する既存のタイプとクラスの攻撃を分析した後、この調査では、多くのシナリオを明らかにすることで、AIの研究者、エンジニア、政策立案者、あなたのような関心のある個人に、すでに現実に観察されている攻撃と、今後発生する可能性のある攻撃についてのイメージを与えます。
攻撃シナリオ：検索エンジンのオートコンプリート機能を侵害して企業やブランドの信用を失墜させる
攻撃者はシビル攻撃を用いてWebブラウザのオートコンプリート機能を侵害し、オートコンプリート文の末尾に標的の会社名を含む「詐欺」という単語を候補に提示します。標的にされた企業は、しばらくの期間は攻撃に気づきませんが、最終的には問題を発見して修復しますが、その時にはすでに被害を被っており、ブランドイメージに長期的な悪影響を及ぼします。これは完全性に対する攻撃に分類されます（そして今日実行可能です）。
シビル攻撃は、システムの完全性を侵害するために単一のエンティティによって制御される複数の「ソックパペット」と呼ばれるアカウントを使用します。商品やコンテンツを宣伝したり、それらの評判を下げたり、ソーシャルエンジニアリングでユーザを特定のコンテンツに誘導するために使用されます。
これらの攻撃は極めて一般的であるため、全ての業界が標的にされます。
攻撃シナリオ：隠し音声コマンドを使用して個人に対して標的型攻撃を実行する
攻撃者は、隠された音声コマンドをビデオコンテンツに埋め込み、それをビデオ共有サービスサイトにアップロードし、シビル攻撃を使用してそのビデオを人為的に宣伝します。隠し音声コマンドは、デジタルアシスタントデバイスに対して、その所有者に知られることなく、勝手に商品を購入するように指示したり、スマート家電の設定を変更するように指示します（室温を上げたり、明かりを消したり、正面玄関の鍵を開けたりすることができてしまいます）。あるいは、密かに不正なコンテンツ（ドラッグや児童ポルノなど）の検索を実行するように近くのPCに指示し、後に被害者を脅迫できるようにします。これは可用性に対する攻撃です。
この攻撃はまだ世の中では観測されていません。しかし、2018年8月から試行が確認されているため、私たちはすでに実行可能な手法であると考えています。ドイツのボーフムにあるホルストゲルツITセキュリティ研究所の研究者は、音声認識システムに対して心理音響攻撃を展開し、鳥のさえずりに音声コマンドを隠すことに成功しています。
可用性に対する攻撃シナリオ：デジタルアシスタントを広範囲に制御する
攻撃シナリオ：デジタルアシスタントを広範囲に操る攻撃者が、有力政治家や企業経営者を巻き込み、スキャンダラスなやりとりを装った通話内容を「漏洩」させます。偽装された音声データには、隠し音声コマンドが埋め込まれています。通話内容は、国内外のテレビチャンネルのイブニングニュースで放送されます。攻撃者は大規模なスケールで、ホームアシスタントや他の音声認識制御システム（Siriなど）に対して音声コマンドを発行する能力を得ます。これが可用性に対する攻撃です。
これも理論上だけの攻撃です。しかし、Siriがほぼランダムにトリガーされるという報告（英語）は絶えず寄せられています。音声起動デバイスの急速な普及により、このような攻撃にとって格好の標的が増え続けているのです。
可用性に対する攻撃シナリオ：フェイクニュース検出システムを回避して政治的発言を改ざんする
フェイクニュースの検出機能は自動化するのが比較的難しく、このソリューションはまだ開発の初期段階にあります。これらの技術が向上し、人々が信頼できるフェイクニュース検出サービスによる判断に頼るようになり、めったに騙さないようになった時に、政治的または社会的談話に虚偽の発言を挿入することは攻撃者にとって理想的な戦略と言えます。そのようなシナリオでは、攻撃者は現在の出来事に基づいて架空のニュース記事を作成し、それを敵対的なものに改ざんして、高く評価されている既存のフェイクニュース検出システムを回避するでしょう。次に、その記事はソーシャルメディアへと受け継がれていきます。そこでは、人々によって事実確認される前にウイルスのように拡散していきます。これは可用性に対する攻撃です。
この手の攻撃が実際に発生するのはまだ遠い先にように思えるかもしれませんが、技術的にはこれまでの攻撃からの比較的単純な発展形に過ぎません。
自然言語処理（NLP）モデルは、コンピュータが人間の言語を理解するのを支援するために今日広く使用されています。最近、UCLAの研究者と一緒にInternational Conference on Learning Representations（表現学習に関する国際会議）に出席している匿名の研究者が、同義語を使用することでNLPモデルを比較的簡単にだます手法を実証しています。
最新の研究では、この手法のソーシャルメディアでの組織的宣伝への使用を示唆しており（英語）、すでに歴史的な選挙に影響を与えているかもしれません。そのため、近い将来には、迅速な検出を回避できる新しい手法が使用されることを想定する必要があります。
攻撃シナリオ：軍用無人偵察機をハイジャックする
強化学習モデルに対して敵対的攻撃を加えることにより、自律型軍用無人偵察機は一連の意図しない標的への攻撃を強要され、財産の破壊、人命の犠牲、および軍事紛争の拡大を引き起こします。これは可用性に対する攻撃です。
これは、SFや007映画を模倣しているように見える例です。しかし、今日では、ビデオゲームで攻撃に使用しているプロセスをそのまま利用することが可能になっています。
強化学習は、「レコメンデーションシステム、自動運転車、ロボット工学、およびゲーム」においてトレーニングに使用され、それらの環境に基づいて行動を起こします。
この調査報告書では、この注目すべき攻撃が実行されると、強化モデルに対する複数の入力データが汚染されミッションの達成が阻止されてしまうと解説しています。「たとえば、スーパーマリオを動かしているエージェントを攻撃して、マリオをその場で走らせたり、前進させずに逆戻りさせることもできます。」と指摘しています。
攻撃者は、マリオと同じように操作してドローンを墜落させます。
マシンよ、人を警戒せよ
AIは人間の心を代替しようとする試みですが、まだ実現していません。人間は、まだ自分たちが創造したものを操ることができます。
これまで説明した攻撃はすでにひとつの産業を形成しており、今後とも拡大していくことでしょう。
「したがって現状のAIは、人がマシンを恐れるべきというよりは、マシンが人を恐れるべき状況にあると言えます。」とAndyは締めくくっています。
これまでに確認されているAIへの攻撃のタイプとクラスの詳細については、SHERPAレポートの第3章をご覧ください。
