Diese 5 Angriffe auf KI-Systeme zeigen, dass Maschinen mehr Angst vor Menschen haben sollten als umgekehrt

Ein gutes Beispiel für die noch immer unübertroffene Vorstellungskraft des Menschen ist das Konzept von künstlich intelligenten Maschinen, die die Menschheit angreifen, dominieren und schlimmstenfalls sogar versklaven könnten. Bisher ist nur das genaue Gegenteil der Fall.

Der Begriff „künstliche Intelligenz“ wird heutzutage mit „Machine Learning“ gleichgesetzt

„Die meisten Menschen assoziieren die vermeintlichen Gefahren von künstlicher Intelligenz mit solchen Dingen wie Killerrobotern, da sie Machine-Learning-Systeme mit der „allwissenden“ KI verwechseln, die sie aus dem Fernsehen oder aus Filmen kennen. Allerdings handelt es sich dabei um etwas ganz anderes und um einiges Fortschrittlicheres, als die Systeme und Prozesse, die heute im Einsatz sind. Im Grunde genommen wird der KI-Begriff heutzutage synonym zum Machine Learning verwendet und bezeichnet nur eine Funktion, auf deren selbstständige Ausführung hin ein Computer trainiert wurde“, erklärt Andy Patel.

Andy ist Forscher im Kompetenzzentrum für künstliche Intelligenz bei F-Secure und hat in der neuen SHERPA-Studie „Security Issues, Dangers and Implications of Smart Information Systems“ viel dazu beigetragen. Die EU-finanzierte Forschungsgruppe SHERPA wurde 2018 von 11 Organisationen aus 6 verschiedenen Ländern gegründet.

Was wir aus KI-Angriffsszenarien lernen können

Im Abschnitt „Adversarial attacks against AI“ erläutert die Studie verschiedene Ansätze, wie KI-Systeme heute oder in Zukunft angegriffen werden könnten. Während einige der beschriebenen Angriffsszenarien hauptsächlich theoretisch bleiben, sind viele andere bereits möglich und finden in dieser Form schon länger statt. Weitere sind unvermeidlich: Sie entstehen häufig aus der Eile von Unternehmen heraus, ihre Produkte schnellstmöglich auf den Markt bringen zu müssen – ungeachtet der bekannten und (noch) unbekannten Schwachstellen.

Nachdem die Studie verschiedene Arten und Klassen von Angriffen gegen KI-Systeme aufzählt, beleuchtet sie eine Reihe von Szenarien, um KI-Forschern, Ingenieuren, Politikern und weiteren interessierten Personen ein Gespür dafür zu geben, was aktuell alles im Bereich des Möglichen oder für die Zukunft bereits absehbar ist.

Angriffsszenario: Diskreditierung eines Unternehmens oder einer Marke durch die Manipulation der Auto-Vervollständigungsfunktion einer Suchmaschine

Ein Angreifer initiiert eine Sybil-Attacke, um die Autovervollständigungsfunktion einer Suchmaschine so zu manipulieren, dass diese beispielsweise einen gesuchten Unternehmensnamen automatisch um das Wort „Betrug“ erweitert. Das Unternehmen als Angriffsziel bemerkt die Attacke zunächst nicht, bis es sie irgendwann entdeckt und beheben lässt. Der Schaden ist jedoch bereits angerichtet und das geschädigte Unternehmen begleiten im schlimmsten Fall langfristige negative Imageprobleme. Solche Angriffe sind bereits heute möglich.

Sybil-Attacken verwenden viele verschiedene Fake-Konten, um die Integrität eines Unternehmens zu schädigen.

Sie können zum Beispiel zum Einsatz kommen, wenn Produkte oder Inhalte in Suchergebnissen oder Online-Rankings gezielt auf- oder abgewertet werden sollen. Auch für Social-Engineering-Zwecke werden sie bereits verwendet.

Diese Form von Angriffen ist so häufig, dass bereits eine ganze Branche existiert, die diese unterstützt und einsetzt.

Angriffsszenario: Gezielte Angriffe auf Privatpersonen durch versteckte Sprachbefehle

Ein Angreifer bettet versteckte Sprachbefehle in Videoinhalte ein, die er dann auf einem Videoportal hochlädt und mit Hilfe eines Sybil-Angriffes künstlich bewirbt. Die im Video versteckten Sprachbefehle fordern dann einen Sprachassistenten unbemerkt dazu auf, ein bestimmtes Produkt zu kaufen oder Änderungen im Smart Home vorzunehmen (z. B. Die Heizung einschalten, das Licht ausschalten oder die Haustür öffnen). Außerdem könnte durch Sprachbefehle ein Computer in der Nähe dazu angewiesen werden, nach belastenden Inhalten wie Drogen oder Kinderpornographie zu suchen, zu denen der Angreifer das Opfer später erpressen kann. Hierbei handelt es sich um eine „Availability Attack“.

Bisher gab es weltweit noch keinen registrierten Angriff dieser Art. Forscher des Horst-Görtz-Instituts für IT-Sicherheit in Bochum haben jedoch 2018 in einer Testumgebung nachgewiesen, dass solche psychoakustischen Angriffe gegen Sprachassistenten und Spracherkennungssysteme im Bereich des Möglichen liegen. In ihrem Versuchsaufbau verbargen sie eindeutige Sprachbefehle in einer Aufnahme von Vogelgezwitscher.

Angriffsszenario: Weitreichende Kontrolle von digitalen Sprachassistenten

Ein Angreifer fälscht ein glaubwürdiges „geleaktes“ Telefonat, in dem ein brisantes Gespräch zwischen hochrangigen Politikern oder Geschäftsleuten festgehalten wurde. Die Audiodatei enthält jedoch versteckt eingebettete Sprachbefehle. Der vermeintliche Mitschnitt wird national und international im Fernsehen übertragen. Auf diese Weise verschafft sich der Angreifer „Zutritt“ zu unzähligen Wohnzimmern und erhält dadurch die Möglichkeit, die eingebetteten Sprachbefehle an Sprachassistenten oder andere Spracherkennungssysteme im großen Umfang auszuspielen. Hierbei handelt es sich um eine „Availability Attack“.

Bei diesem geschilderten Szenario handelt es sich bisher zwar ebenfalls um einen theoretischen Angriff, weltweit existieren jedoch bereits zahlreiche Berichte über nahezu zufällige Aktivierungen von Sprachassistenten wie Siri. Die schnelle und zunehmende Verbreitung solcher Assistenz-Systeme schafft auf jeden Fall immer neue Ziele für solche Angriffe.

Angriffsszenario: Erkennungssysteme von Fake-News umgehen, um den politischen Diskurs zu beeinflussen

Die automatische Erkennung von Fake News ist technisch relativ schwierig zu realisieren. Die meisten solcher Lösungen stecken bisher noch in den Kinderschuhen. Während sich diese Technologien also stetig weiterentwickeln und sich Nutzer erst nach und nach damit anfreunden, auf das Urteil solcher Lösungen zu vertrauen, können Angreifer unregelmäßig und zu strategisch passenden Zeitpunkten in das Geschehen eingreifen, um falsche Narrative durch den Filter in den politischen oder sozialen Diskurs zu schleusen.

Das mag zwar weit hergeholt klingen, am Ende sind solche Angriffe aber nur einen kleinen technologischen Schritt von Attacken entfernt, die es so oder so ähnlich bereits gibt.

Systeme für Natural Language Processing (NLP) werden heute vor allem dafür eingesetzt, Computern das Verständnis der menschlichen Sprache zu erleichtern. Auf der International Conference on Learning Representations haben kürzlich anonyme Forscher gemeinsam mit Forschern der University of California gezeigt, wie sich solche NLP-Systeme durch die Verwendung von Synonymen täuschen oder umgehen lassen.

Eine neue Studie legt außerdem nahe, dass die Streuung von propagandistischem Material über soziale Netzwerke bereits eine sehr große Wahl beeinflusst hat. Wir müssen also davon ausgehen, dass auch in Zukunft neue Techniken zum Einsatz kommen, die von automatischen Erkennungssystemen nicht als Fake News wahrgenommen werden können.

Angriffsszenario: Entführung autonomer Militärdrohnen

Wird eine gegnerische Attacke gegen ein sogenanntes „Reinforcement Learning Model“ gerichtet, könnten autonome Militärdrohnen dazu gebracht werden, unvorhergesehene Ziele anzugreifen. Dies könnte zur Zerstörung von persönlichem Eigentum, zu Toten und Verletzten sowie zur Eskalation eines militärischen Konflikts führen. 

Dieses Beispiel scheint am ehesten aus einem Science-Fiction- oder Bond-Film abgekupfert. Dabei ist ein solche Szenario heute schon denkbar – und zwar, indem sich Angreifer die selben Prozesse zu Nutze machen, die sie auch zum Hack eines Videospiels anwenden könnten.

Reinforcement Learning-Modelle werden verwendet um Empfehlungssysteme, autonome Fahrzeuge, Robotik und Videospiele daraufhin zu trainieren, gewisse Aktionen basierend auf ihrer jeweiligen Umgebung auszuführen.

Der SHERPA-Bericht zeigt auf, dass ausgeklügelte Angriffe auf Reinforcement-Learning-Modelle Eingabebefehle dahingehend manipulieren können, dass das Erreichen des vorgesehenen Zieles verhindert wird. Zum Beispiel könnte ein ausgeklügelter Angriff auf einen automatisieren Prozess, der auf das Spielen von „Super Mario“ trainiert ist, diesen dazu bringen, mit Mario an Ort und Stelle zu laufen oder sich rückwärts statt vorwärts zu bewegen.

Und anstatt Marios Weg durch die Spielwelt zu manipulieren, könnte der Angreifer auf dem selben Wege auch eine Drohne übernehmen.

Warum Maschinen Angst vor Menschen haben sollten

Künstliche Intelligenz ist zwar eine Erfindung des menschlichen Verstands, aber noch kein genaues Abbild ebenjenem. Was wir geschaffen haben, können wir immer noch überlisten.

Angriffe auf KI-Systeme haben bereits eine Branche entstehen lassen. Viele weitere werden folgen.

„Zur aktuellen Realität von KI könnte man also fast sagen, dass die Maschinen mehr Angst vor Menschen haben sollten als umgekehrt“, so Andy.

Ausführliche Informationen zu den Arten und Klassen der bisher identifizierten KI-Angriffe finden Sie in Abschnitt 3 des SHERPA-Berichts.