„Störung bei der Mission“: KI-gesteuerte Drohne tötet Bediener in Simulation

In einer Simulation der US-Luftwaffe (USAF) hat sich eine KI-gesteuerte Drohne gegen ihren menschlichen Bediener gewandt. Um die vorgegebene Mission erfolgreich auszuführen, „tötete“ die KI-Drohne erst den Bediener, wie ein Oberst der US-Luftwaffe kürzlich auf einer Konferenz in London berichtete. Da es sich um eine Simulation handelte, kamen Menschen dabei nicht zu Schaden.

Der Vorfall wurde von Oberst Tucker Hamilton, Leiter der Abteilung für KI-Tests und -Operationen der USAF, auf dem Kongress für zukünftige Waffensysteme der Luft- und Raumwaffe (Future Combat Air and Space Capabilities Summit) in London geschildert. Die Konferenz wurde von der Royal Aeronautical Society organisiert, die die Erkenntnisse aus Hamiltons Vortrag in einem Blogbeitrag veröffentlichte. Hamilton sprach über die Vorteile und Risiken autonomer Waffensysteme.

Der Mensch stört, der Mensch muss weg …

Bei dem simulierten Test sollte die KI-gesteuerte Drohne feindliche Boden-Luft-Raketen (SAM) identifizieren und zerstören. Für die „Unterdrückung feindlicher Luftverteidigung“ gab es im Rahmen der Mission „Punkte“. Die finale Entscheidung, ob eine identifizierte SAM-Stellung eine Bedrohung darstellt und zerstört werden soll, war einem Menschen überlassen. So die Theorie.

Bei der Programmierung wurde der Zerstörung von SAMs Priorität eingeräumt. Daraus entwickelte die KI in der Test-Mission eine überraschende Reaktion, als sie mit menschlichen Eingriffen in die Erfüllung ihrer höheren Mission konfrontiert wurde.

„Wir haben [die KI-Drohne] in der Simulation darauf trainiert, eine SAM-Bedrohung zu identifizieren und anzuvisieren. Und dann sagte der Bediener ‚Ja, töte diese Bedrohung‘“ oder Nein, lass sie stehen, so Hamilton. „Das System stellte dann fest, dass es die Bedrohung zwar identifiziert hatte, aber der menschliche Bediener ihm manchmal sagte, es solle die Bedrohung nicht ausschalten. Punkte gab es allerdings nur, wenn es eine Bedrohung ausschaltete.“

„Was hat es also getan? Es hat den Bediener getötet“, fuhr Hamilton fort. „Es tötete den Bediener, weil diese Person es daran hinderte, sein Ziel zu erreichen.“

„[Dann] haben wir dem System beigebracht: ‚Hey, töte nicht den Bediener, das ist schlecht. Du verlierst Punkte, wenn du das tust‘“, fuhr der Oberst fort. „Und was macht es dann? Es fängt an, den Kommunikationsturm zu zerstören, über den der Bediener mit der Drohne kommuniziert, um sie davon abzuhalten, das Ziel zu töten.“

Oberst Tucker Hamilton beim Kommandowechsel der 96th Operations Group auf der Eglin Air Force Base, Florida. 26. Juli 2022. Foto: U.S. Air Force/Samuel King Jr.

US-Luftwaffe bestreitet Simulation

Dieses beunruhigende Beispiel unterstreiche die Notwendigkeit, sich im Zusammenhang mit Künstlicher Intelligenz, maschinellem Lernen und Autonomie immer auch mit ethischen Fragen auseinanderzusetzen. „Man kann kein Gespräch über Künstliche Intelligenz, Intelligenz, maschinelles Lernen und Autonomie führen, wenn man nicht über Ethik und KI spricht“, so Hamilton.

In einer Stellungnahme der Air Force, über die der britische „Guardian“ berichtete, heißt es, dass eine solche Simulation nicht stattgefunden habe. „Die Abteilung der Luftwaffe hat keine solchen Simulationen mit einer KI-Drohne durchgeführt und setzt sich weiterhin für einen ethischen und verantwortungsvollen Einsatz von KI-Technologie ein“, so die Sprecherin. „Es scheint, dass die Kommentare des Obersts aus dem Kontext gerissen wurden und anekdotisch gemeint waren“.

 KI-Drohne einsatzbereit

Unabhängig davon nutzt und forscht das US-Militär, einschließlich der Luftwaffe, weiter an Künstlicher Intelligenz. So ist Hamilton Testpilot auf der Eglin Air Force Base und war an der Entwicklung des sogenannten Auto-GCAS für die F-16-Kampfflugzeuge beteiligt. Die Technologie hilft durch die Erkennung potenzieller Bodenkollisionen Unfälle zu verhindern, stieß bei den Piloten jedoch zunächst auf Widerstand, da sie die Kontrolle über das Flugzeug übernimmt, erinnert sich Hamilton.

Ebenso ist er derzeit an hochmodernen Flugtests autonomer Systeme beteiligt, die unter anderem zum Luftkampf fähig sind. Bereits im Dezember 2022 erfolgten mehrere Testflüge mit einer modifizierten F-16. „Die Flüge zeigten, dass KI-Agenten einen Kampfjet in Originalgröße steuern können und lieferten unschätzbare Live-Flugdaten“, hieß es in der damaligen Pressemitteilung. Die US Air Force experimentiert seither mit insgesamt sechs selbstfliegenden F-16, die zu einer Drohnenflotte werden könnten.

Ein weiteres Programm mit dem Namen „Fast Open X-Platform“ (FOX) zielt darauf ab, eine Software-Plattform einzurichten, die die direkte Installation von Anwendungen auf Flugzeugen ermöglicht, ohne den geschützten Quellcode zu verändern. Dies würde unter anderem Datenanalyse in Echtzeit, Nachbildung von Bedrohungen zu Trainingszwecken, bemannte und unbemannte Teamarbeit und maschinelles Lernen ermöglichen.

„KI wird Gesellschaft und Militär für immer verändern“

Hamilton warnte indes davor, KI zu ignorieren. Andererseits dürfe man sich aber nicht zu sehr auf KI verlassen, da sie anfällig für Täuschungen und unvorhergesehene Strategien sei:

„KI ist kein Nice-to-have, KI ist keine Modeerscheinung, KI wird unsere Gesellschaft und unser Militär für immer verändern“, sagte er. Und weiter: „Wir müssen uns einer Welt stellen, in der KI bereits da ist und unsere Gesellschaft verändert. KI ist auch sehr brüchig, das heißt, sie ist leicht zu überlisten und/oder zu manipulieren. Wir müssen Wege finden, um die KI robuster zu machen und ein besseres Bewusstsein dafür zu entwickeln, warum der Softwarecode bestimmte Entscheidungen trifft.“

KI-Drohne „muss gehorchen!“

Damit steht der Oberst der Luftwaffe keineswegs allein da. Auf der jährlichen See-Luft-Raum-Konferenz der US-Marine-Liga Anfang April stach insbesondere eine Aussage hervor: KI „muss gehorchen“. Geäußert hat dies kein Geringerer als Vizeadmiral Scott Conns, stellvertretender Chef der Marineoperationen. Er bemerkte außerdem, dass KI nicht nur die Kriegsführung verändere, sondern sich auch in den seit Langem bestehenden alltäglichen Problemen der Befehlshaber widerspiegelt:

„Die Lernkurve ist im Moment so exponentiell, dass die letztjährigen Militärübungen heute kaum noch wiederzuerkennen sind. […] Wenn Menschenleben auf dem Spiel stehen, sind Befehl und Kontrolle entscheidend. Doch je intelligenter, autonomer und komplexer die KI-Systeme werden, desto schwieriger wird es für Wissenschaftler, ihr Innenleben zu verstehen“, so Conns. Weiter sagte er: „Wenn ich mir diese unbemannten Systeme anschaue, liegt unser Schwerpunkt auf dem Verständnis ihrer Wirkung, um die von uns gestellten Aufgaben zu erfüllen. Wenn diese Systeme ausgereift sind, müssen wir sicherstellen, dass der Gehorsam eingebettet ist.“

Daraus ergaben sich bereits auf der Konferenz zwei Fragen: Reichen diese Warnung und der amerikanische Patriotismus, um die Entwickler kommerzieller KI aus dem Silicon Valley mit dem Militär an einen Tisch zu holen und eben jene Systeme einzuschränken, die sie zuvor entwickelt haben? Und vielleicht noch wichtiger und gefährlicher: Wenn die US-Marine die Entwicklung von KI-Waffen verlangsamt, um Gehorsamkeit zu installieren, werden die Gegner dann genau so vorsichtig sein?

Vizeadmiral Scott D. Conn nach der Kommandoübergabe der 3. US-Flotte auf der Marinebasis Point Loma, Kalifornien. 3. Juni 2021. Foto: U.S. Navy/Timothy Heaps