ChatGPT zu Kapitän: „Sicherheitsrelevante Entscheidungen sollten Menschen treffen“

Welche Entscheidungen darf eine Künstliche Intelligenz treffen? Diese Frage ist nicht erst seit ChatGPT Gegenstand unzähliger Diskussionen. Schon seit Jahren stellt die Ethik eines autonomen Autos die Entwickler vor scheinbar unlösbare Probleme. Um einiges größer war das Fahrzeug, dem eine vermeintliche KI kürzlich den Kurs weisen sollte. Angesichts der Wortwahl sowie der Anweisung selbst wurde der Kapitän des Frachtschiffs jedoch stutzig.

Wie Kapitän John Konrad auf seinem Blog „gCaptain“ berichtete, betraf der Vorfall einen Kollegen, der einerseits um Anonymität bat und sich andererseits nicht an die Empfehlungen gehalten hat. Laut Konrad sei er jedoch besorgt, dass „andere nicht die gleiche Vorsicht walten lassen“.

Beunruhigender Bericht vom Kapitän

Im Rahmen der Routenplanung eines Schiffs prüfen die Schiffsoffiziere verschiedene Faktoren: Wetter, Strömung, Ladung, Zielhäfen und Passagen. Auch logistische Überlegungen fließen ein, um beispielsweise Be- und Entladen zu optimieren oder mögliche Gefahren zu minimieren. Im konkreten Fall hätten sich dabei „mehrere kleinere Sicherheitsbedenken bezüglich der Schiffsroute und der Ladung“ ergeben, schrieb Konrad.

Das ist an sich nicht ungewöhnlich. Geschieht dies, holt sich der Kapitän eine zweite Meinung ein. Auch in diesem Fall schickte er eine E-Mail an den Schiffseigner. Im Normalfall leitet dieser die Bedenken an einen erfahrenen Kapitän an Land, Logistiker und/oder Ingenieure weiter. Je nach ihrer Einschätzung der Lage geben sie dem Kapitän an Bord Hinweise zur Risikominimierung.

Nicht nur die Schnelligkeit der Antwort, auch die Formulierung ließ den ratsuchenden Kapitän jedoch nachdenklich werden. Der erste und letzte Absatz der Nachricht enthielt Höflichkeitsfloskeln, wie sie von einem Menschen geschrieben sein könnten, aber die Ratschläge „klingen, als hätte sie eine KI geschrieben“, zitiert Konrad. Darüber hinaus hätte die Umsetzung der Empfehlung eine Kursänderung während der Reise erforderlich gemacht.

„Als ehemaliger Kapitän kann ich bestätigen, dass die Ratschläge eher banal waren und das Schiff wahrscheinlich nicht in Gefahr brachten“, fasste Konrad die Lage zusammen. Zum jetzigen Zeitpunkt sei es jedoch „schwierig zu beweisen, dass die Nachricht von einer KI verfasst wurde, aber sie ist sicherlich in einem Stil verfasst, der dem von KI ähnelt.“ Weiter erklärte er:

„Der Sinn von internationalen Sicherheitsmanagementverfahren besteht darin, dass Kapitäne mit mehr Erfahrung an Land und andere, die möglicherweise kritische Informationen haben, die dem Kapitän noch vorbehalten sind, bestätigen können, dass keine unmittelbare Gefahr besteht.“

KI sagt, KI sollte das nicht tun

Angesichts der offenen Frage, von wem die fragwürdige Anweisung kam, wandte sich gCaptain selbst an eine KI und fragte ChatGPT: „Ist es in Ordnung, dass ChatGPT über sicherheitskritische Vorgänge wie die Planung von Schiffsreisen berät?“ Die Antwort der KI lautete:

Als KI-Sprachmodell ist ChatGPT nicht dafür ausgelegt oder zertifiziert, Ratschläge zu sicherheitskritischen Vorgängen wie der Reiseplanung von Schiffen zu geben. ChatGPT kann zwar Text auf der Grundlage der empfangenen Eingaben generieren, aber sein Verständnis für komplexe, reale Situationen und Sicherheitsüberlegungen ist begrenzt.

Sicherheitskritische Vorgänge wie die Planung von Schiffsreisen erfordern das Fachwissen und das Urteilsvermögen erfahrener Fachleute, die Risiken und Unwägbarkeiten umfassend bewerten können. Wenn man sich bei solchen Vorgängen auf KI-generierte Ratschläge verlässt, könnte dies zu potenziell gefährlichen Situationen und unbeabsichtigten Folgen führen. Es ist unerlässlich, dass alle Ratschläge oder Vorschläge von KI-Systemen von qualifizierten menschlichen Experten sorgfältig bewertet und überprüft werden, bevor sie umgesetzt werden, insbesondere in sicherheitskritischen Bereichen.“

Mit anderen Worten, sicherheitsrelevante Entscheidungen und kritisches Denken bleibt den Menschen vorbehalten – auch und besonders dann, wenn diese oft mit Papierkram überfordert seien.

Hätte der Kapitän die Vorschläge der KI umgesetzt und es wäre zu einem Schaden gekommen, stellt sich die Frage, wer dafür verantwortlich zu machen wäre: der Kapitän, der das Schiff gesteuert hat, der Schiffseigner, der die KI gefragt hat, oder sogar der Entwickler, der die KI programmiert hat?

Neue Arbeitsplätze – für Menschen

Kapitän Konrad sieht jedoch auch positive Aspekte an der KI. Sie habe das „Potenzial, bei der Reiseplanung Gefahren und Möglichkeiten zur Risikominderung zu entdecken, die Menschen möglicherweise übersehen.“ Darüber habe der Blog ebenfalls bereits Berichte erhalten. Das Verbot von KI bei der Routenplanung oder generelles Misstrauen „könnte Schiffskapitäne davon abhalten, sie zu nutzen und eine neue Lösung zu finden, die die Sicherheit ihrer Mannschaft gewährleistet“.

Darin sieht Konrad sogar zusätzliche Arbeitsplätze, wenn – neben der bisherigen menschlichen Überprüfung – eine zweite Überprüfung mithilfe einer KI stattfinde. Dies bedürfe wiederum eines erfahrenen Kapitäns sowie eines Fachmanns für KI, der die richtigen Fragen stellt.

Allerdings könnte eine KI wie ChatGPT dabei schnell an ihre Grenzen stoßen, wie Epoch Times selbst erfahren musste. Gefragt nach den Quellen für eine (nicht sicherheitsrelevante) Antwort, schrieb ChatGPT: „Als Sprachmodell habe ich keine spezifischen Quellen […]. Es handelt sich jedoch um eine hypothetische Situation.“