Zum Hauptinhalt springen

Autonomes FahrenSo lassen sich auch intelligente Roboter austricksen

KI-Forscher zeigen, wie man Roboter und selbstfahrende Autos reinlegen kann. Ungewohntes Verhalten von Menschen könnte zu gefährlichen Reaktionen der Software führen.

Ein selbstfahrendes Auto der amerikanischen Handelskette Kroger Co. wird mit Lebensmitteln beladen, die es zu einer Kunden befördern wird.
Ein selbstfahrendes Auto der amerikanischen Handelskette Kroger Co. wird mit Lebensmitteln beladen, die es zu einer Kunden befördern wird.
Foto: PD

Der Passant winkt wie verrückt, zappelt mit den Beinen und sinkt auf das Trottoir nieder. Das selbstfahrende Auto auf der anderen Strassenseite legt daraufhin den Rückwärtsgang ein – so abrupt, dass der Wagen dahinter in das Heck kracht. Das ist bisher nur ein theoretisches Szenario. «Aber in Zukunft könnten solche Attacken auf selbstfahrende Autos möglich sein», sagt Adam Gleave von der University of California in Berkeley. Zusammen mit Kollegen hat der Informatiker jene Algorithmen ausgetrickst, die künftig unter anderem autonome Fahrzeuge durch Innenstädte lotsen sollen.

Die Technologie, die Gleave herausfordert, heisst Reinforcement Learning, zu Deutsch etwa «be- oder verstärkendes Lernen». Dabei erlernt eine Software durch Belohnen und Bestrafen selbstständig, wie sie sich in der Umwelt verhalten sollte. Bekannt wurde Reinforcement Learning unter anderem durch Alpha Zero, ein Programm der Google-Tochter Deepmind. Es lernt innerhalb weniger Stunden Brettspiele von der Pike auf – und schlägt schliesslich die besten menschlichen Gegner.

KI-Forscher versprechen sich viel von der Technik. Sie steuert zum Beispiel Roboter und könnte künftig autonome Autos in der Spur halten. Selbstfahrende Fahrzeuge basieren auf mehreren Systemen: Der Bordcomputer muss – vereinfacht gesagt – sehen, hören, sich erinnern und entscheiden können. Dass er sich dabei täuschen lässt, ist bekannt. Bisher galten die «gezielten Attacken», wie Entwickler sagen, jedoch vornehmlich den künstlichen neuronalen Netzen, gewissermassen den Sehzentren der Systeme. So sorgten zum Beispiel kleine Aufkleber auf Stoppschildern dafür, dass der Fahrzeugcomputer diese für Geschwindigkeitsbegrenzungen hielt.

Golden Retriever oder Flugzeug? Banane oder Toaster?

Das Sehen bereitet vielen Algorithmen Probleme. Als künstliche neuronale Netze immer öfter eingesetzt wurden, um Bilder zu klassifizieren, begannen Informatiker, erstaunliche Lücken zu entdecken: Die Netze hielten Golden Retriever für Flugzeuge, Bananen für Toaster oder eben Stoppschilder für Tempolimits – nur weil einige wenige Details verändert waren. Tatsächlich stützt die Software ihre Entscheidungen unter anderem auf kleinen Strukturen ab, einigen wenigen Pixeln. Werden genau diese geändert, kann das die Software täuschen.

Gleaves Angriffe zielen jedoch – bildlich gesprochen – nicht auf das Sehzentrum der selbstlernenden Software, sondern auf die Entscheidungsstruktur. Er bringt das Reinforcement Learning durch das Verhalten anderer Akteure aus dem Konzept, «Verhaltensattacken» nennt der Informatiker das. Die künstliche Intelligenz erkennt zappelnde Menschen klar und deutlich, kann jedoch mit diesen Eindrücken nichts anfangen und weiss nicht, wie sie reagieren soll.

Aus Gleaves Sicht sind «Verhaltensattacken» eine grössere Bedrohung für Künstliche Intelligenz als optische Täuschungen. Hinzu komme, dass ein Roboter oder ein autonomes Fahrzeug nicht nur optische Sensoren hat, sondern zum Beispiel auch Geräusche wahrnimmt: Hält der Bordcomputer einen Zebrastreifen für eine gewöhnliche Fahrbahnmarkierung, hört er dennoch die Stimmen der Menschen auf der Strasse und kann rechtzeitig bremsen. Tanzen die Passanten aber plötzlich Tango, wird es schwierig: Der Computer kennt keine vergleichbare Situation – und kann sich nicht wie bei optischen Täuschungen auf andere Sinnesorgane verlassen.

«Das grösste Problem dieser Technik ist, dass ihre Entscheidungen nicht nachvollziehbar sind.»

Karsten Roscher, Fraunhofer-Institut für Kognitive Systeme

In manchen von Gleaves Simulationen hatten Roboter zum Beispiel gelernt, Elfmeter zu schiessen. Nach etwas Übung trafen die virtuellen Fussballer fast immer. Als sich aber der Torwart zappelnd auf den Boden legte, begannen die Roboter auf der Stelle zu trippeln, manche fielen um, andere liefen rückwärts. «Ob Reinforcement Learning in der Praxis genauso leicht getäuscht werden kann, muss allerdings erst noch erforscht werden», sagt Karsten Roscher vom Fraunhofer-Institut für Kognitive Systeme (IKS). Im Vergleich zu den Simulationen entscheiden sich echte Roboter oder autonome Fahrzeuge auf der Grundlage vieler unterschiedlicher Daten – ein zappelnder Passant auf dem Bürgersteig fiele womöglich kaum ins Gewicht.

Bis das Reinforcement Learning Autos durch Innenstädte lotst, könnte es ohnehin noch eine Weile dauern. Auch wenn das englische Start-up Wayve behauptet, mit Prototypen bereits so weit zu sein. «Es sind nicht genügend technische Details öffentlich verfügbar, um diese Behauptung zu überprüfen», sagt Adam Gleave. Ähnlich verhält es sich mit Lieferwagen des Start-ups Nuro aus den USA, die Medikamente vor die Haustür bringen sollen. Eine Unternehmenssprecherin beteuert zwar, Nuro nutze Reinforcement Learning. Doch überprüfen lässt sich auch das nicht.

«Das grösste Problem dieser Technik ist, dass ihre Entscheidungen nicht nachvollziehbar sind», sagt Karsten Roscher vom IKS. Der Abteilungsleiter für zertifizierbare künstliche Intelligenz weist darauf hin, dass man den Algorithmen ein enges Korsett anlegen muss, damit sie die hohen Sicherheitsstandards im Strassenverkehr erfüllen. Die Programme würden dann nicht vollständig autonom entscheiden, sondern aus vorgegebenen Alternativen wählen. Der plötzliche Rückwärtsgang im fliessenden Verkehr stünde dann hoffentlich nicht zur Wahl.