Author: Gerd Gigerenzer
Date: 2021-08-16T13:50:33+00:00
Publisher: C.Bertelsmann Verlag

GERD

GIGERENZER

KLICK

Wie wir in einer digitalen

Welt die Kontrolle behalten
und die richtigen

Entscheidungen treffen

Aus dem Englischen übertragen
von Hainer Kober

C. Bertelsmann

Die Originalausgabe erschien 2022 unter dem Titel

»How to Remain Smart in a Smart World« bei Penguin, London.

Der Inhalt dieses E-Books ist urheberrechtlich geschützt und enthält technische Sicherungsmaßnahmen gegen unbefugte Nutzung. Die Entfernung dieser Sicherung sowie die Nutzung durch unbefugte Verarbeitung, Vervielfältigung, Verbreitung oder öffentliche Zugänglichmachung, insbesondere in elektronischer Form, ist untersagt und kann straf- und zivilrechtliche Sanktionen nach sich ziehen.

Sollte diese Publikation Links auf Webseiten Dritter enthalten, so übernehmen wir für deren Inhalte keine Haftung, da wir uns diese nicht zu eigen machen, sondern lediglich auf deren Stand zum Zeitpunkt der Erstveröffentlichung verweisen.

© 2021 by Gerd Gigerenzer

© 2021 für die deutschsprachige Ausgabe
by C. Bertelsmann Verlag, München,
in der Penguin Random House Verlagsgruppe GmbH,

Neumarkter Straße 28, 81673 München

Covergestaltung: Büro Jorge Schmidt, München

Covermotive: © Boyko.Pictures/shutterstock;

© M-O Vector/shutterstock

Satz: Leingärtner, Nabburg

ISBN 978-3-641-27736-9

V004
www.cbertelsmann.de

BUCH

Wie groß ist die Chance, beim Online-Dating den Partner fürs Leben zu treffen? Was genau zeichnen die smarten Geräte bei uns zu Hause auf? Gehört dem autonomen Fahren die Zukunft? Überhaupt: Wo sind Algorithmen besser als der Mensch, wo aber nicht? Der weltweit renommierte Psychologe und Risikoforscher Gerd Gigerenzer beschreibt in seinem neuen Buch anhand vieler konkreter Beispiele, wie wir lernen können, auch im digitalen Zeitalter souverän und digital mündig zu bleiben. Er zeigt uns, wie wir Chancen und Risiken von Algorithmen und Künstlicher Intelligenz für unser Leben richtig einschätzen und uns vor den Verlockungen sozialer Medien schützen können, kurz: wie wir digitale Intelligenz erwerben. Ein ebenso kluges wie farbig erzähltes Buch, das uns in der smarten neuen Welt souverän zu bleiben hilft.

AUTOR

Gerd Gigerenzer ist ein weltweit renommierter Psychologe, Direktor emeritus am Max-Planck-Institut für Bildungsforschung, Direktor des Harding Zentrums für Risikokompetenz und Mitgründer der Unternehmensberatung Simply Rational. Er hat zahlreiche internationale Auszeichnungen erhalten, u. a. den AAAS Preis für den besten Artikel in den Verhaltenswissenschaften, den Communicator-Preis und den Deutschen Psychologie-Preis. Seine populärwissenschaftlichen Bücher »Das Einmaleins der Skepsis« (2002) und »Bauchentscheidungen« (2007, ausgezeichnet sowohl als »Wissenschaftsbuch des Jahres« wie als »Wirtschaftsbuch des Jahres«) sowie »Risiko. Wie man die richtigen Entscheidungen trifft« (2013) fanden große Beachtung und sind internationale Bestseller. Das Gottlieb Duttweiler Institut hat Gigerenzer als einen der 100 einflussreichsten Denker der Welt bezeichnet.

Für Athena

INHALT

Einleitung

Teil 1  DER MENSCH UND DIE KI

1  Ist wahre Liebe nur einen Klick entfernt?

2  Was KI am besten kann: Das Prinzip der stabilen Welt

3  Maschinen beeinflussen unsere Vorstellung von Intelligenz

4  Sind selbstfahrende Autos zum Greifen nah?

5  Gesunder Menschenverstand und KI

6  Ein Datenpunkt kann Big Data schlagen

Teil 2  ES STEHT VIEL AUF DEM SPIEL

7  Transparenz

8  Schlafwandelnd in die Überwachung

9  Wie man Nutzer abhängig macht

10  Sicherheit und Selbstkontrolle

11  Fakt oder Fake?

Dank

Anmerkungen

Literatur

Bildteil

EINLEITUNG

Papa, als du jung warst, vor den Computern, wie bist du da ins Internet gekommen?

EIN SIEBENJÄHRIGER IN BOSTON[1]

Wenn Roboter alles machen, was machen wir dann?

EIN FÜNFJÄHRIGER IN PEKING[2]

Stellen Sie sich einen digitalen Assistenten vor, der alles besser macht als Sie. Egal, was Sie sagen, er weiß es besser. Egal, was Sie entscheiden, er wird Sie verbessern. Wenn Sie mit einem Plan fürs nächste Jahr kommen, er wird einen geeigneteren haben. Irgendwann geben Sie es auf, noch irgendwelche persönlichen Entscheidungen zu treffen. Von jetzt an kümmert sich die KI perfekt um alles – sie regelt Ihre Finanzen, schreibt Ihre Nachrichten, wählt Ihren Lebenspartner aus und plant, wann es am günstigsten ist, Kinder zu bekommen. An Ihrer Tür werden Pakete mit Waren abgeliefert, von denen Sie noch nicht einmal wussten, dass Sie sie brauchen. Vielleicht meldet sich eine Sozialarbeiterin bei Ihnen, weil der digitale Assistent vorausgesehen hat, dass Ihr Kind möglicherweise eine schwere Depression entwickelt. Und bevor Sie sich lange den Kopf zerbrechen, welcher politische Kandidat Ihnen mehr zusagt, weiß Ihr Assistent es schon und wählt für Sie. Es ist nur eine Frage der Zeit, bis Tech-Unternehmen Ihr Leben bestimmen und der getreue Assistent sich in eine Superintelligenz verwandelt. Wie eine Schafsherde werden unsere Enkelkinder ihrem neuen Herrn ehrfürchtig, brav und gehorsam folgen.

In den letzten Jahren habe ich bei vielen populärwissenschaftlichen Veranstaltungen über künstliche Intelligenz (KI) gesprochen und war immer wieder überrascht, wie verbreitet das bedingungslose Vertrauen in komplexe Algorithmen zu sein scheint. Gleich, um welches Thema es ging, die Vertreter der Tech-Unternehmen versicherten den Zuhörern, eine Maschine könne die anstehende Aufgabe genauer, schneller und billiger erledigen. Mehr noch, indem man Menschen durch Software ersetze, könne man die Welt besser und angenehmer machen. So hören wir beispielsweise, Google kenne uns besser als wir uns selbst und KI könne unser Verhalten fast perfekt vorhersagen oder werde es jedenfalls bald können. Tech-Unternehmen nehmen diese Fähigkeit für sich in Anspruch, wenn sie ihre Dienste Werbekunden, Versicherungen oder Geheimdiensten andienen. Auch wir neigen dazu, ihnen das zu glauben. Selbst Weltuntergangsszenarien in Filmen und Büchern schreiben KI fast Allwissenheit zu. Insofern gleichen sie einigen der erklärten Gegner der Branche, die KI als Inbegriff des bösen Überwachungskapitalismus und Gefahr für unsere Freiheit und Würde brandmarken.[3] Diese Überzeugung veranlasst manche Menschen, in Facebook eine Schrecken einflößende Überwachungsmaschine à la Orwell zu sehen. Datenlecks und der Skandal um Cambridge Analytica haben diese Sorge zu ängstlicher Ehrfurcht anwachsen lassen. Ob auf Glaube oder Furcht gegründet, das Argument bleibt immer gleich:

KI hat die größten Meister in Schach und Go besiegt.

Die Computerleistung verdoppelt sich alle zwei Jahre.

Deshalb werden Maschinen bald alles besser machen als Menschen.

Nennen wir es kurz das Maschine-über-Mensch-Argument. Die beiden Prämissen sind richtig, aber die Schlussfolgerung ist falsch.

Der Grund ist, dass Computer für bestimmte Probleme hervorragend geeignet sind, für andere nicht. Bislang hat KI ihre beeindruckendsten Siege in genau definierten Spielen mit exakten Regeln wie Schach und Go errungen und ähnlich gute Ergebnisse bei der Gesichts- und Stimmerkennung unter relativ unveränderten Bedingungen erzielt. Wenn die Umgebung stabil ist, kann KI Menschen übertreffen. Gleicht die Zukunft der Vergangenheit, erweist sich Big Data als äußerst nützlich. Doch wenn es zu Überraschungen kommt, kann Big Data – also Daten, die immer nur die Vergangenheit widerspiegeln können – uns in Hinblick auf die Zukunft in die Irre führen. 2008 verschliefen die Big-Data-Algorithmen die Finanzkrise, und 2016 sagten sie einen klaren Wahlsieg von Hillary Clinton voraus.

Tatsächlich sind viele Probleme, denen wir uns gegenübersehen, keine wohldefinierten Spiele, sondern Situationen, in denen Ungewissheit herrscht – wenn es beispielsweise darum geht, die wahre Liebe zu finden, das nächste Verbrechen vorauszusagen und in unerwarteten Notsituationen richtig zu reagieren. Hier können noch mehr Rechenleistung und noch größere Datenmengen nur begrenzt helfen. Menschen sind die Hauptquelle von Ungewissheit. Stellen Sie sich vor, wie viel schwieriger Schach wäre, wenn der König aus einer Laune heraus die Regeln verletzen und die Dame unter Protest das Brett verlassen könnte, nachdem sie die Türme in Brand gesteckt hat.

Die Einsicht, dass komplexe Algorithmen in stabilen Situationen Erfolg versprechen, aber bei Unsicherheit ins Schleudern geraten, verdeutlicht das zentrale Thema dieses Buchs, nämlich wie wir in einer smarten Welt smart bleiben können:

Smart bleiben heißt, die Möglichkeiten und Risiken von digitalen Technologien zu verstehen und entschlossen zu sein, in einer von Algorithmen bevölkerten Welt die Kontrolle zu behalten.

Sollen wir entspannt die Hände in den Schoß legen, während eine Software unsere persönlichen Entscheidungen trifft? Auf keinen Fall. Smart bleiben heißt nicht, der Technologie blind zu vertrauen, aber auch nicht, ihr ängstlich zu misstrauen. Vielmehr geht es darum zu verstehen, was KI leisten kann und was ins Fantasiereich von Marketing-Hype und techno-religiöser Träumerei gehört. Außerdem geht es um die persönliche Fähigkeit und Bereitschaft, die Technologie zu steuern, statt von ihr ferngesteuert zu werden.

Smart bleiben ist nicht mit den digitalen Fertigkeiten für die Verwendung von Technologien zu verwechseln. Weltweit bemüht man sich, mit neuen Lehrprogrammen digitale Fertigkeiten zu verbessern, indem man Tablets und smarte Whiteboards für Klassenräume anschafft und Schüler in ihrer Anwendung unterweist. Aber diese Programme machen Kinder und Jugendliche nur selten mit den Risiken der digitalen Technologie vertraut. Die erschreckende Folge ist, dass die meisten Digital Natives nie gelernt haben, versteckte Werbung von echten Nachrichten zu unterscheiden, und sich vielmehr vom äußerlichen Schein einer unseriösen Webseite beeindrucken lassen. Beispielsweise zeigte eine Studie, dass 96 Prozent der Digital Natives nicht in der Lage sind, die Vertrauenswürdigkeit einer Webseite zu beurteilen.[4]

Eine smarte Welt ist nicht nur die Ergänzung unseres Lebens durch smarte Fernseher, Online-Dating und technischen Schnickschnack. Sie ist eine Welt, die durch digitale Technologie verwandelt wird. Als die Tür zur smarten Welt zum ersten Mal aufgestoßen wurde, entwarfen viele das Bild eines Paradieses, in dem alle Zugang zum Baum wahrhaftiger Information hätten, und beschworen das Ende von Unwissenheit, Lügen und Korruption. Sie dachten, die Fakten über Klimawandel, Terrorismus, Steuerhinterziehung, Ausbeutung der Armen und Verletzung der Würde des Menschen kämen endlich auf den Tisch. Unmoralische Politiker und gierige Manager würden bloßgestellt und zum Rücktritt gezwungen. Regierungen würden daran gehindert, die Öffentlichkeit auszuspionieren und die Privatsphäre zu verletzen.

Bis zu einem gewissen Grad hat sich dieser Traum verwirklicht, wenn auch das Paradies nicht unverdorben blieb. Die Welt wird aber nicht einfach besser oder schlechter. Tatsächlich wandelt sich die Gesellschaft. Was wir für gut und schlecht halten, verändert sich. Beispielsweise waren die Menschen vor gar nicht so langer Zeit außerordentlich um ihre Privatsphäre besorgt und gingen auf die Straße, um gegen Regierungen und Unternehmen zu protestieren, die versuchten, sie zu überwachen und sich ihre persönlichen Daten zu beschaffen. Ein breites Spektrum von Aktivisten, jungen Liberalen und etablierten Organisationen protestierte heftig gegen die deutsche Volkszählung 1987, weil die Leute befürchteten, Computer könnten ihre Antworten deanonymisieren. Zornige Verweigerer bepflasterten die Berliner Mauer mit Tausenden von leeren Fragebögen. Bei der Volkszählung 2001 in Australien gaben 70 000 Befragte als Religion »Jedi« an (nach dem Film Star Wars). Und noch 2011 protestierten britische Bürger gegen Fragen, die ihre Privatsphäre verletzten, etwa wenn sie ihre Religionszugehörigkeit angeben sollten.[5] Wenn heute unser smartes Haus ununterbrochen aufzeichnet, was wir tun, selbst im Schlafzimmer, und die smarte Puppe unseres Kindes jedes Geheimnis aufzeichnet, das ihr anvertraut wird, zucken immer mehr nur die Achseln. Das Empfinden für Privatsphäre und Würde passt sich der Technik an oder wird möglicherweise obsolet. Einst war der Traum von Internet gleichbedeutend mit Freiheit; heute bedeutet Freiheit für viele Menschen kostenloses Internet.

Seit undenklichen Zeiten entwickeln die Menschen eindrucksvolle neue Technologien, von denen sie nicht immer klugen Gebrauch machen. Für die Nutzung der vielen Vorteile der Technologie brauchen wir Einsicht und Mut, um in einer smarten Welt smart zu bleiben. Jetzt ist nicht der Zeitpunkt, die Hände in den Schoß zu legen und uns zu entspannen, sondern die Augen aufzumachen und die Kontrolle zu behalten.

Die Kontrolle behalten

Wenn Sie kein unerschrockener Draufgänger sind, dürften Sie sich gelegentlich um Ihre Sicherheit sorgen. Was glauben Sie, welches Verhängnis wird in den nächsten zehn Jahren wahrscheinlicher sein?

•  Sie werden von einem Terroristen getötet.

•  Sie werden von einem Autofahrer getötet, der von einem Smartphone abgelenkt ist.

Wenn Sie sich für den terroristischen Anschlag entscheiden, gehören Sie zur Mehrheit. Seit dem Anschlag vom 11. September 2001 zeigen Umfragen in Deutschland und Nordamerika, dass nach Meinung vieler Menschen vom Terrorismus die größte Gefahr für ihr Leben ausgeht. Für einige ist das ihre größte Angst. Gleichzeitig geben die meisten ziemlich unbefangen zu, dass sie beim Fahren Nachrichten verschicken. In den zehn Jahren vor 2020 wurden in Deutschland durchschnittlich drei Menschen pro Jahr von islamistischen, rechtsextremen oder anderen Terroristen umgebracht. Im gleichen Zeitraum fielen jährlich mehr als 300 Menschen abgelenkten Autofahrern zum Opfer, die häufig auf ihrem Handy Nachrichten verschickten, lasen oder streamten. In den Vereinigten Staaten waren es 36 Terroristenopfer pro Jahr[6] und mehr als 3000 Menschen, die abgelenkten Autofahrern zum Opfer fielen.[7] Diese Ziffer entspricht der Opferzahl vom 11. September, aber pro Jahr.

Die meisten Amerikaner haben auch mehr Furcht vor Terrorismus als vor Waffen, obwohl es viel unwahrscheinlicher ist, dass sie von einem Terroristen erschossen werden als von einem Kind, das in ihrer Familie mit einer Waffe herumspielt. Wenn Sie nicht in Afghanistan oder Nigeria leben, ist die Wahrscheinlichkeit erheblich größer, durch einen abgelenkten Autofahrer – und das könnten Sie selbst sein – getötet zu werden. Das ist kein Wunder. Wenn ein 20-jähriger Fahrer ein Handy benutzt, fällt seine Reaktionszeit plötzlich auf die eines 70-Jährigen.[8] Ein Fall »spontaner Hirnalterung«.

Warum schreiben Menschen Nachrichten, während sie Auto fahren? Möglicherweise sind sie sich nicht bewusst, wie gefährlich es ist. Doch in einer Umfrage habe ich festgestellt, dass die meisten sehr wohl um die Gefahr wissen.[9] Hier handelt es sich nicht um mangelndes Bewusstsein, sondern um mangelnde Selbstbeherrschung. »Wenn eine Textnachricht reinkommt, muss ich einfach nachsehen, egal, was ist«, erklärte ein Student. Die Selbstbeherrschung ist noch erschwert worden, seit Plattformen Benachrichtigungen, Likes und andere psychologische Tricks eingeführt haben, damit sich die Augen der Nutzer auf ihre Seiten statt auf die Umgebung richten. Dabei ließe sich viel Unheil vermeiden, wenn man den Drang, auf dem Handy nachzusehen, zügeln und stattdessen auf die Straße achten würde. Und das betrifft nicht nur junge Leute. »Schreibt euren Lieben nicht, wenn ihr wisst, dass sie Auto fahren«, meinte eine verzweifelte Mutter, als sie ihre Tochter auf der Intensivstation besuchte. Die junge Frau hatte das Gesicht voller Narben und ein Auge verloren, nachdem die Mutter ihr eine »blöde Textnachricht« geschickt hatte.[10] Ein Smartphone ist eine tolle Technologie, aber es braucht smarte Menschen, die es vernünftig verwenden. Hier erweist sich die Fähigkeit, verantwortlich zu handeln und eine Technologie unter Kontrolle zu behalten, als ein Schutz für Ihre eigene Sicherheit und die Ihrer Lieben.

Massenüberwachung ist ein Problem und keine Lösung

Warum wir einen terroristischen Angriff mehr fürchten als einen abgelenkten Fahrer, erklärt sich zum Teil daraus, dass die Medien Terroristen mehr Aufmerksamkeit schenken als abgelenkten Fahrern und dass Politiker ihrem Beispiel folgen. Um ihre Bürger zu schützen, experimentieren Regierungen weltweit mit Systemen zur Überwachung durch Gesichtserkennung. Im Labor funktionieren diese Systeme hervorragend, wenn Pass- oder Bewerbungsfotos oder andere gut beleuchtete Bilder mit ähnlichen Kopfhaltungen als Vorlagen verwendet werden. Doch wie genau sind sie in der Wirklichkeit? Ein Test fand nicht weit von mir entfernt statt.

Am Abend des 19. Dezember 2016 kaperte ein 24-jähriger islamistischer Terrorist einen schweren Lastwagen und raste mit ihm in einen gut besuchten Berliner Weihnachtsmarkt voller Touristen und Einheimischer, die sich Bratwürste und Glühwein schmecken ließen, tötete dabei zwölf Menschen und verletzte 49 weitere. Im folgenden Jahr ließ der deutsche Innenminister im Berliner Bahnhof Südkreuz Gesichtserkennungssysteme installieren, um festzustellen, wie genau sie Verdächtige erkennen. Am Ende des einjährigen Pilottests nannte der Minister in seiner Presseerklärung voller Stolz zwei beeindruckende Zahlen: eine Trefferquote von 80 Prozent, das heißt, von zehn Verdächtigen identifizierten die Systeme acht zutreffend, während ihnen zwei entgingen; und eine Fehlalarmrate von 0,1 Prozent, das heißt, nur einer von 1000 unschuldigen Passanten wurde zu Unrecht für verdächtig gehalten. Der Minister pries das System als großen Erfolg und gelangte zu dem Schluss, landesweite Überwachung sei machbar und wünschenswert.

Nach der Presseerklärung entbrannte eine heftige Debatte. Eine Gruppe vertrat die Ansicht, dass mehr Sicherheit mehr Überwachung rechtfertige, während die andere Gruppe fürchtete, die Kameras würden am Ende die »Telemonitore« aus George Orwells 1984 werden. Beide aber nahmen die Genauigkeit des Systems als gegeben hin.[11] Statt für eine Seite in der emotionalen Debatte Partei zu ergreifen, wollen wir lieber klarstellen, was tatsächlich passieren würde, wenn es solche Gesichtserkennungssysteme flächendeckend gäbe. Tagtäglich laufen rund 12 Millionen Menschen durch die Bahnhöfe in Deutschland. Abgesehen von ein paar Hundert gesuchten Verdächtigen handelt es sich um gewöhnliche Menschen, die auf dem Weg zu ihrer Arbeit oder ihrem Vergnügen sind. Hinter der eindrucksvoll klingenden Fehlalarmrate von 0,1 Prozent verbergen sich fast 12 000 Passanten pro Tag, die zu Unrecht als Verdächtige betrachtet würden. Sie alle würden angehalten, nach Waffen oder Drogen durchsucht und in Verwahrung genommen, bis ihre Identität geklärt wäre.[12] Teile der ohnehin stark beanspruchten polizeilichen Ressourcen würde man zur Überprüfung dieser unschuldigen Bürger verbrauchen, statt sie für effektive Verbrechensprävention zu nutzen. In anderen Worten, ein solches System ginge in Wirklichkeit zu Lasten der Sicherheit. Letztlich hätte man ein Überwachungssystem, das die individuelle Freiheit einschränkte und ein Störfaktor des sozialen und wirtschaftlichen Lebens wäre.

Gesichtserkennung kann gute Dienste leisten, aber bei einer anderen Aufgabe: Identifizierung eines Individuums statt Massenscreening. Nachdem ein Verbrechen in einer U-Bahn-Station begangen worden ist oder ein Auto eine rote Ampel überfahren hat, kann eine Videoaufzeichnung bei der Identifizierung des Täters helfen. Hier wissen wir, dass die Person eine Straftat verübt hat. Wenn wir dagegen alle in der Station screenen, wissen wir nicht, ob die Personen Verdächtige sind. Die meisten von ihnen sind es nicht, was – wie beim medizinischen Massenscreening – zu einer großen Zahl von Fehlalarmen führt. Für einen weiteren Zweck eignet sich Gesichtserkennung noch besser. Wenn Sie Ihr Handy freischalten, indem Sie auf das Display schauen, führt es eine sogenannte Authentifizierung durch. Anders als ein Straftäter, der in der U-Bahn-Station davonläuft, blicken Sie direkt in die Kamera, nähern Ihr Gesicht und halten vollkommen still; praktisch wird das Handy immer nur von Ihnen freigeschaltet. Diese Situation schafft eine ziemlich stabile Welt: Sie und Ihr Handy. Fehler passieren selten.

Um das Für und Wider der Gesichtserkennungssysteme zu diskutieren, müssen wir zwischen diesen drei Situationen unterscheiden: viele-mit-vielen, einer-mit-vielen und einer-mit-einem. Beim Massenscreening werden viele Menschen mit vielen anderen in einer Datenbank verglichen; bei der Identifikation wird eine Person mit vielen anderen verglichen; und bei der Authentifizierung wird eine Person mit einer anderen verglichen. Noch einmal, je kleiner die Unsicherheit, wie bei der Identifikation im Gegensatz zum Massenscreening, desto besser die Leistung des Systems. Erinnern wir uns an den gewaltsamen Sturm auf das US-Kapitol im Januar 2021, als die Gesichtserkennungssysteme im Handumdrehen einige der Eindringlinge identifizierten. Das Fazit lautet: KI ist nicht gut oder schlecht, sondern nützlich für einige Aufgaben und weniger nützlich für andere.

Nicht zuletzt ist diese Analyse auch für die Sorge um die Privatsphäre von Bedeutung. Die Öffentlichkeit fürchtet vor allem die Massenüberwachung durch den Staat, nicht die Identifizierung von Straftätern oder die Authentifizierung. Und genau bei der Massenüberwachung erweisen sich die Gesichtserkennungssysteme als besonders unzuverlässig. Die Kenntnis dieses entscheidenden Unterschieds trägt zum Schutz der in westlichen Demokratien hochgeschätzten individuellen Freiheiten gegen die Überwachungsinteressen der eigenen Regierungen bei.

Ich habe nichts zu verbergen

Der Satz »Ich habe nichts zu verbergen« ist mittlerweile ein Gemeinplatz in Diskussionen über Social-Media-Unternehmen geworden, die alle persönlichen Daten sammeln, deren sie habhaft werden können. Oft hört man ihn von Nutzern, die lieber mit ihren Daten als mit ihrem Geld bezahlen. Der Satz könnte durchaus auf diejenigen unter uns zutreffen, deren Leben ohne besondere Ereignisse und schwerwiegende Gesundheitsprobleme verläuft, die sich nie potenzielle Feinde gemacht haben und sich nicht für Bürgerrechte einsetzen würden. Doch es geht nicht darum, persönliche Daten zu verbergen oder Bilder von niedlichen Kätzchen kostenlos posten zu können. Tech-Unternehmen interessiert es nicht, ob Sie etwas zu verbergen haben oder nicht. Vielmehr müssen sie uns, da wir kein Geld für ihre Dienstleistungen bezahlen, mit psychologischen Tricks dazu bringen, so viel Zeit wie möglich mit ihren Apps zu verbringen. Sie sind nicht der Kunde, die Kunden sind die Firmen, die die Tech-Unternehmen dafür bezahlen, dass sie sich Ihrer Aufmerksamkeit bemächtigen. Viele von uns kleben am Smartphone, bekommen zu wenig Schlaf wegen des neuen Bettpartners, finden kaum Zeit für etwas anderes und warten ungeduldig auf den nächsten Dopaminschub durch ein weiteres Like. Jia Tolentino, eine Journalistin des New Yorker, schrieb über den Kampf mit ihrem Handy:[13] »Ich trage das Handy mit mir herum, als wäre es eine Sauerstoffflasche. Ich starre es an, während ich Frühstück mache und den Müll rausbringe, und ruiniere dabei, was ich am meisten an der Arbeit zu Hause schätze – die Selbstständigkeit und den relativen Frieden.« Andere sind verletzt nach einem vernichtenden Online-Kommentar von Fremden über ihr Aussehen und ihren Verstand. Wieder andere driften in extremistische Gruppen ab, die auf Fake News und Hasstiraden hereinfallen.

Die Welt ist gespalten in diejenigen, die es wenig kümmert, dass die Digitaltechnik ihr Leben beeinflusst, und diejenigen, die wie Tolentino meinen, sie mache sie so abhängig wie Spielsüchtige, die nur noch ans Glücksspiel denken können. Doch die Technologie, und insbesondere die Social Media, käme auch gut zurecht, ohne darauf ausgerichtet zu sein, den Menschen Zeit und Schlaf zu rauben. Nicht die sozialen Medien an sich erzeugen bei einigen von uns diese Sucht, sondern das personalisierte anzeigengestützte Geschäftsmodell. Die Beeinträchtigungen ihrer Nutzer resultieren aus dieser »Erbsünde«.

Das Gratis-Café

Stellen Sie sich ein Café vor, das alle Konkurrenten in der Stadt ausgeschaltet hat, indem es kostenlosen Kaffee anbietet. Sie haben also kaum eine andere Wahl, als dorthin zu gehen, wenn Sie Ihre Freunde treffen wollen. Während Sie die Stunden genießen, die Sie plaudernd mit ihnen verbringen, zeichnen Wanzen und Kameras, die in Tische und Wände verkabelt sind, Ihre Gespräche auf und halten fest, mit wem Sie dort sitzen. Außerdem ist der Raum voller Verkäufer, die Ihren Kaffee bezahlen und Sie ständig unterbrechen, um Ihnen personalisierte Produkte und Dienstleistungen anzubieten. In diesem Café sind die Verkäufer die Kunden, nicht Sie und Ihre Freunde. Nach diesem Muster funktionieren Plattformen wie Facebook.[14]

Social Media wären weniger destruktiv, wenn sie sich an das Geschäftsmodell von echten Cafés oder von Fernsehen, Rundfunk und anderen Dienstleistern hielten, bei denen Sie als Kunde für die gewünschten Dienstleistungen bezahlen. Tatsächlich hatten sogar Sergey Brin und Larry Page, die jugendlichen Gründer von Google, 1998 anzeigengestützte Suchmaschinen kritisiert, weil sie zwangsläufig eher die Interessen ihrer Werbekunden als ihrer Nutzer berücksichtigen.[15] Doch unter dem Druck ihrer Risikokapitalgeber knickten sie rasch ein und entwickelten das erfolgreichste personalisierte Werbemodell, das es derzeit gibt. In diesem Geschäftsmodell ist Ihre Aufmerksamkeit das Produkt, das verkauft wird. Die eigentlichen Kunden sind die Firmen, die Anzeigen auf den Webseiten schalten. Je häufiger die Nutzer eine Anzeige sehen oder auf sie klicken, desto mehr zahlen die Firmen an Google. Aus diesem Grund führen die Social-Media-Plattformen ein Experiment nach dem anderen durch, um die Nutzer zu veranlassen, möglichst lange auf ihren Seiten zu verweilen und umgehend wieder auf sie zurückzukehren. Der Drang, beim Autofahren nach dem Handy zu greifen, ist ein Musterbeispiel für den Erfolg dieser Strategie. Kurzum, die Quintessenz des Geschäftsmodells besteht darin, die Zeit und Aufmerksamkeit der Nutzer so intensiv wie möglich in Anspruch zu nehmen.

Im Interesse der Werbekunden sammeln die Tech-Unternehmen im Minutentakt Daten, die darüber Auskunft geben, wo Sie sind, was Sie tun und was Sie sich anschauen. Gestützt auf Ihre Gewohnheiten, machen sie eine Art Avatar aus Ihnen. Wenn ein Werbekunde eine Anzeige schaltet, etwa für Akku-Bohrmaschinen oder teure Lippenstifte, zeigt er die Werbung jenen Nutzern, die sie am ehesten kaufen werden. In der Regel bezahlen Werbekunden die Tech-Unternehmen für jeden Klick eines Nutzers auf die Werbung oder für jeden Seitenaufruf. Um also die Wahrscheinlichkeit zu erhöhen, dass Sie auf eine Anzeige klicken oder sie zumindest ansehen, versucht man Sie mit allen Mitteln dazu zu bringen, dass Sie möglichst lange auf der Seite bleiben. Likes, ständige Benachrichtigungen und andere psychologische Tricks wirken gemeinsam darauf hin, Sie abhängig zu machen – Tag und Nacht. So sind es nicht Ihre Daten, die verkauft werden, sondern Ihre Aufmerksamkeit, Ihre Zeit und Ihr Schlaf.

Wenn Google und Facebook nach dem Prinzip Zahl-mit-deinem-Geld verführen, wäre all das nicht nötig. Die Heerscharen von Ingenieuren und Psychologen, die in Experimenten herauszufinden versuchen, wie sie Sie länger ans Smartphone binden können, könnten sich dann nützlicheren technischen Neuerungen widmen. Zwar müssten die Social-Media-Unternehmen auch weiterhin bestimmte Daten sammeln, um ihre Empfehlungen Ihren spezifischen Bedürfnisse besser anzupassen, aber sie hätten keine Veranlassung mehr, andere überflüssige persönliche Daten zu erheben – etwa Daten, aus denen sich schließen ließe, dass Sie deprimiert sind, Krebs haben oder schwanger sind. Der Hauptgrund für die Sammlung dieser Daten – personalisierte Werbung – wäre entfallen. Netflix ist ein gutes Beispiel für ein Unternehmen, das dieses Prinzip schon eingeführt hat.[16] Aus Sicht der Nutzer ergäbe sich der kleine Nachteil, dass wir alle für die Nutzung sozialer Netzwerke monatlich ein paar Euro bezahlen müssten. Für die Social-Media-Unternehmen hat das einträglichere Prinzip Zahl-mit-deinen-Daten jedoch den großen Vorteil, dass die Männer – ja, es sind nahezu ausschließlich Männer – an der Spitze der Hierarchie heute zu den reichsten und mächtigsten Zeitgenossen auf dem Planeten gehören.

Auf der Höhe der technologischen Entwicklung bleiben

Diese Beispiele vermitteln einen ersten Eindruck davon, was es heißt, auf der Höhe der technologischen Entwicklung zu bleiben. Um der Verlockung zu widerstehen, während des Autofahrens eine Nachricht zu schicken, benötigt man die Fähigkeit, selbstverantwortlich zu handeln und eine Technologie zu kontrollieren. Die Möglichkeiten und Grenzen von Gesichtserkennungssystemen zeigen uns, dass die Technologie in relativ stabilen Situationen ausgezeichnet funktioniert, wie zum Beispiel beim Entsperren Ihres Handys oder bei der Grenzkontrolle, wenn Ihr Passfoto mit einer anderen Fotografie von Ihnen verglichen wird. Doch beim Massenscreening unter realen Bedingungen bekommt KI Probleme und erzeugt zu oft Fehlalarm, was zu gewaltigen Schwierigkeiten führen kann, wenn Massen unschuldiger Menschen angehalten und durchsucht werden. Die Probleme schließlich, die durch soziale Medien verursacht werden – Verlust von Zeit, Schlaf und Konzentrationsfähigkeit sowie die Folgen der Sucht –, sind nicht die Schuld der sozialen Medien an sich, sondern des Geschäftsmodells der Unternehmen: Zahl mit deinen Daten. Um diese schwerwiegenden Probleme zu beseitigen, reichen keine neuen Datenschutzregelungen oder staatlichen Vorschriften über Online-Inhalte. Dazu müssen wir die Axt an die Wurzel des Problems legen, indem wir beispielsweise den zugrunde liegenden Businessplan verändern. Regierungen brauchen mehr politischen Mut, um die Menschen zu schützen, die sie vertreten.

Man sollte meinen, allen die Chancen und Risiken der digitalen Technologie zu vermitteln müsste bereits weltweit ein vorrangiges Ziel aller Bildungssysteme und Regierungen sein. Weit gefehlt. Tatsächlich wird es weder in dem OECD-Papier »Key issues for digital transformation in the G20« (Schlüsselprobleme der digitalen Transformation in den G20-Staaten) von 2017 noch in dem 2020 vorgelegten »Weißbuch zur Künstlichen Intelligenz« der Europäischen Kommission überhaupt erwähnt.[17] Diese Programme beschäftigen sich mit anderen wichtigen Aspekten – der Schaffung von Innovationsschmieden, digitalen Infrastrukturen, geeigneter Gesetzgebung und gesteigertem Vertrauen der Menschen in KI. Infolgedessen sind die meisten Digital Natives nicht im Mindesten darauf vorbereitet, Fakten von Fakes und Nachrichten von versteckten Anzeigen zu unterscheiden.

Doch für die Lösung der Probleme ist mehr erforderlich als Infrastruktur und Regulierung. Dazu müssen wir uns die Zeit zum Mitdenken nehmen und genauer hinsehen. Mussten Sie lange in einer Service-Hotline warten? Dann könnte es sein, dass aufgrund Ihrer Adresse oder eines Algorithmus Ihnen ein geringer Kundenwert zugeschrieben wurde. Haben Sie bemerkt, dass das erste Ergebnis einer Google-Suche nicht besonders nützlich für Sie war? Dann war es wahrscheinlich dasjenige, für das eine Firma am meisten bezahlt hat.[18] Ist Ihnen bewusst, dass Ihr geliebter Smart-TV möglicherweise Ihre privaten Gespräche im Wohn- oder Schlafzimmer aufzeichnet?[19]

Wenn Ihnen dies alles nicht neu ist, dann wird es Sie vielleicht überraschen, dass es das für die meisten sehr wohl ist. Wenige Menschen wissen, dass Algorithmen ihre Wartezeit bestimmen. Sechs von sieben Deutschen wissen nicht, dass ein intelligenter Fernseher aufzeichnet, was immer sie sagen, und an ungenannte Dritte weiterleitet.[20] Wie Studien zeigen, sind sich auch rund 50 Prozent der erwachsenen Nutzer nicht darüber im Klaren, dass die besonders markierten Suchresultate Anzeigen sind und nicht die relevantesten oder beliebtesten Ergebnisse.[21] Der Grund für diese Unkenntnis liegt aber nicht allein bei den Nutzern; Google selbst trägt aktiv dazu bei. Die »gesponserten« Anzeigen sind tatsächlich markiert, aber im Laufe der Jahre hat Google sie immer mehr dem Aussehen von »organischen« Suchergebnissen (keine Werbung) angeglichen. Anfangs waren die Werbelinks der Suchtrefferliste durch farblich hervorgehobenen Hintergrund klar gekennzeichnet, wobei der Farbton allerdings über die Jahre abgeschwächt wurde. Ab 2013 wurde die Hintergrundfarbe weggelassen, stattdessen war nur noch das Wort »Anzeige« gelb unterlegt; seit 2020 wird auch diese Farbe fortgelassen, sodass sich die Anzeige nun noch unauffälliger in die organischen Suchergebnisse einfügt. Google experimentiert ständig damit, Werbung so ähnlich wie organische Ergebnisse aussehen zu lassen, obgleich die klare Trennung von Werbung und anderen Inhalten ein gesetzliches und ethisches Gebot ist. Das Zahl-mit-deinen-Daten-Modell verführt dazu. Von den Werbekunden wird Google für jeden Klick auf Werbung bezahlt, nicht aber für einen Klick auf organische Ergebnisse. Das heißt, wenn Nutzer irrtümlicherweise glauben, die ersten (gesponserten) Ergebnisse seien keine Werbung, sondern die relevantesten für sie, dann ist das gut fürs Geschäft.

Wie erwähnt begrüßen viele Führungskräfte und Politiker Big Data und Digitalisierung mit großer Begeisterung. Nun ist Begeisterung nicht dasselbe wie Verständnis. Viele der übereifrigen Propheten scheinen nicht zu wissen, wovon sie sprechen. Nach einer Studie von 2017 über 400 Vorstände der damals 80 deutschen DAX- und MDAX-Unternehmen hatten 92 Prozent von ihnen keine erkennbare oder dokumentierte Erfahrung mit Digitalisierung.[22] Entsprechend war, als Mark Zuckerberg vor Mitgliedern des US-Kongresses zur neuesten Datenschutz-Kontroverse aussagen musste, die eigentliche Überraschung nicht, was er in seinen einstudierten Antworten mitteilte, sondern der Umstand, dass die US-Politiker offenbar kaum eine Ahnung von den undurchsichtigen Vorgehensweisen der Social-Media-Unternehmen hatten.[23] Als ich im Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz mitarbeitete, untersuchten wir, wie die verborgenen Algorithmen von Wirtschaftsauskunfteien von den Datenschutzbehörden überwacht werden. Diese müssen dafür sorgen, dass die Algorithmen verlässliche Indikatoren der Kreditwürdigkeit sind, die nicht aufgrund von Geschlecht, ethnischer Herkunft oder anderen individuellen Merkmalen diskriminieren. Als die Schufa ihren Algorithmus einreichte, räumte die Behörde ein, dass ihr die nötigen Kenntnisse auf dem Gebiet der IT und Statistik fehlten, um den Algorithmus zu bewerten. Am Ende half die Schufa selbst aus, indem sie die Fachleute auswählte, die das Gutachten schrieben, und sogar deren Honorare bezahlte.[24] In unserer smarten Welt scheint Ignoranz die Regel und nicht die Ausnahme zu sein. Das sollten wir rasch ändern und nicht erst in ferner Zukunft.

Technologischer Paternalismus

Paternalismus (von dem lateinischen Wort pater, Vater) ist die Auffassung, eine ausgewählte Gruppe habe das Recht, andere Menschen wie Kinder zu behandeln, die sich der Autorität dieser Gruppe bereitwillig fügen sollten. Früher lautete die Rechtfertigung, die herrschende Gruppe sei von Gott erwählt worden, gehöre zur Aristokratie oder verfüge über geheimes Wissen beziehungsweise ungeheuren Reichtum. Die ihrer Autorität unterworfenen Bevölkerungsteile gelten als Menschen zweiter Klasse, weil sie etwa weiblich, von anderer Hautfarbe, arm oder bildungsfern sind. Während des 20. Jahrhunderts befand sich der Paternalismus auf dem Rückzug, weil die weit überwiegende Mehrheit der Menschheit endlich die Möglichkeit bekam, lesen und schreiben zu lernen, und weil Regierungen Männern wie Frauen Redefreiheit, Freizügigkeit und Wahlrecht einräumten. Diese Revolution, für die engagierte Vorkämpfer im Gefängnis landeten oder sogar ihr Leben ließen, ermöglichte den folgenden Generationen, also auch uns, unsere Angelegenheit selbst in die Hand zu nehmen. Doch das 21. Jahrhundert erlebt den Aufstieg eines neuen Paternalismus durch Unternehmen, die Computer verwenden, um unser Verhalten vorherzusagen und zu manipulieren, ob wir damit einverstanden sind oder nicht. Seine Propheten verkünden sogar die Ankunft eines neuen Gottes, einer allwissenden Superintelligenz namens AGI (Artificial General Intelligence, künstliche allgemeine Intelligenz), von der es heißt, sie übertreffe Menschen in allen Bereichen der Denkleistung. Bis zur Ankunft des neuen Gottes sollten wir seinen Propheten gehorchen.[25]

Technologischer Solutionismus ist die Überzeugung, dass jedes gesellschaftliche Problem eine »Störung« sei und durch einen Algorithmus »behoben« werden müsse. Technologischer Paternalismus ist die natürliche Konsequenz, Regieren durch Algorithmen. Dazu braucht noch nicht einmal die Fiktion einer Superintelligenz bemüht zu werden; wir sollen einfach nur akzeptieren, dass Unternehmen und Staaten Minute für Minute aufzeichnen, wo wir sind, was wir tun und mit wem – wie wir auch darauf vertrauen sollen, dass diese Aufzeichnungen die Welt zu einem besseren Ort machen werden. In den Worten von Googles ehemaligem CEO Eric Schmidt: »Das Ziel ist, Google-Nutzer dazu zu bringen, dass sie Fragen stellen wie zum Beispiel ›Was soll ich morgen tun?‹ und ›Für welchen Job soll ich mich entscheiden?‹.«[26] Eine Menge populärwissenschaftliche Autoren befördern unsere Ehrfurcht vor dem technologischen Paternalismus, indem sie Geschichten erzählen, die, sehr vorsichtig ausgedrückt, ökonomisch mit der Wahrheit umgehen.[27] Überraschender ist, dass selbst einige einflussreiche Forscher KI nahezu grenzenlose Fähigkeiten zuschreiben. Sie vertreten die Ansicht, das menschliche Gehirn sei nur ein minderwertiger Computer und wir sollten Menschen durch Algorithmen ersetzen, wo immer möglich.[28] KI werde uns schon sagen, was zu tun sei, und an uns sei es, auf sie zu hören und ihr zu folgen. Wir müssten einfach abwarten, bis KI ein wenig smarter geworden sei. Merkwürdig, aber die Botschaft lautet nie, auch die Menschen müssten ein bisschen smarter werden.

Ich habe dieses Buch geschrieben, um Leser in die Lage zu versetzen, realistisch einzuschätzen, was KI leisten kann und wie sie verwendet wird, um uns zu beeinflussen. Wir brauchen nicht noch mehr Paternalismus; davon hatten wir in den vergangenen Jahrhunderten mehr als genug. Aber genauso wenig brauchen wir technophobe Panik, die von jedem größeren technologischen Fortschritt erneut entfacht wird. Als die Eisenbahn erfunden wurde, warnten Ärzte davor, dass die Passagiere ersticken würden.[29] Als Rundfunkgeräte allgemein erschwinglich wurden, war man besorgt, dass zu viel Radiohören für Kinder schädlich sei, weil sie Ruhe brauchten und keinen Jazz.[30] Statt Panik oder Hype braucht die digitale Welt informierte und kritikfähige Bürger, die ihr Leben selbst bestimmen wollen.

Das vorliegende Buch ist keine akademische Einführung in die KI und ihre Teildisziplinen wie maschinelles Lernen und Big-Data-Analytik. Vielmehr handelt es von der Beziehung des Menschen zur KI: von Vertrauen, Täuschung, Verständnis, Sucht und persönlichem wie sozialem Wandel. Es ist für eine breite Leserschaft geschrieben, als Hilfe für die Bewältigung der Herausforderungen in einer smarten Welt gedacht und stützt sich unter anderem auf meine eigene Forschung über Entscheidungsfindung unter unsicheren Bedingungen am Max-Planck-Institut für Bildungsforschung. Im Laufe dieses Buchs wird meine persönliche Einstellung zu Freiheit und Würde des Menschen nicht verborgen bleiben, aber ich habe mich darum bemüht, die Fakten objektiv zu präsentieren, sodass sich die Leser ihre eigene Meinung bilden können. Diese Forschung bestärkt mich auch weiterhin in der tiefen Überzeugung, dass wir Menschen nicht so dumm und unfähig sind, wie häufig behauptet wird – solange wir aktiv bleiben und von unserem Gehirn und unseren anderen Fähigkeiten Gebrauch machen, die im verwickelten Verlauf der Evolution entstanden sind. Die Gefahr, dass wir auf das negative Narrativ Maschine-über-Mensch hereinfallen und es staatlichen Autoritäten oder Tech-Unternehmen überlassen, unser Leben nach ihren Bedingungen zu »optimieren«, wächst mit jedem Tag – was mich besonders motiviert hat, dieses Buch zu schreiben. Wie in meinen früheren Büchern Bauchentscheidungen und Risiko ist auch Klick letztlich ein leidenschaftlicher Appell, hart erkämpfte Errungenschaften wie persönliche Freiheit und Demokratie am Leben zu erhalten.

Heute und in der nahen Zukunft erleben wir einen Konflikt zwischen zwei Systemen, dem autokratischen und dem demokratischen, nicht unähnlich dem Kalten Krieg. Doch anders als in jener Epoche, in der die Nukleartechnologie ein prekäres Gleichgewicht zwischen den beiden Kräften aufrechterhielt, kann heute die Digitaltechnologie leicht den Ausschlag für die autokratischen Systeme geben. Das haben wir während der Covid-19-Pandemie gesehen, als einige autokratische Staaten das Virus erfolgreich mithilfe strenger digitaler Überwachungssysteme eindämmten.

Ich kann nicht alle Aspekte behandeln, die das weite Feld der Digitalisierung betreffen, werde aber anhand von ausgewählten Themen allgemeine Prinzipien erklären – so das Prinzip der stabilen Welt und den texanischen Scharfschützen in Kapitel 2, das Prinzip der Anpassung an KI und den Russischen-Panzer-Fehler in Kapitel 4. Wie Ihnen vielleicht aufgefallen ist, verwende ich den Begriff KI in einem sehr weiten Sinne, sodass er jeden Algorithmus einschließt, der leisten soll, was die menschliche Intelligenz leistet. Aber ich werde, wann immer erforderlich, differenzieren.

In jeder Kultur müssen wir über die künftige Welt sprechen, in der wir und unsere Kinder leben möchten. Es wird nicht nur eine einzige Antwort geben. Aber es gibt eine allgemeine Botschaft, die für alle Visionen gilt. Trotz – oder wegen – der schnellen technologischen Innovation sind wir mehr als jemals zuvor aufgefordert, mitzudenken statt einfach mitzumachen.

Beginnen wir mit einem Problem, das uns allen am Herzen liegt – die wahre Liebe zu finden –, und mit geheimen Algorithmen, die so einfach sind, dass alle sie verstehen können.

Teil 1

DER MENSCH UND DIE KI

Das Problem ist nicht der Aufstieg der »smarten« Maschinen, sondern die Verdummung der Menschheit.

ASTRA TAYLOR[31]

1

IST WAHRE LIEBE NUR EINEN KLICK ENTFERNT?

Liebhaben von Mensch zu Mensch: das ist vielleicht
das Schwerste, was uns aufgegeben ist, das Äußerste,
die letzte Probe und Prüfung, die Arbeit, für die
alle andere Arbeit nur Vorbereitung ist.

RAINER MARIA RILKE[32]

Dating ist nur dazu da, dass andere Leute wissen, dass du datest, die Leute posten ständig darüber. Als würde man Fotos küssen.

SOPHIA, 13 JAHRE, MONTCLAIR, NEW JERSEY[33]

Money can’t buy me love, erzählen uns die Beatles. Aber können es Algorithmen? Für ein paar Hundert Euro können Sie sich eine sechsmonatige Premium-Mitgliedschaft auf Online-Datingseiten in der ganzen Welt kaufen. Die Seiten werben damit, Ihnen den perfekten Partner verschaffen zu können. Jedes Jahr machen Millionen hoffnungsfrohe Kunden, junge wie alte, Gebrauch von Datingseiten oder mobilen Dating-Apps, und der Trend zeigt steil nach oben.[34] Trotz solcher Beliebtheit sind sich viele Nutzer nicht darüber im Klaren, dass ihre Auswahl eines potenziellen Liebespartners auf Algorithmen beruht.[35]

KI findet Ihre Liebe

Eine attraktive junge Frau mit langem, wehendem Haar lächelt Sie von einer Webseite an. Neben ihr ein gutaussehender junger Mann mit gepflegtem Dreitagebart, der nicht minder selig dreinblickt. Dicht an ihren Gesichtern steht der Name einer der größten Datingseiten – Parship. Millionen Singles in Berlin, Wien, London, Paris, Amsterdam und Mexico City nehmen ihre Dienste in Anspruch, um sich auf die Suche nach wahrer Liebe und lange währendem Glück zu begeben.[36] Wie ElitePartner, OKCupid und eine Vielzahl anderer ist Parship eine seriöse Agentur für Singles, die einen Partner fürs Leben suchen. Sie zieht Menschen an, die hoffen, dass sie eines Tages nicht mehr auf dem Singlemarkt mitmischen müssen. Anders als Tinder und ähnliche Dating-Apps, auf denen Nutzer wenig mehr als Aussehen und Standort zu sehen bekommen, verwendet Parship einen auf Persönlichkeit und Interessen basierenden Matching-Algorithmus. Seine Webseiten und Poster präsentieren an prominenter Stelle den immer gleichen Slogan:

Alle 11 Minuten verliebt sich ein Single

Das hört sich nach einem sehr attraktiven Deal an: Man lässt sich registrieren, zahlt die Gebühr und wartet 11 Minuten! Das Glück ist nur einen Klick entfernt. Millionen haben sich registrieren lassen und gehofft, sie würden zu denen gehören, die sich rasch verlieben.

Doch denken Sie einen Augenblick nach. Alle 11 Minuten verliebt sich ein Single. Das wäre eine tolle Sache, hätte die Seite nur hundert Nutzer. Aber Parship soll Millionen Kunden haben. Schauen wir uns das Ganze etwas genauer an. Eine Person verliebt sich alle 11 Minuten, das heißt, dass es überschlägig sechs pro Stunde sind, was 144 pro Tag entspricht – vorausgesetzt, die Singles sind Tag und Nacht auf der Webseite aktiv. In einem ganzen Jahr wären das 52 560 Verliebte (144 x 365). Wenn die Seite eine Million Kunden hat, verlieben sich nur 5 Prozent der Singles binnen eines Jahres. Nach einer Suche von zehn Jahren hätte also ungefähr die Hälfte der Kunden ihre wahre Liebe gefunden. Sollte die Seite mehr als eine Million zahlende Kunden haben, ist die wahrscheinliche Wartezeit noch länger. Mit anderen Worten, es besteht die reale Aussicht, dass Sie bis ins hohe Alter suchen (und zahlen); zu diesem Zeitpunkt ist es in der Tat ein stattlicher Batzen Geld, der Ihnen Liebe erkauft hat.[37] Die einfache Überschlagsrechnung offenbart eine ernüchternde Wahrheit über den Erfolg des Matching-Algorithmus, auf dem der verführerische Slogan beruht.

Jetzt wissen wir, was »alle 11 Minuten« bedeutet. Was ist mit dem zweiten Teil des Slogans: »verliebt sich ein Single«? Schließlich braucht es zwei, um sich zu verlieben und ein Paar zu bilden. Tatsächlich kündigt alle 11 Minuten ein Premium-Mitglied und klickt auf die Frage nach dem Grund den Button »Hab mich verliebt« an. Ob wahre Liebe im Spiel war, ob sie online oder offline gefunden wurde oder ob es sich nur um eine bequeme Ausrede handelte, um keine Gebühren mehr zu bezahlen, bleibt ungeklärt.

Die Kundenurteile decken sich mit dieser Überschlagsrechnung. Bei 1 500 Beurteilungen von fünf von Deutschen genutzten Datingseiten, einschließlich Parship, erhielt keine eine durchschnittliche Bewertung von gut. Nur 7,7 Prozent gaben an, ihre Suche sei erfolgreich gewesen; die Übrigen hatten gekündigt oder suchten weiter.[38]

Bei ähnlichen Agenturen, die gebildete Singles in New York, Toronto oder Seoul ansprechen, scheinen die Aussichten genauso zu sein. Beispielsweise wirbt die Webseite EliteSingles damit, dass im Jahr 2018 monatlich 381 000 neue Mitglieder hinzukamen und dass mehr als 1000 Singles im Laufe eines Monats ihre Liebe fanden.[39] Auch hier erscheinen die Zahlen eindrucksvoll – so viele glückliche Menschen! Doch erneut stellt sich die Frage, wie groß die Chancen tatsächlich sind, die wahre Liebe zu finden. Wenn die Zahlen stimmen, folgt daraus, dass pro Monat auf 381 Singles etwa ein glücklicher Kunde kommt, was im Jahr ungefähr auf einen von dreißig, oder 3 bis 4 Prozent, hinausläuft. Das liegt im Bereich der 5 Prozent, die oben für Parship errechnet wurden. Diese Berechnungen sind grobe Schätzungen auf der Basis der Zahlen, die die Online-Dienste selbst zur Verfügung stellen. Um sicherzugehen, überprüfte ich noch eine weitere Datingseite. JDate (für jüdische Singles) berichtet, man habe Hunderttausende von Mitgliedern weltweit und »Hunderte Nutzer finden jede Woche ihren Seelenpartner«.[40] Anhand dieser beiden Zahlen ergibt sich, dass pro Woche ein Seelenpartner auf 1000 Singles kommt, im Jahr sind das 52 auf 1000, womit wir wieder bei etwa 5 Prozent pro Jahr sind. Diese lange Wartezeit entspricht durchaus einer der »Erfolgsgeschichten«, mit denen die Datingseite wirbt: dem Fall von Ryan, der 15 Jahre lang Gesichter scrollte und anklickte, bis er dank der Seite endlich seine Partnerin fürs Leben fand.[41]

Liebesalgorithmen können drei Arten von Dienstleistungen anbieten: Zugang, Kommunikation und die wahre Liebe finden. Zugang ermöglicht dem Kunden, potenzielle Partner kennenzulernen, die er sonst wahrscheinlich nie treffen würde. Das ist besonders hilfreich für Menschen, die ein sozial oder physisch isoliertes Leben führen und nicht den gängigen sozialen Normen entsprechen, etwa weil sie Behinderungen haben oder einer strengen Religion angehören. Eine andere Dienstleistung ist Kommunikation durch computervermittelte Interaktion vor der ersten Begegnung. Zusammen sind Zugang und Kommunikation der eigentliche Vorteil des Online-Datings. Doch wie gerade gesehen, hat besserer Zugang auch seine Nachteile, wenn die Aussichten, die wahre Liebe zu finden, so gering sind. Nachdem Sie 22 öde Dates gehabt haben, statt nur einem, das schiefgelaufen ist, könnte es durchaus sein, dass Sie sich bei so viel Pech und mit so vielen Partnern noch schlechter fühlen. In einem Überblick über Studien zum Online-Dating kommen die Autoren zu dem Schluss, es gebe »keine überzeugenden Belege für die Behauptungen der Datingseiten, dass mathematische Algorithmen Erfolg haben – dass sie mehr Paarbeziehungen anbahnen als andere Formen der Partnervermittlung«.[42]

Zur Überprüfung dieser Resultate kontaktierte ich große und angesehene Singlebörsen. Einige Dating-Plattformen – unter anderem eHarmony.com, Perfectmatch.com und Chemistry.com – behaupten nämlich, sie hätten leistungsfähige, »wissenschaftliche« Algorithmen, obwohl bisher noch für keinen nachgewiesen wurde, dass er nach Maßgabe wissenschaftlicher Methoden zuverlässig und gesichert ist.[43] Als ich fragte, wie viele zahlende Kunden sie hätten, wie hoch die Erfolgsrate sei und wie sie diese bestimmten, wurden mir die Antworten freundlich, aber entschieden verweigert.[44]

Schauen wir einmal über die Singlebörsen hinaus. Trennen sich Paare, die sich online – über soziale Netzwerke, Chatrooms, Datingseiten oder sonst wie – kennenlernten, seltener und sind sie zufriedener mit ihrer Beziehung als Paare, die sich offline kennenlernten? In einer klassischen repräsentativen Studie in den USA an 19 000 verheirateten Personen zeigte sich, dass die Trennungsrate bei denen, die sich online gefunden hatten, geringer war als bei jenen, die offline zusammengekommen waren. Erstere gaben auch an, mit ihrer Ehe etwas zufriedener zu sein. Interessant ist jedoch, dass diejenigen, die sich durch die Liebesalgorithmen von Online-Partnerbörsen kennengelernt hatten, nicht zufriedener waren als Paare, deren Beziehung auf anderen Online-Seiten begonnen hatte.[45] Andererseits wird in jüngeren US-Studien berichtet, die Trennungsraten seien höher bei Paaren, die sich online kennengelernt haben, während repräsentative Studien in Deutschland und der Schweiz keinen Unterschied feststellten, wie zufrieden die Paare mit ihren Beziehungen waren, egal, ob sie sich online oder offline kennenlernten.[46] Zwar sind diese Ergebnisse widersprüchlich, doch geht aus etlichen Studien übereinstimmend hervor, dass der Anteil der online zusammengekommenen Paare bei gleichgeschlechtlichen Partnern höher ist und dass sich beim Online-Dating Menschen kennenlernten, die in Hinblick auf Bildungsniveau und ethnischen Hintergrund größere Unterschiede aufweisen – Faktoren, die offline immer noch Hinderungsgründe sein können.[47] Dieser Zuwachs an Diversität scheint jedoch weitgehend daran zu liegen, dass Paare, die sich online kennenlernten, in der Regel jünger sind.

Insofern ist die Frage noch offen, ob die Online-Suche zu mehr Zufriedenheit und weniger Trennungen führt als die Offline-Suche. Alles in allem können Sie, wenn Sie nicht zu den glücklichen 5 Prozent pro Jahr gehören, Ihre Zeit und Ihr Geld ebenso gut dafür verwenden, sich nach der Arbeit mit Kollegen zu treffen, auf Partys zu gehen, zu reisen, mit dem Hund Gassi zu gehen oder sich einer örtlichen Online-Community anzuschließen, die sich einer Ihrer persönlichen Vorlieben widmet – das ist wahrscheinlich ein schnellerer Weg zum Glück. Amors Pfeil kann ganz unerwartet treffen.

Wie funktionieren Liebesalgorithmen?

Liebesalgorithmen sind streng geheim. Wie die Algorithmen für Kreditscoring, Predictive Policing und Seitenranking sind sie gut gehütetes Firmeneigentum. Jede Agentur verwendet eigene Algorithmen. Daher lässt sich nur schwer herausfinden, wie sie im Einzelnen arbeiten. Trotzdem kennen wir das Grundverfahren, eine der einfachsten Arten von Algorithmen. Auf seriösen Datingseiten müssen die Kunden einen Fragebogen über Werte, Interessen und Persönlichkeit ausfüllen. Ein solcher Fragebogen kann aus mehr als einhundert Fragen bestehen. Aus den Antworten wird dann ein Profil des Kunden konstruiert.[48] Aus Gründen der Vereinfachung wollen wir zwei Profile mit lediglich drei Merkmalen betrachten (Abbildung 1.1). Adam möchte Kinder, steht gern im Mittelpunkt der Aufmerksamkeit und kocht nicht gern. Eva möchte Kinder, steht nicht gern im Mittelpunkt der Aufmerksamkeit und kocht auch nicht gern.

Merkmal

Adam

Eva

Möchte Kinder

Ja

Ja

Mittelpunkt der Aufmerksamkeit

Ja

Nein

Kocht gern

Nein

Nein

ABBILDUNG 1.1: Zwei Profile mit drei Merkmalen

Das erste Prinzip, aus dem die Übereinstimmung zwischen Adam und Eva errechnet wird, ist Ähnlichkeit. Im Fall des Kinderwunsches ist Ähnlichkeit von entscheidender Bedeutung. Der einfachste Algorithmus wäre das Auszählen der Übereinstimmungen, die hier zwei von drei oder zwei Drittel wären. Doch nur Ähnlichkeit zu berücksichtigen würde nicht funktionieren. Es kommt nicht allein auf Ähnlichkeit, sondern auch auf Komplementarität an. Beispielsweise ist Adam erpicht darauf, im Mittelpunkt der Aufmerksamkeit zu stehen. Vermutlich wäre er nicht begeistert von einer Partnerin, die diesen Wunsch teilt, und von der Aussicht, sich ständig mit ihr um den Platz im Rampenlicht zu streiten. Eine Partnerin mit komplementären Interessen, das heißt, eine Frau, die nicht gern im Mittelpunkt der Aufmerksamkeit steht, würde besser zu Adam passen. Genauso sind sie, wenn sie es beide hassen zu kochen, zwar einander ähnlich, aber nicht besonders geeignet füreinander. Um herauszufinden, ob sich Kunden ähnliche oder komplementäre Partner wünschen, erkundigen sich einige Agenturen in dem Fragebogen bei ihnen, was sie sich von ihrem idealen Partner erwarten.

Schließlich gibt es noch ein drittes Prinzip – Wichtigkeit. Nicht alle Merkmale sind gleich wichtig. Einige Datingagenturen bewerten die Wichtigkeit selbst, während andere ihre Kunden bestimmen lassen, wie wichtig ihnen eine Eigenschaft ist: unwichtig, kaum wichtig und so fort. Allerdings arbeitet der Algorithmus mit Zahlen und nicht mit sprachlichen Äußerungen. Die Dating-App OKCupid, eine der wenigen, die ihren Algorithmus einigermaßen transparent gemacht hat, setzt unwichtig = 0, kaum wichtig = 1, etwas wichtig = 10, sehr wichtig = 50 und absolut wichtig = 250.[49] Jetzt können wir alle drei Prinzipien zusammenfassen und die Frage beantworten: Wie zufriedenstellend ist Eva für Adam?

Merkmale

Adams ideale

Partnerin

Eva

Wichtigkeit
für Adam

Punkte

Möchte Kinder

Ja

Ja

10

10/10

Mittelpunkt der Aufmerksamkeit

Nein

Nein

50

50/50

Kocht gern

Ja

Nein

1

0/1

Punktwert: 60/61

ABBILDUNG 1.2: Adams Sichtweise. Wie zufriedenstellend ist Eva für Adam? Die Antwort lautet: 60 von 61 möglichen Punkten oder 98 Prozent – ein extrem gutes Ergebnis.

Bei den ersten beiden Merkmalen deckt sich Eva mit Adams idealer Partnerin. Da die Wichtigkeit, die er ihnen zuordnet, 10 beziehungsweise 50 beträgt, ist das Ergebnis 60 von 60 Punkten. Dass Eva keinen Spaß am Kochen hat, ist für Adam nicht so wichtig, daher bekommt sie bei der dritten Eigenschaft 0 von 1 Punkt. Insgesamt erhält Eva 60 von 61 Punkten, was rund 98 Prozent entspricht.

Auf die gleiche Weise berechnet der Algorithmus, wie zufriedenstellend Adam für Eva ist. Adam möchte Kinder, und das tut auch Evas idealer Partner. Da Kinder für Eva von absoluter Wichtigkeit sind, ergibt diese Ähnlichkeit 250 von 250 möglichen Punkten. Doch bei den beiden anderen Eigenschaft gibt es überhaupt keine Übereinstimmung. Der Algorithmus errechnet als Gesamtergebnis 250 von 310 Punkten, entsprechend 81 Prozent.

Merkmale

Evas idealer Partner

Adam

Wichtigkeit
für Eva

Punkte

Möchte Kinder

Ja

Ja

250

250/250

Mittelpunkt der Aufmerksamkeit

Nein

Ja

50

0/50

Kocht gern

Ja

Nein

10

0/10

Punktwert: 250/310

ABBILDUNG 1.3: Evas Sichtweise. Wie zufriedenstellend ist Adam für Eva? Die Antwort lautet: 250 von 310 möglichen Punkten oder 81 Prozent – ein nicht so gutes Ergebnis.

In einem letzten Schritt berechnet der Algorithmus die gesamte Übereinstimmung zwischen Adam und Eva, indem er den Durchschnitt ihrer Punktwerte bestimmt, der in unserem Beispiel 89,5 Prozent beträgt.[50]

In Wirklichkeit ist der Profilabgleich komplizierter als in diesem einfachen Beispiel, doch die zugrunde liegende Logik bleibt gleich. Es gibt mehr Merkmale, die auch quantitativ sein können, etwa Alter und Einkommen. Ähnlichkeit spielt meist eine Rolle bei Hobbys und Werten, während Komplementarität überraschend häufig gewünscht wird, wenn es um Erziehung und Alter geht, besonders bei heterosexuellen Paaren. Frauen, die sich bei Partnerbörsen in Boston, Chicago, New York und Seattle registrieren, wünschen sich Männer mit höherem Bildungsniveau: je höher, desto besser. Doch Männer in denselben Städten äußern kein besonderes Interesse an Frauen mit entsprechendem Bildungsstand. In der Regel ziehen sie Partnerinnen mit Bachelorabschluss vor und finden solche mit höheren Studienabschlüssen – Master oder Doktor – weniger attraktiv. Auch sinkt die Begehrtheit von Frauen kontinuierlich von 18 bis hinunter auf 60 Jahre, während die Attraktivität von Männern ihren Höhepunkt um die 50 erreicht.[51] Diese auffällige Diskrepanz wurde auch bei Kunden von OKCupid beobachtet. Frauen finden Männer am attraktivsten, wenn sie etwa im gleichen Alter wie sie selbst sind, plus/minus zwei oder drei Jahre. Der durchschnittliche Mann zieht jedoch immer Frauen Anfang 20 vor, egal, wie alt er selbst ist.[52] Diese Männer werden nie erwachsen. Ihre Vorlieben entsprechen einer Grunderkenntnis der Evolutionspsychologie: Männer fühlen sich eher von Reizen angezogen, die auf hohe Fruchtbarkeit schließen lassen, etwa Jugend und glatter Haut, während Frauen sich in der Regel von Merkmalen angesprochen fühlen, die anzeigen, dass der Mann eine Familie ernähren kann, Wohlstand zum Beispiel und ein hohes Bildungsniveau.

Unterm Strich sind die Grundlagen der Algorithmen, die zwei Profile abgleichen, gar nicht so schwer zu verstehen, auch wenn sie strengster Geheimhaltung unterliegen. Ein Algorithmus wandelt also immer eingegebene Zahlen (Input) in neue Zahlen (Output) um, etwa wenn sich aus den Profilen zweier Personen eine wahrscheinliche Übereinstimmung ergibt.

Ein Profil ist nicht die Person

Wenn Liebesalgorithmen mit Profilen, Ähnlichkeit, Komplementarität und Wichtigkeit arbeiten können, warum sind sie dann nicht in der Lage, im Handumdrehen den idealen Partner fürs Leben zu finden? Das Verständnis dieser vier Prinzipien hilft uns, realistisch einzuschätzen, was die Algorithmen leisten können und was nicht. Beginnen wir mit den Profilen. Bei einer echten Begegnung sind die »Daten« vielfältig und komplex: ein Lächeln, eine Geste, der Humor, der sich in den Augen des Gegenübers zeigt, der Tonfall, die Art, wie jemand Fragen stellt, die Intensität oder Oberflächlichkeit, mit der jemand zuhört. Außerdem gibt es Berührungen und Gerüche, die entscheidend für ein Gefühl von Kompatibilität sein können, besonders bei Frauen.[53] Dagegen beruhen Profile nicht auf realen Interaktionen, sondern auf den Antworten, die man in dem anfänglichen Fragebogen gegeben hat. Ein Profil ist keine Person, sondern eine Selbstdarstellung, die nicht unbedingt wahre Interessen und Werte widerspiegelt. Selbst wenn »Persönlichkeitsmerkmale« in dem Profil verwendet werden, erschließt der Algorithmus sie aus Selbstberichten. Beispielsweise werden Sie auf manchen Seiten gefragt, ob Attribute wie »sexy« oder »durchschnittlich« auf Sie zutreffen und wie »vernünftig«, »rechthaberisch« und »egoistisch« Sie sind. Was würden Sie antworten? Nur wenige Menschen sind realistisch und aufrichtig, wenn sie sich nach einem perfekten Date sehnen. Sollen Sie auf die Frage nach Ihren Interessen offen zugeben, dass Sie ein Bewegungsmuffel ohne besondere Interessen sind? Oder angeben, dass Sie eine hervorragende Tänzerin sind, obwohl das die meisten Kandidaten einschüchtern könnte? Infolgedessen sind selbst berichtete Interessen und Persönlichkeitsmerkmale nur schwache Vorhersagefaktoren für Liebesbeziehungen.[54] Das gilt auch für Speeddating.[55] Was Menschen als ihre Vorlieben bezeichnen, deckt sich nicht mit dem, wofür sie sich tatsächlich entscheiden.[56]

Nun zu den Prinzipien Ähnlichkeit und Komplementarität. Wir kennen alle die Redensart »Gleich und Gleich gesellt sich gern«, aber auch ihr Gegenteil: »Gegensätze ziehen sich an«. Egal, welche stimmt, Liebesalgorithmen können Ähnlichkeit und Komplementarität nur vergleichen, indem sie die Profile der Personen betrachten und nicht ihr tatsächliches Verhalten. Und das erweist sich als eine entscheidende Einschränkung. Ein Überblick über 313 Labor- und Feldstudien zu dem Thema kommt zu überraschenden Ergebnissen:[57] Wenn sich die Personen nicht kannten, ging höhere Ähnlichkeit zwischen ihren Profilen (Einstellungen und Persönlichkeitsmerkmalen) eindeutig mit höherer gegenseitiger Anziehung einher. Doch schon bei der ersten direkten Begegnung verflüchtigte sich diese Anziehung in der Regel nach einer kurzen Interaktion von nur wenigen Minuten oder Stunden. Daraus folgt, dass ähnliche Profile anfängliche Anziehung auslösen, aber für eine echte Beziehung keine Rolle zu spielen scheinen. Das könnte auch erklären, warum Menschen Partner mit einem hohen Prozentsatz an Übereinstimmung anziehend finden, dieser Prozentsatz ihnen aber gleichzeitig bei der Suche nach der wahren Liebe wenig hilft. So fand man in einer Studie an über 23 000 verheirateten Personen in Australien, Deutschland und Großbritannien heraus, dass die Frage, wie zufrieden die Partner mit ihrer Beziehung waren, kaum davon abhing, wie sich die Profile ihrer Persönlichkeitsmerkmale ähnelten.[58] Stattdessen gab es einen Zusammenhang zwischen der Persönlichkeit eines Menschen – wie angenehm, gewissenhaft und emotional stabil er war – und seiner Zufriedenheit mit einer Beziehung. Manche machen jede Beziehung kaputt, ganz gleich, wie gut der Partner zu ihnen passt. Einige Partnerbörsen, wie zum Beispiel eHarmony, haben das erkannt und lehnen Kunden ab, die nicht emotional gefestigt erscheinen.[59]

Bleibt noch das Prinzip der Wichtigkeit. Vielleicht haben Sie sich gefragt, warum OKCupid die Zahlen von 1 bis 250 verwendet. Wie oben erwähnt, ist der entscheidende Grund, dass Algorithmen Zahlen brauchen, um die Prozentsätze der Übereinstimmung berechnen zu können. Wie andere Algorithmen werden auch Liebesalgorithmen mit Zahlen gefüttert und liefern Zahlen als Output. Datingseiten weisen den Einschätzungen ihrer Kunden entweder intuitiv Zahlen zu, wie OKCupid es tut, oder aber sie versuchen sie anhand der Daten zu schätzen. In letzterem Fall braucht die Agentur zuverlässige Daten, denen sie entnehmen kann, welche Kombinationen von Profilen zu dauerhafter Liebe führen. Ich kenne aber keine Partnerbörse, die sich die Mühe macht, das Schicksal ihrer Kunden systematisch weiter zu verfolgen und diese Daten zu sammeln. Partnerbörsen erstellen die Profile einschließlich der Gewichte auch nur einmal und gehen daher davon aus, dass die Gewichte stabil über die Zeit bleiben. Doch im Lauf einer Beziehung können sich diese durchaus verändern, etwa wenn ein Partner Interessen und Werte des anderen schätzen lernt, die vorher wenig wichtig erschienen. Daher ist ungewiss, ob diese Zahlen die tatsächliche Wichtigkeit erfassen.

Alles in allem bleibt der große Vorteil der Dating-Plattformen der Zugang, nicht die Möglichkeit, die wahre Liebe zu finden. Die kann sich ergeben, wenn Menschen sich direkt begegnen. Selbstdarstellung in Profilen und die Prinzipien von Ähnlichkeit, Komplementarität und Wichtigkeit, die aus diesen Profilen errechnet werden, sind die Grundlagen der Matching-Algorithmen, aber nicht notwendigerweise die wichtigsten Faktoren für eine erfolgreiche Beziehung. Das kann erklären, warum Liebesalgorithmen häufig versagen. Doch wie wir im nächsten Kapitel sehen werden, gibt es noch einen allgemeineren Grund: Im Gegensatz zum Schach ist die Suche nach der wahren Liebe ein Spiel voller Ungewissheiten, und das ist der Punkt, an dem Algorithmen Probleme bekommen.

Partnersuche passt sich der Software an

Man könnte leicht auf die Idee kommen, Algorithmen seien »neutrale« Werkzeuge, die den Zugang zu den geeignetsten Liebespartnern beschleunigen. Keineswegs. Je mehr Algorithmen gemeinsam mit uns die Welt bevölkern, desto mehr werden diese unsere Werte beeinflussen – selbst wenn die Algorithmen nicht besonders gut funktionieren. Das gilt auch für die Partnersuche. Ein Blind Date etwa ist heute kaum möglich; beide Beteiligten werden in den sozialen Medien nach der anderen Person suchen. Wie andere Technologie auch verändern Algorithmen das Verhalten und letztlich auch die Wünsche. Zunächst einmal kann Software die Partnersuche in ein optimales Suchproblem verwandeln und das Engagement verringern.

Immer auf der Suche nach jemand Besserem

Es gibt eine Geschichte, da hat eine junge Frau den Mann ihrer Träume gefunden und ist mit ihm im Bett. Als er sie eine Minute allein lässt, um ins Bad zu gehen, greift sie automatisch nach ihrem Smartphone, öffnet Tinder und beginnt nach anderen Männern zu suchen. Selber davon überrascht, vermag sie es sich nicht richtig zu erklären. Sie kann einfach nicht damit aufhören. Geschichten wie diese illustrieren, wie Software die Kontrolle übernimmt und unser Verhalten bestimmt.

Müheloser Zugang zu zahlreichen Partnern kann einen glücklichen »Satisficer« in einen ruhelosen »Optimierer« verwandeln. Satisficing ist ein Terminus aus der Entscheidungstheorie und bedeutet im Kontext des Datings, einen Partner zu wählen, der zufriedenstellend ist. Dazu müssen Sie eine Wunschvorstellung (ein Anspruchsniveau) definieren, den ersten Partner nehmen, der ihr entspricht, und jede weitere Suche einstellen. Nicht weiterzusuchen ist eine unabdingbare Voraussetzung für alle, die eine glückliche, langfristige Beziehung eingehen wollen. Optimierung heißt dagegen, nach dem absolut besten Partner zu suchen und nichts anderes zu akzeptieren. Da es viele Fische im Meer gibt und man unmöglich wissen kann, welche Alternativen sich noch ergeben können, führt Optimierung zu Ernüchterung und einer Kultur des »immer nach jemand Besserem suchen«. Selbst wenn ein Optimierer über den allerbesten Partner (so es ihn denn gäbe) stolperte, wüsste er es nicht und setzte seine Suche nach einem besseren offen oder heimlich fort. Datingseiten, die die Zahl der pro Tag sichtbaren Kandidaten nicht begrenzen, fördern dieses Verhalten. Ein Satisficer dagegen würde die Partnerbörse sofort verlassen und eine ernsthafte Beziehung beginnen.

Nun liegt es im ureigenen Interesse von Partnerbörsen, dass Kunden so lange wie möglich bei ihnen bleiben. Sie würden nur sehr bescheidene Gewinne machen, wenn jeder seine wahre Liebe in 11 Minuten fände und kündigte. Deshalb preisen viele Agenturen den Zugang stärker an als die Vermittlung der wahren Liebe. Mit Zugang zu einer großen Zahl von potenziellen Partnern kann man die Nutzer an die App binden, so wie Supermärkte Hunderte von Senf- und Marmeladensorten anbieten, damit die Kunden weiter suchen und kaufen. Daher fassen viele Nutzer ihre Datingprofile so ab, als wären sie Produktbeschreibungen im Online-Shopping, und entledigen sich anderer »Produkte« mit einem Wischen. In ihrer Welt ist wahre Liebe die nie endende Suche nach dem besten Angebot.

Optimieren Sie Ihr Profil, nicht Ihre Person

Im Motto zu diesem Kapitel wird Sophia zitiert, eine 13-Jährige aus New Jersey, die ihre Ansicht zum Dating äußert. Manche Mädchen wie Sophia verbringen viel Zeit in den sozialen Medien und später dann auf Partner-Online-Märkten, wo sie miteinander konkurrieren, indem sie ihre Selfies und ihre Reputation in Szene setzen. »Ich fühle mich, als hätte man mir durch Gehirnwäsche den Wunsch nach Likes eingepflanzt«, erklärte sie.[60] Selbstdarstellung ist natürlich nichts Neues, aber digitale Medien bieten praktische Werkzeuge zur Überarbeitung der eigenen Person. Der Psychologe Robert Epstein beschrieb ein Online-Date, das er mit einer Frau hatte.[61] Als sie sich schließlich zu einem Kaffee trafen, hatte die Frau nicht die geringste Ähnlichkeit mit der Frau auf den Bildern, die sie gepostet hatte. Sie war im Marketing tätig und dachte, es sei eine gute Strategie, Fotos zu posten, die »Kunden« anlockten. Epstein berichtete, später habe sie die Fotos durch die einer weiteren Frau ersetzt.

Werbung lebt von Schein und Schummeln, um Aufmerksamkeit zu erregen. In Online-Profilen wird geschwindelt in Hinblick auf Alter, Ehestand, Einkommen, Größe und Gewicht. Forscher von der Cornell University maßen und wogen Menschen und verglichen diese Zahlen anschließend mit deren Online-Profilen. Im Durchschnitt waren sie 2,5 Zentimeter kleiner und fünf Pfund schwerer, als sie gepostet hatten.[62] Je kleiner und schwerer sie waren, desto größer waren die Diskrepanzen. In einer Studie an über fünftausend Abonnenten von Online-Datingdiensten in Boston und San Diego zeigte sich, dass Kundinnen in den Zwanzigern bei ihrem Gewicht im Durchschnitt knapp 2,5 Kilo weniger angaben, als das entsprechende Gewicht in der allgemeinen Bevölkerung betrug. Ein Unterschied, der bei Frauen in den Dreißigern auf 7,7 Kilo und bei Frauen in den Vierzigern auf 8,6 Kilo anstieg.[63] Bei Männern fand man keine entsprechenden Diskrepanzen in den Gewichtsangaben. Außerdem kommen bei Frauen 29, 35 und 44 häufiger als jede andere Altersangabe vor.[64] Dagegen neigen Männer dazu, ihr Einkommen zu übertreiben, und mit gutem Grund. Wenn Männer behaupteten, ein Einkommen von 250 000 statt von knapp 50 000 Dollar zu haben, antworteten dreimal so viele Frauen. Männer lügen auch hinsichtlich ihres Familienstands: Wahrscheinlich ist einer von acht Online-Werbern verheiratet.[65] Die Forscher, die die Teilnehmer maßen und wogen, stützten sich auf hieb- und stichfeste Fakten, um das Ausmaß des Schummelns zu bestimmen. Doch selbst in den Fragebögen gab die Hälfte der US-Teilnehmer offen zu, bei ihrem Datingprofil gelogen zu haben, eine größere Zahl als bei den britischen Teilnehmern.[66]

Einige Online-Datingdienste scheinen selbst in die Trickkiste zu greifen. Sie geben eine größere Zahl von Kunden an, als sie tatsächlich haben, und behaupten, diese seien hochzufrieden.[67] Fragt man die Partnerbörsen nach den tatsächlichen Zahlen, geben sie sich sehr verschlossen.

Weibliche Bots

Sind Sie jemals von einer verzweifelten Witwe aus Somalia angeschrieben worden, die eine üppige Millionenerbschaft auf Ihr sicheres Bankkonto überweisen möchte? Wenn Sie antworten, bittet sie Sie wenig später, ihr Geld zu schicken, damit sie Zollgebühren und Steuern bezahlen kann, und verspricht Ihnen als Gegenleistung 10 Millionen Dollar. Haben Sie schon einmal eine E-Mail bekommen, in der Ihnen mitgeteilt wurde, dass Sie der glückliche Gewinner von 250 000 Dollar in einer Überseelotterie sind? Man sollte meinen, dass niemand, der bei klarem Verstand ist, auf solche plumpen Tricks hereinfällt. Doch manche Menschen lassen sich von ihrer Hoffnung blenden. So erläuterte ein britisches Opfer: »Bei einer solchen Menge Geld fängt man das Träumen an, und das will man sich nicht nehmen lassen.«[68] Einst mussten die Betrüger sich beim Ausspähen von Opfern auf Versuch-und-Irrtum verlassen, aber die KI-Werkzeuge, mit denen Facebook arbeitet, erleichtern das Geschäft. Wie jedem Kunden hilft Facebook mittels maschinellem Lernen auch diesen Leuten, jene Nutzer zu identifizieren, die am ehesten geneigt sind, auf die betrügerischen Anzeigen zu klicken. Die hinter solchen Betrügereien stehenden Unternehmen täuschen dabei die Facebook-Algorithmen über den Inhalt der Werbung, bezahlen im Schnitt 44 000 Dollar an Werbegebühren an Facebook und streichen von den Opfern dafür 79 000 Dollar ein.[69] Allein in Großbritannien fallen pro Jahr rund eine Million Erwachsene auf massenhaft vertriebene Betrugsanzeigen herein und büßen dabei insgesamt rund 3,5 Milliarden Pfund ein.[70]

Verliebt und verraten

Trotzdem widerstehen die meisten Leute der Versuchung, weil die Nachrichten unaufgefordert und von Fremden kommen. Um den Kreis ihrer Opfer zu erweitern, suchen sich deshalb internationale kriminelle Banden ihre Beute auf Datingseiten, die ja das erklärte Ziel haben, Fremde zusammenzubringen. Sie erstellen falsche Nutzerprofile, in der Regel mit gestohlenen und bearbeiteten Fotografien, häufig von Offizieren, Ingenieuren und attraktiven Models. Dann beginnen die Betrüger das Opfer online zu umgarnen, erklären ihm ihre Liebe und schlagen vor, von der Datingseite zu Instant Messenger oder E-Mail zu wechseln, damit man eine ernsthafte Beziehung eingehen könne. Schon im Stadium der Kontaktaufnahme verliebt sich manch ein Opfer.[71] Einige Wochen oder Monate später, nachdem Vertrauen und Liebe gewonnen sind, bitten die Kriminellen zunächst um kleinere Geldbeträge, danach um größere. An der Inszenierung können auch weitere Kriminelle der Gruppe beteiligt sein, die vorgeben, Ärzte zu sein, und dem Opfer mitteilen, der geliebte Mensch sei ins Krankenhaus gebracht worden und brauche dringend Geld, um die Arztrechnung zu bezahlen. Das Spiel endet, wenn das Opfer den Betrügern auf die Schliche kommt oder kein Geld mehr hat. Nach Auskunft des FBI verlieren die Opfer im Durchschnitt 14 000 Dollar.[72] Betrug beim Online-Dating ist heute an der Tagesordnung, und viele Opfer schämen sich zu sehr, um ihn öffentlich zu machen. Dabei lässt sich der Schwindel leicht entdecken. Wenn Ihre Online-Liebe anfängt, um Geld zu bitten, sollten Sie misstrauisch werden. Führen Sie eine Online-Bildersuche durch, und wenn das Foto der Person unter einem anderen Namen erscheint, wissen Sie Bescheid. Es gibt eine einfache Regel, mit der sich ein gebrochenes Herz und ein leeres Bankkonto vermeiden lassen: Schicken Sie unter keinen Umständen Geld an jemanden, den Sie online kennengelernt und nie persönlich getroffen haben.

Neben den finanziellen Einbußen leiden die Opfer auch unter dem Verlust einer Beziehung. Für die meisten ist der Verlust des Liebesobjektes schlimmer. Ein Opfer erklärte: »Ich habe so lange mit diesem Typ geredet, und dann hörst du eines Tages, dass alles Schwindel war, wie kann das so einfach vorbei sein? Ich meine, deine Gefühle ändern sich doch nicht.« Viele schämen sich und sind schockiert, wenn sie erfahren, dass sie einem Schwindel aufgesessen sind: »Du bist seelisch vergewaltigt worden. Sie haben dich total ausgequetscht«, und: »Mein Gott, wie kann man nur so dämlich sein!«[73]

Die Hightech-Version dieser menschlichen Schwindler sind Bots, also Roboter. Bots sind autonome Software-Agenten, die Entscheidungen ohne menschliche Intervention treffen. Im Gegensatz zu den gutartigen Bots wie den Editing Bots bei Wikipedia und den Webcrawlers, die entwickelt werden, um uns zu helfen, sollen bösartige Bots uns ausbeuten. Nehmen wir zum Beispiel den kanadischen Online-Datingdienst Ashley Madison, eine Datingseite für Seitensprünge, die mit dem Slogan »Das Leben ist kurz, geh fremd« lockt. Wie nicht anders zu erwarten, gab es einen Mangel an weiblichen Kunden. Das Geschäftsmodell sah vor, dass ein männlicher Kunde eine Gebühr bezahlen musste, um mit einer weiblichen Nutzerin ins Gespräch zu kommen. Als Hacker die Kundendaten der Seite stahlen – unter anderem E-Mails, Namen, Adressen und sexuelle Fantasien –, stellte sich heraus, dass Ashley Madison 70 000 »weibliche« Bots beschäftigte, die mehr als 20 Millionen gefälschte Nachrichten an männliche Fremdgeher geschickt hatten.[74] Die Hacker drohten damit, diese Daten zu veröffentlichen, wenn Ashley Madison nicht augenblicklich alle Aktivitäten einstelle. Als die Seitensprung-Seite ablehnte, veröffentlichten die Hacker die persönlichen Daten von 32 Millionen Kunden, einschließlich derer, die 19 Dollar bezahlt hatten, um gelöscht zu werden, was noch eine weitere fingierte Dienstleistung war. »Das wird meine Ehe ruinieren«, sagte ein Mann aus Kentucky und erklärte, er habe die Seite seit Jahren benutzt, um seine Frau zu betrügen.[75] Andere waren wütend über ihre Bloßstellung, nachdem sie nur gefälschte Profile von potenziellen Partnerinnen erhalten hatten. Rund 1200 der E-Mail-Adressen endeten mit .sa, gehörten also Kunden aus Saudi-Arabien, wo auf Ehebruch die Todesstrafe steht.

Sie sind ihm aufgefallen

Der überraschendste Teil dieser bitteren Geschichte ist der Umstand, dass Datingseiten selbst mit betrügerischen Tricks arbeiten, um potenzielle Kunden zur Registrierung zu verführen. In den USA verklagte die für Verbraucherschutz zuständige Federal Trade Commission (FTC) den Online-Dienst Match, weil er Hunderttausende Verbraucher mit gefälschten Anzeigen, die Liebesinteresse vorgaukelten, hinters Licht führte.[76] Match ist Eigentümer von Match.com, Tinder, OKCupid, PlentyOfFish und anderen Datingseiten.

Nehmen wir an, Sie suchen nach »dem Richtigen«. Die meisten Online-Dienste bieten Ihnen an, für Sie ein kostenloses Profil zu erstellen, dazu erhalten Sie die Option, eine Mitgliedschaft zu erwerben. Sie willigen ein, weil es kostenlos ist und Sie sehen wollen, was passiert. Zu Ihrer Überraschung erregt Ihr Profil rasch Aufmerksamkeit, und der Datingdienst benachrichtigt Sie, dass jemand Interesse an Ihnen bekundet habe (Abbildung 1.4). Doch da Sie sich nicht haben registrieren lassen, können Sie nicht antworten. Das veranlasst Sie, sich kostenpflichtig anzumelden und der Person zu antworten. Zu spät; das Profil ist jetzt »nicht mehr verfügbar«. O nein! Sie haben zu lange gewartet. Sie hätten sofort Mitglied werden sollen. Jetzt haben Sie womöglich »den Richtigen« verpasst.

Doch keine Sorge, was Sie vermuten, ist gar nicht passiert. Millionen dieser »Interessenten« sind Schwindler, die Sie zum Opfer ihres Liebesbetrugs machen wollen. Laut der FTC kannte der Datingdienst die Betrüger und hatte ihre Konten mit einem Warnhinweis versehen, aber die Nachrichten trotzdem weitergeleitet, um die Neugier der nicht zahlenden Kunden zu wecken und sie zu einer Registrierung zu verleiten. Insofern machten sich die Datingdienste die Betrüger zunutze, um die eigenen Kunden zu täuschen und von dem Betrug zu profitieren. Und der Trick funktionierte. Die FTC berichtete, dass sich binnen zwei Jahren rund 500 000 neugierige Kunden 24 Stunden nach Empfang einer falschen Nachricht wie »Sie sind ihm aufgefallen« als Mitglieder eingeschrieben haben. Wer die enttäuschende Antwort »nicht mehr verfügbar« erhielt, gehörte noch zu den glücklichen Opfern. Match versucht den Kontakt mit Betrügern zu verhindern, aber nur für seine Abonnenten. Für die nicht zahlenden Kunden nutzten sie die Betrüger als Köder. Das könnte erklären, warum Kunden häufig perplex sind, dass die Zahl der Interessensbekundungen stark nachlässt, sobald sie einmal kostenpflichtig registriert sind.

match.com

Er hat Ihnen gerade eine E-Mail geschrieben!

Sie sind ihm aufgefallen, und er hat sein Interesse an Ihnen geäußert … Könnte er der Richtige sein?

LESEN SIE SEINE E-MAIL

Wir werden Sie benachrichtigen, wenn andere Match.com-Mitglieder Interesse an Ihnen zeigen. Beachten Sie bitte: Diese E-Mail kann Werbung enthalten.

Match.com P.  O. Box 25472, Dallas TX 75225

ABBILDUNG 1.4: »Sie sind ihm aufgefallen.« Die Nachricht wird an Personen geschickt, die kostenlos ein Profil bei einem Datingdienst erstellt haben, um sie in eine kostenpflichtige Mitgliedschaft zu locken. Nur durch Zahlung der Gebühr können sie auf die Person reagieren, die ihr Interesse bekundet hat. Quelle: FTC 2019.

Arrangierte Ehen gehen online

In der westlichen Welt entwickeln sich Liebesbeziehungen zwischen zwei Individuen. Die Ehe kommt gewöhnlich zuletzt. Das ist nicht in allen Kulturen so. In Indien entscheiden traditionell die Eltern über die Partnerwahl. Zuerst kommt die Ehe, dann der Sex, dann die Liebe.

Das indische Institute of Management in Bangalore bietet mit seinen Landschaftsgärten ein idyllisches Studienumfeld. Sein Motto ist Lasst unsere Studien erhellend sein. Als ich dort im Rahmen eines Winterseminars über Entscheidungsfindung lehrte, sprach mich Sanjey, ein junger Professor, an. Er erzählte mir seine Geschichte von der Suche nach der wahren Liebe. Traditionell wählen in Indien die Familien der Braut und des Bräutigams in spe die passenden Partner aus. Im digitalen Zeitalter werden Heiratsannoncen auf einer Ehe-Website platziert, ähnlich wie im Westen, nur dass oft die Familien werben, nicht die Partner selbst. Üblicherweise gibt man in den Anzeigen Alter und Größe der jungen Frau oder des jungen Mannes an, dazu eine Reihe der folgenden Informationen: ihr Beruf und Gehalt, das erwartete Gehalt des Partners oder der Partnerin, den Beruf des Vaters, die Kaste und ob eine Mitgift verlangt wird. Aus den Antworten der Webseite sucht die Familie dann etwa zwischen drei und sechs Optionen aus. Dann entscheiden sich die Eltern für einen Kandidaten und arrangieren ein Treffen in einem Restaurant, wo die jungen Leute sich zum ersten Mal begegnen und die Möglichkeit haben, sich im Beisein der Eltern zu unterhalten. Wieder zu Hause fragen die Eltern ihre Kinder gesondert, ob sie sich einander als Partner fürs Leben vorstellen können. Wenn die beiden jungen Leute einverstanden sind, werden die Hochzeitsvorbereitungen in Angriff genommen. Lehnt einer von beiden den anderen ab, wird der Prozess mit den folgenden Kandidaten auf der Liste der Reihe nach wiederholt.

Sanjey hielt von dieser Prozedur gar nichts. Doch nicht, weil er, wie man denken könnte, das westliche Verfahren und seine größeren Wahlmöglichkeiten vorgezogen hätte, sondern weil er überhaupt keine Wahl haben wollte. Er bat seine Eltern, für ihn zu entscheiden, vertraute ihrer Erfahrung und hoffte einfach, sie würden eine attraktive, liebenswerte Frau für ihn aussuchen. Als ich ihn fragte, warum er sich nicht wenigstens ein paar von den Frauen ansehen wollte, erklärte er, er wollte die Gefühle einer Frau nicht verletzen, indem er sie ablehne. Das war eine bemerkenswerte Äußerung, die so gar nicht dem Geist der beiläufigen Ablehnung von Online-Kandidaten entspricht – buchstäblich mit einem Wischen der Hand. Sanjey heiratete die Frau, die seine Eltern für ihn aussuchten, und beide berichteten mir, dass sie sich inzwischen ineinander verliebt hätten und seit Jahren glücklich miteinander seien. In der Welt von Tinder verspricht Zugang das ersehnte Glück. In Sanjeys Welt bedeutet Zugang, andere abzulehnen und ihre Gefühle zu verletzen.

Auf die Eltern und ihre Erfahrung zu vertrauen ist für die meisten Westler unvorstellbar, ja, irrational. Doch wie Sanjey und andere Forscher am Indian Institute of Management höflich einwandten, stelle sich doch die Frage, warum Europäer und Amerikaner es für »rational« hielten, ihre Partner bei zufälligen Treffen in Discos zu suchen, wo sie einander kaum hören könnten und meist einen Drink zu viel intus hätten? Was wird sich durchsetzen, die Wahl der Eltern oder Liebeshormone? Es gibt noch eine dritte Option. Der wachsende Glauben an die Allmacht der KI könnte beiden Systemen ein Ende setzen.

Lassen wir KI unsere Partnerwahl optimieren

Wir träumen von autonomen Autos, weil sie angeblich sicherer sind als menschliche Fahrer. Warum nicht auch von autonomen Partner-Algorithmen? Die Argumente, die für das eine wie das andere sprechen, sind ziemlich gleich. Fast alle tödlichen Autounfälle sind auf menschliches Versagen zurückzuführen: Alkohol am Steuer, Drogen, Müdigkeit oder Ablenkung durch Handys. Selbstfahrende Autos würden die Menschen vor ihren eigenen Fehlern schützen. Genauso wird in Deutschland jede dritte Ehe geschieden, woraufhin die Beteiligten bereuen, die falschen Partner geheiratet und ihren Kindern emotionale Probleme bereitet zu haben. Warum lässt man nicht lieber einen Algorithmus »ans Steuer«, der davor bewahrt, falsche Entscheidungen zu treffen? Eine autonome KI würde die passenden Menschen zusammenbringen, bevor sie auf Irrwege geraten.

Ein KI-Philosoph rät: »Wir sollten uns die Meinung der Superintelligenz zu eigen machen, wann immer es möglich ist.«[77] Nach dieser Vorstellung von einer rationalen Entscheidung sollten wir bei der Wahl unserer Liebespartner auf einen Algorithmus und nicht auf uns selbst oder unsere Familien vertrauen. Zu Ende gedacht, würde eine autonome KI den optimalen Ehepartner ohne menschliches Zutun finden. Unser Beitrag würde sich darauf beschränken, zur festgesetzten Zeit an einem festgesetzten Ort zu erscheinen.

Eine solche KI ist Sciencefiction, aber die Sciencefiction existiert. »Hang the DJ«, eine Folge der britischen Fernsehserie Black Mirror, die nach dem dunklen Display eines Smartphones benannt ist, versetzt uns in eine Zukunftswelt, in der Liebesbeziehungen keine individuellen Entscheidungen mehr sind. In dieser Welt berechnet ein Liebesalgorithmus für jeden Menschen den optimalen Partner, und jeder leistet den Entscheidungen des Algorithmus widerspruchslos Folge. Darüber hinaus besitzt jede Beziehung ein Ablaufdatum, an dem die Liebenden sich pflichtgemäß trennen. Nach der Trennung paart der Algorithmus jedes Individuum – bis zum nächsten Ablaufdatum – mit einem neuen Partner.

Heute wird uns bereits gesagt, dass Algorithmen Persönlichkeit besser vorhersagen können als Menschen.[78] Wäre es da nicht töricht, der KI nicht zu folgen? Für einige Menschen wäre es sicherlich der höchste Komfort, sich der KI zu fügen: kein Flirten notwendig, keine Ablehnung möglich, keine verletzten Gefühle. Alles ist optimiert, weder Zeit noch Geld wird damit vergeudet, auf eigene Faust oder mithilfe von Datingseiten Partner zu suchen. Für andere wie mich ist diese Vorstellung ein reiner Albtraum. Die zwei Protagonisten in der Black Mirror-Folge, in der sich alle der KI vertrauensvoll unterordnen, nehmen ihr Leben wieder selbst in die Hand. Sie verlieben sich und beschließen, gegen den Willen des Algorithmus zusammenzubleiben. Aber diese zwei Menschen sind die große Ausnahme.

2

WAS KI AM BESTEN KANN: DAS PRINZIP DER STABILEN WELT

Mit der Entwicklung eines erfolgreichen Schachcomputers scheint man zum Kern der Intelligenz des Menschen vorgedrungen zu sein.

ALLEN NEWELL, J.C. SHAW UND HERBERT A. SIMON[79]

Stellen Sie sich vor, wie viel schwerer die Physik wäre, wenn Elektronen Gefühle hätten.

RICHARD FEYNMAN[80]

Warum kann KI beim Schach gewinnen, aber nicht den passendsten Partner finden? Schließlich scheint das Ziel doch ähnlich zu sein: Man weist jedem Zug oder Kandidaten einen Wert zu und sucht dann den besten aus. Schachalgorithmen wie Deep Blue weisen den Milliarden möglichen Stellungen, die das System vorhersehen kann, Werte zu, genauso wie Liebesalgorithmen Millionen von potenziellen Partnern Punkte zuordnen. Beim Schach klappt das wunderbar. Warum nicht auch in allen anderen Bereichen?

Herbert Simon war einer der Begründer der Künstlichen Intelligenz und bislang der einzige Wissenschaftler, der sowohl den Nobelpreis für Wirtschaftswissenschaften und den Turing Award – informell auch »Nobelpreis für Informatik« – erhalten hat. Simon glaubte fest, dass ein Computer, sobald er einmal den besten Schachspieler der Welt schlagen könne, sich die Essenz menschlicher Intelligenz angeeignet habe. 1965 sagte er vorher, dass Computer binnen zwanzig Jahren in der Lage seien, jede Arbeit zu leisten, deren der Mensch fähig sei.[81] Die Überzeugung, dass Schach den Gipfel menschlicher Intelligenz darstelle, erschien so selbstverständlich (und erscheint es für einige noch heute), dass sie von frühen Enthusiasten wie Kritikern der KI geteilt wurde. Als beispielsweise der Philosoph Hubert Dreyfus in seinem vielgelesenen Buch What Computers Can’t Do aus dem Jahr 1972 Simons Begeisterung aufs Korn nahm, bezog er sich trotzdem auf Schach als die Quintessenz allgemeiner Intelligenz, denn er hob ausdrücklich hervor, Computer seien nicht fähig zu gewinnen.[82]

Als Deep Blue 1997 schließlich den Weltmeister Garri Kasparow schlug, schien KI daher kurz vor dem Erwerb menschenähnlicher Intelligenz zu stehen. Alles, was KI noch braucht, um uns in jeder Hinsicht zu übertreffen, sind demnach mehr Rechenleistung und mehr Daten. Die Rechenkapazität ist jedoch keine knappe Ressource mehr. Nach dem Moore’schen Gesetz verdoppelt sich die Rechenleistung – die Zahl der Transistoren in integrierten Schaltkreisen – ungefähr alle zwei Jahre. Dieses exponentielle Wachstum war in der Tat entscheidend für die Siege von KI im Schach und Go. Simons Gleichsetzung dieses Erfolgs mit dem Erwerb menschlicher Intelligenz liegt dem Maschine-über-Mensch-Argument auf Seite 8 dieses Buchs zugrunde. In Simons Nachfolge vertreten heute Bestsellerautoren die Auffassung, wir stünden kurz davor, eine kolossale Superintelligenz zu konstruieren, die uns in allem, was wir wissen und tun, übertreffen wird.

Ich bin ein großer Bewunderer von Simons Werk, aber hier hat er – wie andere auch – eine grundlegende Unterscheidung übersehen.

Das Prinzip der stabilen Welt

Es gibt einen entscheidenden Unterschied zwischen Spielen wie Schach und Problemen wie der Suche nach einem Liebespartner. Im Schach kann jede Stellung durch ein Profil dargestellt werden, das den Ort jeder Figur – vom Bauern bis zum König – angibt. Ein Schachcomputer muss nicht auf die wahre Stellung schließen, weil das Profil die Stellung ist. Es gibt keine Ungewissheit. In vielen anderen Situationen, so auch im Online-Dating, haben wir es mit einer Fülle an Ungewissheit zu tun. Zwar hat jede Person ein Profil, aber wie wir gesehen haben, ist das Profil nicht die Person. Die Menschen neigen dazu, ihre Profile zu schönen, und selbst wenn sie gewissenhaft zu Werke gehen, wird ein Profil nicht der Vielschichtigkeit eines Menschen gerecht.

Allgemeiner kommt diese Erkenntnis im Prinzip der stabilen Welt zum Ausdruck:[83]

Komplexe Algorithmen arbeiten am zuverlässigsten in wohldefinierten, stabilen Situationen, in denen große Datenmengen zur Verfügung stehen. Die menschliche Intelligenz hat sich dagegen entwickelt, um Ungewissheit zu bewältigen, unabhängig davon, ob Big oder Small Data vorliegen.

Die Regeln von Schach und Go sind wohldefiniert und insofern stabil, als sie heute und morgen gelten. Es gibt keine Ungewissheit in Hinblick auf die Beschaffenheit der Regeln und auf die Frage, ob sie sich in Zukunft vielleicht unerwartet verändern. Dagegen müssen die Regeln zwischen Liebespartnern verhandelt werden und können jederzeit verletzt werden.

Das Prinzip der stabilen Welt lässt sich auch anwenden, um die Zukunft vorherzusagen. Dazu benötigt man eine solide Theorie, zuverlässige Daten sowie eine stabile Welt. Im August 2004 startete die NASA die Raumsonde Messenger, die im März 2011 in die Umlaufbahn um den Planeten Merkur eintrat, und zwar genau an der Stelle, die die NASA vor mehr als sechs Jahren vorhergesagt hatte. Diese unglaubliche Leistung war möglich, weil wir eine gute Theorie über die Planetenbewegungen haben, astronomische Daten außerordentlich zuverlässig und Merkurs Bewegungen in der Zeit stabil sind, ohne von menschlichem Verhalten signifikant beeinflusst zu werden. Für den Umgang mit solchen stabilen Situationen ist KI ideal geeignet – egal, ob es darum geht, das Handy durch Gesichtserkennung zu entsperren, die schnellste Route zu einem Zielort zu finden oder große Datenmengen zu sichten, zu sortieren und zu analysieren.

Aber Tech-Unternehmen versuchen häufig, menschliches Verhalten vorherzusagen, ohne über eine gute Theorie, zuverlässige Daten oder eine stabile Welt zu verfügen. Wenn Sie sich um eine Stelle bewerben, wird vielleicht ein Algorithmus Ihre Bewerbungsunterlagen durchleuchten und eine Empfehlung abgeben, ob Sie zu einem Einstellungsgespräch eingeladen werden sollen. Werden Sie einmal verhaftet, verwendet der Richter möglicherweise ein Programm, um zu berechnen, wie wahrscheinlich es ist, dass Sie noch vor Ihrer Gerichtsverhandlung wieder straffällig werden, und um auf dieser Grundlage zu entscheiden, ob Sie auf Kaution frei oder in Untersuchungshaft kommen. Falls Sie an Krebs erkranken, stützt sich das Krankenhaus unter Umständen auf einen Big-Data-Algorithmus, um eine personalisierte Therapie für Sie zu entwerfen. Wenn Sie ein Sozialarbeiter sind, werden Sie vielleicht zu den Familien geschickt, die ein Algorithmus als besonders gefährdet eingestuft hat. In allen diesen Fällen besteht ein Mangel an guter Theorie, zuverlässigen Daten oder einer stabilen Welt. Hier sind die versprochenen Wunderkräfte von KI oft ein Trugbild.

Die Unterscheidung, die ich treffe, entspricht derjenigen zwischen Risiko und Ungewissheit, die ursprünglich von dem Wirtschaftswissenschaftler Frank Knight stammt. In Risikosituationen, wie beispielsweise dem Roulette, kennen wir alle denkbaren Ergebnisse (die Zahlen von 0 bis 36) im Voraus sowie ihre Konsequenzen und Wahrscheinlichkeiten. Dagegen können wir in Situationen der Ungewissheit nicht alle Resultate oder deren Konsequenzen schon im Vorfeld wissen. Das ist der Fall, wenn man einen Mitarbeiter einstellt, ein Start-up gründet oder die Infektionsraten von Grippe oder Covid-19 vorhersagt. Finanzexperten verwenden die Begriffe »radikale Ungewissheit« oder »schwarze Schwäne«, um eine Welt zu charakterisieren, in der die Zukunft nicht berechenbar ist und Überraschungen geschehen.[84] In diesen Situationen, so Knight, reicht Rechenleistung nicht aus; stattdessen brauchen wir Urteilsfähigkeit, Intelligenz, Intuition und den Mut, Entscheidungen zu fällen. Viele Situationen sind eine Mischung aus Risiko und Ungewissheit, woraus folgt, dass sowohl Computer wie menschliche Intelligenz beteiligt sein müssen.

Das Prinzip der stabilen Welt stellt klar, dass Computer mit ihrer wachsenden Rechenleistung bald alle Probleme in stabilen Situationen besser lösen werden als Menschen. Beispielsweise könnte es bald ein Programm geben, dass in allen Spielen mit wohldefinierten Regeln dem Menschen überlegen sein wird. Doch dies gilt nicht für Situationen mit Ungewissheit. Wenn Zukunft und Vergangenheit nicht gleich sind, kann das Sammeln und Analysieren von Big Data – die immer aus der Vergangenheit stammen – zu falschen Schlüssen führen. Diese Erkenntnis hilft uns, besser zu verstehen, wo komplexe Algorithmen, gefüttert mit Big Data, Erfolg versprechen und wo Menschen unverzichtbar sind.

Erfolge von KI

»Ich für meinen Teil heiße unsere neuen Computer-Herrscher willkommen.« So gestand Ken Jennings 2011 seine Niederlage gegen den Supercomputer Watson von IBM in der Quizshow Jeopardy! ein.[85] Der neue Herrscher war so groß wie ein Zimmer und brauchte eine Kühltechnik von 20 Tonnen. Watson ist nach Thomas J. Watson benannt, dem Gründer von IBM. Er besitzt einen DeepQA[*]-Algorithmus, der mit Tausenden von Frage-Antwort-Paaren aus der Sendung trainiert wurde, damit er lernte, welche Antworten zu welchen Fragen passten. Es steht außer Frage, dass Watsons Leistung in der Spielshow wahrhaft eindrucksvoll war.

Die überwältigenden Siege von KI über menschliche Experten fanden alle in wohldefinierten Spielen statt, von Schach über Backgammon bis zu Scrabble. Jeopardy! hat zwar schon strenge Regeln, doch selbst die mussten angepasst werden, indem bestimmte Fragearten ausgeschlossen wurden.[86] Im Mai 2017 gewann das Computerprogramm AlphaGo gegen den damals in der Weltrangliste führenden Go-Spieler Ke Jie. Die Spiele wurden in China, wo Go-Meister wie Rockstars gefeiert werden, von 280 Millionen Zuschauern verfolgt.[87] Wie Schach ist Go ein wohldefiniertes Spiel mit festen Regeln, die für die Spieler nicht verhandelbar sind. Im Dezember wurde AlphaGo von seinem Nachfolger AlphaZero geschlagen. Beide verwenden tiefe neuronale Netze, aber AlphaGo lernt aus Spielen, die von menschlichen Experten gespielt wurden, während AlphaZero nur die Regeln des Spiels kennen muss und keinen weiteren menschlichen Input braucht. Das System nutzt einfach seine Rechenleistung, um Millionen von Spielen gegen sich selbst zu spielen und durch Versuch und Irrtum zu lernen, wie man gewinnt.

AlphaZero gewann auch gegen die besten menschlichen Spieler im Schach und Shogi, dem japanischen Schach. Doch deshalb ist AlphaZero noch lange kein Alleskönner. Es ist spezialisiert auf Spiele für zwei Spieler und Regeln, die bekannt und unveränderlich sind. Es kann nicht Auto fahren, Kinder unterrichten, die wahre Liebe finden, die Weltherrschaft an sich reißen oder andere Tätigkeiten ausüben, die mit Ungewissheit behaftet sind.[88] Entsprechend ist der Empfehlungsalgorithmus in Googles Suchmaschine hochspezialisiert und kann kein Go spielen. Tatsächlich haben AlphaGo und Googles Suchmaschine wenig miteinander gemein.

Ein anderes Beispiel für Erfolge von KI sind Gesichtserkennungssysteme, die nicht nur bei Grenzkontrollen und der Entsperrung von Handys Anwendung finden, sondern auch dazu benutzt werden können, Freunde auf Fotos in den sozialen Netzwerken zu erkennen, die Identität an Geldautomaten zu überprüfen und in Hotels einzuchecken. In einem Experiment wurde in Googles automatisches Gesichtserkennungssystem eine Riesenmenge von Bildern eingegeben, wobei man mehr als eintausend Stunden in einem Netzwerk von Hochleistungscomputern nutzte. Als es erkennen sollte, ob zwei Fotografien dieselbe Person zeigten, betrug seine Trefferquote 99,6 Prozent, was etwa dem Ergebnis entspricht, das Menschen bei dieser Aufgabe erzielen.[89] Diese Systeme arbeiten am besten, wenn man sein Gesicht unbeweglich vor die Grenzkontrollkamera oder sein Smartphone hält, das heißt, wenn es sich um kontrollierte Authentifizierung handelt, bei der ein Gesicht mit einem Foto verglichen wird. Wie in der Einleitung angemerkt, schneiden Gesichtserkennungssysteme bei der Massenüberwachung erheblich schlechter ab, da es sich um weniger kontrollierte Situationen handelt, in denen viele Individuen mit vielen anderen Individuen verglichen werden. Als die Polizei in Cardiff beispielsweise beim Champions-League-Finale 2017 zwischen Real Madrid und Juventus Turin die Gesichter von 170 000 Fußballfans überprüfte, zeigte das System 2470 Übereinstimmungen mit einer Datenbank von einer halben Millionen Fotos von Kriminellen, 2297 (93 Prozent) davon waren Fehlalarme.[90] Ganz ähnlich meldete Amazons Gesichtserkennungssystem bei einem Vergleich der Fotos von 535 Kongressabgeordneten mit einer Datenbank von Straftätern Übereinstimmungen bei 28 Mitgliedern, alle falsch.

KI-Systeme eignen sich auch bestens zur Aufdeckung von Versicherungsbetrug. Einer der Gründe, warum Sie vielleicht zu viel Krankenversicherung bezahlen, ist eine Form des Betrugs, der von korrupten Ärzten und Apothekern praktiziert wird. Das funktioniert so: Wenn ein Medikament 100 Euro kostet und die Erstattungsrate 90 Prozent beträgt, bekommt die Apotheke 90 Euro vom Versicherer zurück. Reicht die Apotheke nun Rezepte eines Arztes ein, ohne das Medikament tatsächlich verkauft zu haben, kann es illegalen Profit machen. In Portugal stellte ein Arzt zum Beispiel in einem Jahr Rezepte für 32 000 kostspielige Medikamente aus, was einer Betrugsrate von einer falschen Verschreibung alle drei Minuten entspricht.[91] Die Rezepte trugen die Namen verstorbener Patienten oder die gefälschten Unterschriften verstorbener Ärzte. Die betreffenden Ärzte und Apotheken waren für etwa 40 Prozent aller Verluste verantwortlich, die dem portugiesischen Haushalt durch Betrug entstanden. Um diesem Treiben ein Ende zu setzen, führte der Nationale Gesundheitsdienst Portugals ein elektronisches Rezeptprogramm ein, das die Ärzte verpflichtete, die Rezepte auszustellen und ihren Patienten per Textnachricht oder E-Mail zuzuschicken. Laut dem Gesundheitsdienst konnte das Programm den Betrug um 80 Prozent einschränken. In diesem Fall ist das Überwachungspotenzial der Software zweifellos zum Nutzen des Gesundheitswesens eingesetzt worden.

Es gibt zahllose Beispiele für Erfolge der KI, die weit über die menschlichen Fähigkeiten hinausgehen – von Industrierobotern, die unermüdlich und exakt die immer gleichen Bewegungen wiederholen, bis hin zu Suchmaschinen, die Wörter und Wortketten in riesigen Textbeständen auffinden können. Meine Grundthese lautet: Je besser definiert und je stabiler eine Situation ist, desto größer auch die Wahrscheinlichkeit, dass maschinelles Lernen (Maschinenlernen) den Menschen übertreffen wird.

In dem Augenblick, wo menschliches Verhalten ins Spiel kommt, macht sich Ungewissheit bemerkbar, und die Vorhersagen werden problematisch. KI kann in Schwierigkeiten kommen, wenn die Probleme nicht wohldefiniert oder die Situationen instabil sind oder beides. Das gilt nicht nur für den Erfolg von Liebesbeziehungen, sondern auch für die Prognose der nächsten großen Finanzkrise, die uns wahrscheinlich wieder so unvorbereitet treffen wird wie die Krise von 2008.

Die Unterscheidung zwischen stabilen, wohldefinierten Problemen und instabilen, unscharfen Problemen erinnert an diejenige zwischen »bekannten Unbekannten« und »unbekannten Unbekannten«, die ursprünglich aus der NASA-Terminologie stammt und dann durch die Äußerungen des amerikanischen Ex-Verteidigungsministers Donald Rumsfeld berühmt wurde. Doch die Unterscheidung ist nicht in Stein gemeißelt: Die meisten Situationen sind eine Mischung von beidem. Beispielsweise wird die Übersetzung von einer Sprache in eine andere durch ein stabiles System von grammatischen Regeln bestimmt, sie verlangt aber auch das Verstehen von mehrdeutigen Begriffen, von Humor, Ironie und anderen Quellen der Ungewissheit.

Psychologische KI

1957 sagte Simon voraus, in den folgenden zehn Jahren werde ein Computer den Schachweltmeister schlagen.[92] Und er hatte recht, abgesehen vom Zeitrahmen. Allerdings kam der Sieg nicht so zustande, wie sich Simon das vorgestellt hatte.

Für Simon bedeutete KI, Computern zu vermitteln, wie menschliche Experten ein Problem lösen. Der Computer ist der Schüler, der Mensch der Lehrer. Forscher tragen die Heuristiken (Faustregeln) des strategischen Denkens von Experten zusammen und programmieren diese in einen Computer, der die Regeln dann rascher und vollkommen fehlerlos ausführen kann. Nennen wir dieses Lehrer-Schüler-Konzept psychologische KI. Das ist die ursprüngliche Bedeutung von KI, wobei das »I« die von einer Maschine nachgeahmte Intelligenz des Menschen bezeichnet. Simon und seine Studenten gaben sich große Mühe, die Regeln ausfindig zu machen, indem sie die Schachmeister beobachteten und sie baten, während des Spiels laut zu denken. Das bewährte sich bei einigen Problemen, reichte aber nie, um einen Weltmeister zu schlagen.

Das Programm, das 1997 gegen Kasparow gewann, Deep Blue von IBM, ging nicht von dem Gedanken aus, dass menschliche Intelligenz und Maschinenintelligenz die beiden Seiten einer Medaille seien. Stattdessen stützte sich das Programm auf eine massive Rechenleistung, die 200 Millionen Stellungen pro Sekunde analysieren konnte. Die Maschine berechnet: Wenn ich A mache, und er macht B, dann mache ich C, und er macht D und so fort – wo bringt mich das hin? Kasparow dagegen konnte vielleicht drei Stellungen pro Sekunde bewerten. Als Joe Hoane, einer von Deep Blues Programmierern, gefragt wurde, welcher Anteil seiner Arbeit der Nachahmung menschlichen Denkens durch künstliche Intelligenz gewidmet sei, erwiderte er wegwerfend: »Das Projekt hat nicht das Geringste mit Künstlicher Intelligenz zu tun. Das Projekt heißt: Wir spielen Schach mit purer Rechengeschwindigkeit, gehen die Möglichkeiten durch und wählen einfach einen Zug.«[93]

Simon versuchte eine Maschine nach dem Bild des Menschen zu bauen. IBM nicht. Genauso wenig wie Google, als es AlphaZero entwickelte. Dessen Ingenieure nutzten das maschinelle Lernen, einen anderen Zweig der KI, der mit tiefen neuronalen Netzen und anderen Algorithmen arbeitet und nicht versucht, menschliche Intelligenz nachzuahmen. Das »I« im KI des Maschinenlernens hat keinen Bezug zur Intelligenz, wie wir sie kennen, weshalb häufig stattdessen der Begriff Automatische Entscheidungsfindung (ADM nach englisch Automated Decision-Making) verwendet wird. Die psychologische KI erwies sich als Versager beim Schach, während das maschinelle Lernen mit nackter Rechenleistung Erfolg hatte. Dieser Erfolg wurde auch als Abschied vom Traum einer der menschlichen Intelligenz nachempfundenen Künstlichen Intelligenz verstanden. Zwischen menschlicher Intelligenz und maschinellem Lernen gibt es in der Tat einen fundamentalen Unterschied. Das Schachprogramm, das rohe Rechenkraft einsetzt, weiß nicht, dass es einen Spieler überlistet. Es weiß noch nicht einmal, dass es ein Spiel namens Schach spielt; es ist einfach gut darin. Brachiale Computerleistung ist Hochgeschwindigkeitsrechnen, nicht Intelligenz.

Ist psychologische KI eine Sackgasse? Keineswegs. Sie hat ihre Berechtigung, wenn auch nicht, wie Simon glaubte, in Spielen wie Schach und anderen wohldefinierten Situationen. Das Prinzip der stabilen Welt liefert eine andere Perspektive: Psychologische KI kann wahrscheinlich in Situationen der Ungewissheit erfolgreich sein, etwa bei Zukunftsprognosen. Schließlich haben Menschen Heuristiken entwickelt, um Ungewissheit zu bewältigen. Und die psychologische KI hat das Ziel, diese Heuristiken in einen Computer zu programmieren.

Interessanterweise gehörte Simon auch zu den Vätern der Forschung über Heuristiken. So verdanken wir ihm die Erkenntnis, dass es bei Ungewissheit keinen Sinn hat, nach der optimalen Lösung zu suchen, sondern dass es effektiver ist, sich mit einer zufriedenstellenden Lösung abzufinden. In meiner eigenen Forschung habe ich seine Arbeit über psychologische KI auf Situationen der Ungewissheit übertragen.[94]

Effiziente Entscheidungsbäume

Wenn Entscheidungen zu treffen sind, verwenden Experten meist weniger Informationen als Neulinge; sie wissen, was relevant ist, und ignorieren den Rest. Wenn einige Aspekte (Merkmale) wichtiger sind als andere, halten sich die Experten vorrangig an diese Merkmale und stützen ihre Entscheidung unter Umständen nur auf das wichtigste Merkmal. Mein Forschungsteam und ich haben diese Intuitionen in einfache Algorithmen programmiert, die wir effiziente Entscheidungsbäume nennen (fast-and-frugal trees), um ihre rasche und ökonomische Logik zum Ausdruck zu bringen.

In von Konflikten heimgesuchten Ländern überall auf dem Globus werden unschuldige Zivilisten häufig verwundet oder getötet, weil sie an Kontrollpunkten irrtümlich für Terroristen gehalten werden. Die Soldaten an den Kontrollpunkten müssen entscheiden, ob in einem eintreffenden Fahrzeug Zivilisten oder Selbstmordattentäter sitzen, erhalten aber in der Regel kein systematisches Training für diese Entscheidungen über Leben und Tod. Zusammen mit Militärausbildern haben einige meiner Kollegen einen solchen effizienten Entscheidungsbaum entworfen, der zuverlässigere Entscheidungen ermöglicht.[95] Die erste Frage lautet: Hat das näherkommende Fahrzeug mehr als einen Insassen (Abbildung 2.1, linke Seite)? Wenn ja, ist daraus zu schließen, dass es sich bei den Insassen um harmlose Zivilisten handelt (weil die Besetzung eines Autos mit mehreren Selbstmordattentätern eine Verschwendung knapper Ressourcen bedeutete). Wenn nicht, ist die nächste Frage, ob das Fahrzeug an dem Kontrollpunkt langsamer fährt oder hält. Wenn nicht, lautet der Schluss, dass der Insasse feindliche Absichten hat. Wenn ja, so ist die dritte und letzte Frage, ob weitere Hinweise auf Gefahr vorliegen (etwa ein Bericht des Nachrichtendienstes über einen verdächtigen grünen Honda Civic in dem Gebiet). Der Baum, der sich leicht einprägen und abarbeiten lässt, kann die Zahl ziviler Opfer um mehr als 60 Prozent verringern.

Ein weiteres unsicheres Unterfangen ist die Identifikation von Banken in Schieflage. Banken versuchen mit komplexen »Wert im Risiko«-Modellen (»Value at Risk«) das notwendige Kapital zu schätzen, das sie brauchen, um mit einer hohen Wahrscheinlichkeit (wie etwa 99,9 Prozent) einen hohen Verlust zu vermeiden. Allerdings konnten diese Modelle nicht verhindern, dass 42 der 116 global operierenden Banken – die Ende 2006 noch Vermögenswerte in Höhe von mehr als 100 Milliarden Dollar hatten – während der Finanzkrise von 2008 Schiffbruch erlitten. Zum Teil liegt das Problem darin, dass diese Modelle zu komplex und anfällig für die ungewisse Welt des Bankwesens sind – sie müssen Millionen von Risikofaktoren und deren Korrelationen auf der Basis von häufig unzuverlässigen Daten einrechnen. Zusammen mit Experten von der Bank of England entwickelten meine Kollegen und ich einen effizienten Entscheidungsbaum, der mit den komplexen Methoden zur Vorhersage von Bankpleiten mithalten oder sie sogar übertreffen kann (Abbildung 2.1, rechte Seite).[96] Er stellt wiederum nur drei Fragen. Die erste betrifft die Eigenmittelquote einer Bank (»Leverage Ratio«, also überschlägig das Verhältnis zwischen Kernkapital und Gesamtheit des Geschäftsvolumens). Sie steht an erster Stelle, weil sie am besten zwischen den Banken unterscheidet, die bankrott gingen, und denen, die überlebten. Beispielsweise hatte die UBS, die während der Krise vom Schweizer Staat gerettet werden musste, nur eine Eigenmittelquote von 1,7 Prozent und hätte von dem einfachen Algorithmus sofort die rote Flagge gezeigt bekommen. UBS hätte die beiden anderen Bedingungen des Baums erfüllt, aber die Logik von effizienten Entscheidungsbäumen besagt, dass jede Frage in der Reihenfolge ihrer Bedeutung für sich alleine steht und dass ein schlechter Wert sich nicht durch gute Werte bei anderen Merkmalen kompensieren lässt. Diese Logik ähnelt der Funktionsweise des menschlichen Körpers und anderer komplexer Systeme: Perfekt arbeitende Nieren können kein Herzversagen wettmachen.

Psychologische KI kann, wie im Fall von effizienten Entscheidungsbäumen, menschliche Entscheidungen fördern und verbessern. In jedem der Beispiele wird Expertenwissen in einen Algorithmus verwandelt. Im Gegensatz zu vielen komplexen Algorithmen ist psychologische KI transparent, was ihren Nutzern ermöglicht, einen Algorithmus zu verstehen und ihn an veränderte Situationen anzupassen. In Situationen der Ungewissheit sind sowohl menschliche Urteilsfähigkeit wie Transparenz unentbehrlich.[97] Transparenz ermöglicht den Aufsichtsbehörden wie der Bank von England eine schnellere Entdeckung von Regelmissbrauch. Wenn Banken dagegen Millionen von Risikofaktoren schätzen, wie es bisher der Fall war, ist das Ergebnis kaum durchschaubar.

ABBILDUNG 2.1: Psychologische KI. Effiziente Entscheidungsbäume sind Beispiele für psychologische KI, das heißt, Entscheidungshilfen auf der Basis von psychologischen Prinzipien. Links: Ein effizienter Entscheidungsbaum für Entscheidungen an Kontrollpunkten, der zivile Opfer reduziert. Rechts: Ein effizienter Entscheidungsbaum zur Identifizierung von Banken, die in finanzieller Schieflage sind. Im Allgemeinen hat ein effizienter Entscheidungsbaum eine kleine Anzahl von Fragen und ermöglicht nach jeder eine Entscheidung. Nach Katsikopoulos et al. (2020).

Mit KI tricksen

Das Prinzip der stabilen Welt hilft uns zu verstehen, welche Probleme eine KI-Anwendung eher lösen kann als andere. Allerdings reicht uns dieses Wissen noch nicht, um einzuschätzen, ob es auch in der Wirklichkeit erfolgreich sein könnte. Vielfach ist KI kommerzieller oder militärischer und nicht wissenschaftlicher Natur. Kommerzielle Organisationen können Ziele verfolgen, die im Widerspruch zum offiziell verkündeten Zweck ihres Produkts stehen. Selbst in einer stabilen Welt, in der ein KI-Produkt dazu gedacht ist, dem Wohl der Gesellschaft zu dienen, kann KI missbraucht werden und versteckte Interessen verfolgen. Das Problem ist nicht die Technologie, sondern wer hinter ihr steht. Ich möchte an drei Fällen zeigen, wie Menschen hereingelegt werden, und zwar in Situationen, in denen KI funktioniert und in denen sie nicht funktioniert: wie eine potenziell nützliche KI-Anwendung für Profitzwecke ausgenutzt wird, wie man einen mittelmäßigen Algorithmus eindrucksvoll aussehen lässt und wie ineffektive technische Lösungen vermarktet werden, selbst wenn die Investition in Menschen effektiver wäre.

Wie elektronische Patientenakten missbraucht wurden

Eine Patientenakte enthält alle relevanten Informationen über die Krankengeschichte eines Menschen – Testergebnisse, Diagnosen, Behandlungsergebnisse und Ähnliches. Diese vertraulichen Daten wurden bisher auf Papier festgehalten. Allerdings haben diese Papierdokumente den Nachteil, dass es für Ärzte bei neuen Patienten manchmal schwierig ist, die Krankengeschichten rechtzeitig herbeizuschaffen, sodass Tests und Untersuchungen unnötig wiederholt werden müssen. Das steigert die Kosten und verkürzt die wertvolle Zeit, die die Ärzte brauchen, um den Patienten zuzuhören und mit ihnen zu sprechen. Hinzu kommt, dass ein neuer Arzt, der über wichtige Aspekte aus der Krankengeschichte eines Patienten nicht informiert ist, dem Patienten unverträgliche Medikamente verordnen kann. Eine Lösung dieser Probleme verspricht die elektronische Gesundheitsakte, auch als elektronische Patientenakte bekannt. Sie wird als effizientes Werkzeug für den schnellen Zugang zur Information angepriesen. Diese Akte hat Algorithmen zur Aufzeichnung und Speicherung von Information, auch von Bildern, auf die der Arzt rasch zugreifen kann, sofern die Akte nicht Hunderte von Seiten umfasst. Daten zu speichern und sie rasch verfügbar zu machen ist eine ideale Aufgabe für KI-Programme – Daten, die die Vergangenheit betreffen, auf eine (hoffentlich) zuverlässige Weise zu ordnen.

Auf einem Gipfeltreffen im Jahr 2003 gab der britische Premierminister Tony Blair gegenüber dem amerikanischen Präsidenten George W. Bush mit seinem neuen, milliardenschweren Projekt »Connecting for Health« an, das gesamte britische Gesundheitssystem zu digitalisieren. Wieder in Washington, drängte Bush darauf, ein ähnliches Programm zur Digitalisierung der Gesundheitsakten zu entwickeln.[98] Nach Schätzung von Forschern der RAND Corporation könnte das amerikanische Gesundheitssystem durch eine rasche Übernahme des Programms 81 Milliarden Dollar pro Jahr einsparen.[99] Diese Schätzung hatte zur Folge, dass die USA die britische Investition in den Schatten stellten. Sie legten ein staatliches Förderprogramm in Höhe von 30 Milliarden Dollar auf und lösten ein explosionsartiges Wachstum der Branche aus. Endlich ein Fall, in dem sich die Investition in eine Datenbank für die Patienten auszahlte, sollte man denken. Doch als die RAND Corporation die Situation 2013 überprüfte, verflüchtigte sich der Optimismus. In Krankenhäusern mit elektronischen Gesundheitsakten stiegen die Kosten, anstatt zu sinken, von rund 2 Billionen Gesamtausgaben im Jahr 2005 auf 2,8 Billionen im Jahr 2013.[100] Außerdem berichtete RAND, die Qualität und Effizienz des Gesundheitswesens hätten sich, wenn überhaupt, nur marginal verbessert.

Warum trug eine so gute Idee keine Früchte? Die Antwort lautet: Das System wurde missbraucht.

Nehmen wir die Hoffnung auf Kostenersparnis. Der Plan war, dass der leichte Zugang zu früheren Tests die unnötige Wiederholung von Tests verringern würde. Tatsächlich aber schlug die Software jedes Mal, wenn ein Arzt Daten in die Akte eingab, automatisch neue Verfahren vor. Auf diese Veranlassung hin neigten die Ärzte bei der Verwendung der elektronischen Patientenakte in der Regel dazu, mehr statt weniger Tests durchzuführen, nur um sicherzugehen.[101] Fast alle diese automatischen Warnungen scheinen Fehlalarme gewesen zu sein.[102] Unternehmen missbrauchten die Software als Werbeplattform, um ihren Profit und die Kosten des Gesundheitswesens in die Höhe zu treiben.

Nehmen wir jetzt die Hoffnung auf besseren Zugang. Der Plan war, dass elektronische Patientenakten Ärzten und Patienten rasch und jederzeit Zugriff auf alle erforderlichen Gesundheitsinformationen ermöglichten. Die großzügige finanzielle Förderung führte jedoch zu Konkurrenz unter den Unternehmen. Daher waren die Systeme, die von den Krankenhäusern und Ärzten installiert wurden, proprietär, das heißt, sie verwendeten inkompatible Formate und geheime Algorithmen, die nicht dazu bestimmt waren, mit anderen Systemen zu kommunizieren.[103] In Wahrheit war der Zugang also begrenzt, nicht universell – so wie man das Ladekabel eines Mac nicht für einen PC oder auch nur für einen alten Mac nutzen kann. Die konkurrierenden Software-Unternehmen hatten die staatlichen Fördergelder dazu verwendet, die eigenen Gewinne zu vermehren. Das vorrangige Ziel war Markentreue, nicht Patientensicherheit.

Nehmen wir nun die Hoffnung auf eine verbesserte Gesundheit der Patienten. Wie erwähnt, fehlt es an Beweisen dafür, dass die Patienten tatsächlich von ihren elektronischen Gesundheitsakten profitierten.[104] Einige Softwaresysteme veranlassen Ärzte sogar, die Diagnose eines Patienten zu verschlimmern, was sich in Abrechnung und Gewinn positiv niederschlägt und zu weiteren Tests und Therapien führt. All das löst Ängste bei den Patienten aus, die nicht wissen, dass ihre schwerwiegende Diagnose möglicherweise nur im Interesse der Abrechnung gestellt wurde. Nicht alle Ärzte sind sich dieser Probleme bewusst. Ein Grund ist, dass die Verkäufer von elektronischen Patientenakten sich der Haftung durch Vertraulichkeitsvereinbarungen in ihren Verträgen entziehen können, das heißt, es ist Ärzten und Kliniken verboten, über Mängel, die sie in der Software entdecken, in offenen Foren zu berichten.[105] Ärzte, die sich über softwarebedingte Sicherheitsprobleme, schwere Verletzungen und Todesfälle geäußert haben, verlangten später, dass ihre Namen nicht genannt wurden, weil sie befürchteten, verklagt zu werden.[106]

Die traurige Wahrheit ist, dass elektronische Patientenakten von Software-Unternehmen zur Maximierung der Abrechnungen und nicht des Patientenwohls entwickelt wurden. Krankenhäuser und Ärzte haben mit den staatlichen Förderungsgeldern von Medicare HITECH elektronische Systeme gekauft, um sich damit ihre Dienste von Medicare noch teurer bezahlen zu lassen. Diskussionen über elektronische Patientenakten erwähnen dieses Problem jedoch nur selten und drehen sich stattdessen meist um Fragen der Privatsphäre und des ärztlichen Zeitaufwands. In der Tat ist die Privatsphäre ein legitimer Aspekt, wenn Hunderttausende von Ärzten, Mitarbeitern der Gesundheitsämter und Versicherungsangestellten Zugriff auf die privaten Akten der Patienten haben. Krankenhäuser wurden gehackt, Akten gestohlen, Operationen abgesagt und Kliniken erpresst, sodass sie zahlen mussten, um ihre Akten zurückzubekommen. Jüngst wurden sogar Patienten zu Opfern von Hackern: Zehntausende Patienten von Psychotherapiepraxen in Finnland wurden mit der Drohung erpresst, man werde ihre höchst privaten Gespräche mit ihren Therapeuten online veröffentlichen.[107]

Dieser Sicherheitsmangel und der Umstand, dass die Verwaltung elektronischer Patientenakten den Ärzten noch weniger Zeit für ihre Patienten lässt, sind ernstzunehmende Probleme.[108] Doch sie zu beheben setzt zunächst die Lösung des grundlegenderen Problems voraus, dass der potenzielle Nutzen elektronischer Patientenakten von einem primär profitorientierten System aufgefressen wird. Es gibt zu viele Mitspieler: Krankenhäuser, Verwalter, Lobbyisten, Pharmariesen, Versicherer – und die verfolgen Interessen, die oft mit denen der Patienten und deren Wohlergehen im Widerstreit stehen. Solche Interessen sind kein fruchtbarer Boden für die Verwendung von KI im Dienst von Patienten. Um die Früchte der digitalen Gesundheit zu ernten, brauchen wir Gesundheitssysteme, die zuerst und vor allem den Patienten dienen.[109] Andernfalls verkommt die digitale Gesundheit bestenfalls zur Notlösung oder wird das Problem noch verschlimmern.

Der texanische Scharfschütze

Elektronische Gesundheitsakten könnten dem Wohl von Patienten dienen; die Daten sind bekannt und müssen lediglich zugänglich gemacht werden. Nehmen wir nun eine Situation, die eher ungewiss als relativ stabil ist: die Vorhersage einer Scheidung. Das Prinzip der stabilen Welt lässt darauf schließen, dass Algorithmen uns hier vermutlich nicht weit bringen. Doch mit einem schlauen Trick kann man dafür sorgen, dass diese Vorhersagen besser aussehen, als sie sind. Manchmal ist dieser eine Selbsttäuschung, das heißt, ein unbeabsichtigtes Ergebnis aus Unwissenheit, es kann aber auch ein vorsätzlicher Trick sein, um die Menschen zu beschwatzen und beeindrucken.

Scheidung vorhersagen

Nehmen wir an, Sie sind frisch verheiratet. Möchten Sie wissen, ob Ihre Ehe mit einer Scheidung endet? Man könnte einwenden, dass die Frage hypothetisch sei, da sich vorher schlecht sagen lässt, ob ein Paar sich trennen wird. Doch klinische Studien haben berichtet, sie hätten einen Algorithmus gefunden, der mit einer Genauigkeit von rund 90 Prozent vorhersagt, ob ein Paar sich in den folgenden drei Jahren scheiden lässt.[110] In einer Studie nach der anderen wurde behauptet, der Algorithmus weise ein hohes Maß an Genauigkeit auf, wobei sich die Angaben zwischen 67 und 95 Prozent bewegten.[111] Diese beeindruckenden Ergebnisse fanden große Aufmerksamkeit in den Medien, und Liebeslabors und Heiratsinstitute warben mit »wissenschaftlich begründeten Vorhersagen« der Beziehungsstabilität.[112] Anders als in Online-Datingagenturen ist der Algorithmus in diesen klinischen Studien transparent. Er verwendet Merkmale wie Bildungsstand, Zahl der Kleinkinder, Gewalt, exzessives Trinken und Drogenkonsum.

Wer hätte gedacht, dass ein Algorithmus angeben kann, ob ein junges Paar sich scheiden lässt? In Zukunft können Sie mit Ihrem Partner zu einem Liebeslabor fahren, sich interviewen lassen und dann erfahren, ob Sie beide sich wahrscheinlich scheiden lassen oder nicht. Wenn die Antwort Ja ist, wenden Sie sich am besten gleich an einen Anwalt, statt noch mehr Zeit in Zweisamkeit zu vergeuden. Oder besser noch, konsultieren Sie das Liebeslabor, bevor Sie sich das Jawort geben. Doch überlegen wir einen Augenblick. Wenn es ums Heiraten geht, haben wir es nicht mit einer stabilen Welt zu tun. Ob ein Paar zusammenbleibt, hängt von vielen Faktoren ab, die mit viel Ungewissheit behaftet sind. Das allein ist Grund genug, um diesen Berichten mit Skepsis zu begegnen. Und tatsächlich beruhen die Zahlen auf einer Illusion. Sie lässt sich in manchen sozialwissenschaftlichen Studien beobachten, nicht nur bei der Vorhersage einer Scheidung. Lassen Sie mich erklären.

Der Scharfschütze

Ein texanischer Cowboy schießt aus einer ziemlichen Entfernung auf eine Scheunenwand. Stolz präsentiert er seine erstaunliche Leistung: Die Einschusslöcher sind dicht um das Zentrum der Zielscheibe angeordnet. Wie schafft er das? Jahre unermüdlichen Trainings? Ein Wunderrevolver?

Nichts von alledem; die Strategie ist viel einfacher. Der Revolverheld hat einfach zuerst geschossen und dann die Kreise des Ziels um die Einschusslöcher gemalt, sodass das Zentrum genau in der Mitte liegt (Abbildung 2.2). Natürlich erhält der Cowboy bei dieser Vorgehensweise bessere Ergebnisse, als wenn er die Zielkreise vor dem Schießen auf die Wand gemalt hätte. Zählt man alle Schüsse, die das Ziel getroffen haben, kommt man auf neun von zehn möglichen Treffern oder auf eine Genauigkeit von 90 Prozent. Hätte er es richtig gemacht, das heißt, das Ziel zuerst aufgemalt, etwa in der Mitte der Scheune, wäre die Trefferquote wahrscheinlich viel kleiner gewesen. Man könnte diesen Trick als Schummeln bezeichnen, und das völlig zu Recht. In der Wissenschaft nennt man das Datenanpassung, was an sich nichts Unmoralisches ist. Aber bei dem Versuch, dieses brillante Ergebnis als Vorhersage zu präsentieren, handelt es sich eindeutig um Täuschungsabsicht.

ABBILDUNG 2.2: Schieß zuerst, mal die Zielscheibe später. Der texanische Scharfschütze schießt zuerst (links) und malt dann die Zielkreise um die Kugellöcher, sodass das Zentrum in der Mitte zu liegen kommt (rechts).

In unserer Analogie ist der Scharfschütze der Algorithmus, das Ziel die Vorhersage, die der Algorithmus macht, und die Kugellöcher sind die Daten. Um das Ziel in eine ideale Position zu bewegen, hat der Scharfschütze zwei Freiheitsgrade: nach links oder rechts und rauf oder runter an der Scheunenwand. Mit den beiden kann er jedes beliebige Trefferbild auf wundersame Weise um das Schwarze zentrieren. Diese Freiheitsgrade bezeichnet man als die freien Parameter eines Algorithmus. Algorithmen können mehr als zwei Parameter haben. Sogar erheblich mehr besitzen beispielsweise Finanzmodelle, was ihnen beträchtlichen Bewegungsspielraum für die Erklärung von fast allem einräumt – im Nachhinein.

Hätte der Scharfschütze zuerst das Ziel auf die Scheune gemalt und dann die Schüsse so dicht neben das Zentrum gesetzt, verdiente er in der Tat Bewunderung. Entsprechend handelt es sich um echte Vorhersagen, wenn sie zuerst abgegeben und anschließend die Daten gesammelt werden. Der Unterschied zwischen Anpassung und Vorhersage wird allen Studierenden des maschinellen Lernens gelehrt und sollte allen Wissenschaftlern, egal welcher Disziplin, klar sein. Doch in den Sozialwissenschaften und in Wirtschaftsunternehmen wird der Algorithmus häufig lediglich den Daten angepasst und das Ergebnis dann als Vorhersage ausgegeben.[113] Was kann man daraus lernen?

Überprüfen Sie immer, ob die eindrucksvolle Leistung eines Algorithmus durch Vorhersage oder durch Anpassung zustande gekommen ist.

Gehen wir noch einmal zurück, und wenden wir das Prinzip auf die bemerkenswerte Genauigkeit der »Vorhersagen« von Scheidungen an. Tatsächlich ist in keiner dieser Studien etwas vorhergesagt worden. Die Autoren wussten schon immer, welche Paare noch zusammen waren und welche sich hatten scheiden lassen, woraufhin sie, wie der texanische Scharfschütze, ihren Algorithmus den Daten angepasst hatten.[114] Richtig wäre gewesen, ein Zwei-Schritt-Verfahren zu wählen: mithilfe einer Gruppe von Paaren den Algorithmus anzupassen (zu entwickeln) und dann die Vorhersage an einer neuen Gruppe von Paaren zu überprüfen.

Genau dies taten unabhängige Forscher mit einer neuen Gruppe von 528 Personen.[115] Als sie den Algorithmus an die Daten anpassten, »sagte« er – im Nachhinein! – einen ähnlich hohen Prozentsatz (65 Prozent) der geschiedenen Paare zutreffend als geschieden »voraus«. Als der Algorithmus dann an einer neuen Gruppe von Paaren getestet wurde und noch nicht bekannt war, welche der Ehen mit einer Scheidung endeten, ergab sich ein ganz anderes Bild. Der Algorithmus sagte nur 21 Prozent der tatsächlichen Scheidungen richtig voraus.[116] Das ist seine wahre Genauigkeit.

Dabei stellt sich noch eine weitere Frage: Wie gut sind 21 Prozent? Sind sie besser als bloßes Raten? Bei den untersuchten Paaren ließen sich 16 Prozent in den ersten drei bis sechs Ehejahren scheiden. Mit anderen Worten, wenn Sie die Augen schließen und einfach vorhersagen, dass jedes Paar sich scheiden lässt, können Sie bereits davon ausgehen, dass Sie zu 16 Prozent richtig liegen. Das ist die Messlatte. Jeder Algorithmus, der die Mühe wert ist, muss daher erheblich besser sein. In der betrachteten Studie schnitt der Algorithmus ein wenig besser ab, aber nicht sonderlich. Die wahre Leistung des Algorithmus lag 5 Prozentpunkte über dem Zufall; alles andere war heiße Luft.

Hüten Sie sich vor dem Scharfschützen. Selbst wenn der Ausdruck »Vorhersage« gebraucht wird, wie in den Studien über den Scheidungsalgorithmus, muss es nicht immer stimmen. Um das herauszufinden, muss man überprüfen, ob der Algorithmus zuerst an einer Datenstichprobe entwickelt und an einer zweiten, neuen Stichprobe überprüft wurde. Dieser Zwei-Schritt-Prozess heißt Kreuzvalidierung. Manche Neurowissenschaftler, Psychologen, Soziologen, Ökonomen und Erziehungswissenschaftler passen ihre Algorithmen dennoch einfach ihren Daten an, lassen es damit gut sein und geben die imposanten Ergebnisse bekannt.[117] Vielleicht fragen Sie sich, warum. Ein Grund ist der Umstand, dass dadurch eindrucksvollere Zahlen zustande kommen. Solche Zahlen begeistern die Öffentlichkeit, die nichts von dem Scharfschützen-Trick ahnt, und überzeugen sie von den magischen Kräften eines Algorithmus. Allerdings gibt es eine freundlichere, wenn auch noch beunruhigendere Erklärung. Eine ganze Menge Sozialwissenschaftler scheinen nicht zu verstehen, dass Anpassung nicht Vorhersage ist, eine Verwechslung, die eine lange Geschichte hat und in vielen anderen Studien dokumentiert wurde.[118] Noch Anfang des 21. Jahrhunderts war in der Psychologie die reine Anpassung der Daten üblich, ohne die wirkliche Vorhersagekraft zu testen.[119] Heute beginnen sich Sozialwissenschaftler in wachsendem Maße über die Bedeutung echter Vorhersagen klar zu werden.

Finanzielle Scharlatanerie ist ein anderes Beispiel für den Scharfschützen-Trick. Vielleicht haben Sie schon beeindruckende Aussagen wie die folgende gehört: »Unser Rückvergleich zeigt: Diese innovative Strategie schlug den Markt der letzten 10 Jahre im Schnitt um 5 Prozent.« Rückvergleiche oder Backtests sind historische Simulationen einer Investitionsstrategie. Wie im Fall des Scheidungsalgorithmus sind alle Daten bekannt, und eine Vielzahl von Strategien wird diesen Daten angepasst. Diejenige, die am besten passt, wird dann als beeindruckende Investitionsstrategie beworben – wieder der Scharfschützen-Trick. Auf dieses Problem wurde oft genug mit aller Deutlichkeit hingewiesen, trotzdem fahren viele Akteure in der Finanzwelt unbekümmert damit fort, ihre Algorithmen den Daten anzupassen, ohne immer anzugeben, wie viele Algorithmen sie ausprobiert haben.[120] Ehrlichkeit würde keine besonders aufregenden Zahlen produzieren, sodass die Kunden möglicherweise dann lieber in die Algorithmen der Konkurrenz investieren. Die Einführung eines Ehrlichkeitskodex wäre auch keine Lösung, denn er würde die Ehrlichen aus dem Geschäft drängen. Vielmehr bräuchte es mehr informierte Bürger, die den Trick durchschauen.

Der Physiker Niels Bohr pflegte zu sagen: »Prognosen sind schwierig, besonders wenn sie die Zukunft betreffen.« Die Bemerkung wurde Mark Twain, Yogi Berra und einer Vielzahl anderen für ihre witzigen Äußerungen bekannten Personen zugeschrieben.[121] Aber sie ist durchaus ernst zu nehmen. Wie wir gesehen haben, haben viele sogenannte Vorhersagen nichts mit der Zukunft zu tun. Die Rückschau ist leicht, aber die Vorhersage schwierig, vor allem, wenn es um Liebe und Scheidung geht.

Der Mondflug

Vielleicht haben Sie schon einmal die IBM-Werbung gesehen, in der eine Maschine, die wie ein sprechender Kasten aussieht, mit Prominenten wie Bob Dylan, Serena Williams und anderen schäkert. Watsons Ruhm begann 2011 nach dem Gewinn im Fernsehquiz Jeopardy! gegen die beiden besten Teilnehmer, die es jemals in der Show gegeben hatte. Nach diesem spektakulären Erfolg stieg der Wert der IBM-Aktien um 18 Millionen Dollar.[122] Ginni Rometty, der CEO von IBM, verkündete, der »nächste Mondflug« würde das Gesundheitswesen sein – nicht weil Watson die geringste Ahnung davon hatte, sondern weil dort das große Geld zu verdienen war. Um Watson an das Gesundheitswesen heranzuführen, wurde er mit medizinischen Daten gefüttert, beispielweise mit Fallgeschichten und Therapien von Patienten. Bevor klar war, ob Watson tatsächlich lernen könne, Diagnosen zu stellen und Therapien zu empfehlen wie ein Arzt, wurden hohe Erwartungen geweckt. Rometty rief ein »Goldenes Zeitalter« aus, in dem KI »real ist, Mainstream ist, hier ist und das Gesundheitswesen fast von Grund auf verändern kann«.[123] Die PR-Abteilung von IBM erweckte den Eindruck, Watson werde das Gesundheitswesen revolutionieren – oder habe es bereits getan –, worauf das Watson-Team unter Druck kam, weil es sein Produkt rasch auf den Markt bringen musste.[124] Die erste Anwendung war die Onkologie.

Watson for Oncology wurde weltweit vermarktet, um Therapien für Krebspatienten vorzuschlagen. Von M. D. Anderson, einem der angesehensten Krebszentren in den USA, bis zu den Manipal Hospitals in Indien kauften Krankhäuser die Dienstleistungen von Watson und bezahlten pro Patient zwischen 200 und 1000 Dollar. Doch Watson konnte noch nicht einmal die Leistung eines ordentlichen menschlichen Arztes abliefern, von einem Mondflug gar nicht zu reden. Viele Therapieempfehlungen des Programms erwiesen sich als falsch und einige als lebensgefährlich für die Patienten.[125] Auf Hype folgte schließlich Bescheidenheit, als IBM zugab, dass Watsons medizinisches Wissen sich auf dem Niveau eines Medizinstudenten im ersten Jahr bewege.[126] M. D. Anderson kündigte den Vertrag, als klar wurde, dass die Software die Versprechungen der Marketingabteilung von IBM nicht erfüllen konnte. Das Krebszentrum hatte 62 Millionen Dollar ausgegeben, was Watson zum bestbezahlten Medizinstudenten aller Zeiten machte. Auch große deutsche Krankenhäuser entledigten sich Watsons, nachdem man erkannt hatte, dass die Therapieempfehlungen eher künstlicher Dummheit als künstlicher Intelligenz ähnelten. Der Direktor der Rhön-Klinikum AG, eines Zusammenschlusses von Krankenhäusern und Kliniken, meinte, die Fortsetzung der Zusammenarbeit mit Watson sei gleichbedeutend mit der »Investition in eine Las-Vegas-Show«.[127] Auch andere IBM-Partner beendeten oder reduzierten die Onkologie-Projekte von Watson. Noch warten wir auf wissenschaftliche Veröffentlichungen von IBM, in denen dargelegt wird, welchen Nutzen die Technologie für Ärzte und Patienten wirklich bringt.

Doch die Moral von der Geschichte betrifft nicht Watson oder KI im Allgemeinen, sondern das aggressive Marketing, das die geweckten Erwartungen nicht erfüllen kann, und den Umstand, dass manche Journalisten den Hype – im Gegensatz zu KI-Wissenschaftlern – unkritisch für bare Münze nehmen. In den Worten von Oren Etzioni, dem Chef des Allen-Instituts für KI und ehemaligem Informatikprofessor: »IBMs Watson ist der Donald Trump der KI-Industrie – absurde Behauptungen, die nicht von glaubhaften Daten gedeckt sind.«[128] Höflicher ausgedrückt, Watson ist nur ein Computerprogramm, das sich in einen Assistenten für medizinische Routineaufgaben umwandeln lässt, aber nicht der brillante Arzt, den die Werbung versprochen hat.

IBM preist Watson auch als Allzweck-Intelligenz in Spionage, Justiz- und Finanzwesen an. Naive Banker kaufen Watsons Dienste, um bessere Investitionsentscheidungen zu treffen. Doch verstünde sich Watson so exzellent auf die Vorhersage des Aktienmarktes oder einfach auf intelligente Investitionen, steckte IBM nicht in den finanziellen Schwierigkeiten, die es gegenwärtig hat.

Menschen smarter machen

Warum nicht mehr Geld investieren und es weiter versuchen? Das ist eine legitime Frage – abgesehen davon, dass zu viel Versuch und Irrtum jene Aufmerksamkeit und Ressourcen aufzehren, die man besser in effektive Maßnahmen investieren könnte, um tatsächlich Menschenleben vor dem Krebs zu retten.

Robert Weinberg, ein weltbekannter Krebsbiologe am MIT, hat sein berufliches Leben der Suche nach Ursachen und Therapiemöglichkeiten bei Krebs gewidmet. Doch Krebsmedikamente verlängern das Leben unter Umständen nur um einige Wochen und Monate, während sie seine Qualität oft drastisch verschlechtern. Darüber hinaus sind sie so kostspielig, dass sie sich kein Land für alle seine Bürger leisten kann. Auf einer von der königlich-niederländischen Akademie der Wissenschaften und der niederländischen Zentralbank veranstalteten Konferenz 2011 in Amsterdam verkündete Weinberg als Hauptredner eine Botschaft, die für einen Krebsbiologen überraschend war. Obwohl er sein Leben damit verbracht hat, die biologischen Bedingungen von Krebs zu analysieren, sieht er die realen Chancen zur Bekämpfung des Krebses heute außerhalb der Biologie – in der Förderung der Gesundheitskompetenz von Kindern und Jugendlichen. Dafür hat er die folgenden Gründe:

•  Ungefähr die Hälfte aller Krebserkrankungen hat ihren Ursprung im Verhalten. Rauchen, ungesunde Ernährung und Bewegungsmangel, der zu Übergewicht führt, sind die entscheidenden Faktoren.

•  Diese Gewohnheiten werden in der frühen Kindheit oder Adoleszenz angelegt.

•  Um diese krebsfördernden Gewohnheiten zu verhindern, müssen wir daher früh damit beginnen, Kindern und Jugendlichen Gesundheitskompetenz zu vermitteln.

Gemeinsam planten Weinberg und ich ein experimentelles Programm für Schulen, in dem den jungen Menschen nicht gesagt wird, was sie tun und was sie lassen sollten, sondern in dem sie stattdessen erfahren, welche Gesundheitsrisiken bestehen und wie Werbung und Gleichaltrige sie zu ungesundem Verhalten verführen wollen. Das Programm vermittelt Fertigkeiten wie die Freude am Kochen, Kenntnisse über die Funktionen des eigenen Körpers, gesunde Aktivitäten, grundlegende wissenschaftliche Einstellungen, wie etwa Fragen zu stellen und sie durch Experimente zu beantworten, und das Wissen, wo man nach vertrauenswürdigen Informationen suchen kann. Ohne Zwang oder Nudging gibt es den Kindern und Jugendlichen Werkzeuge an die Hand, mit denen sie selbst die Verantwortung für ihre Gesundheit übernehmen können. Dieses Risikokompetenz-Programm stellten wir in zwei nachfolgenden Konferenzen über Krebsprävention in Amsterdam vor. Der CEO der Niederländischen Krebsgesellschaft besuchte mich in Berlin und berichtete mir, er sei an der Finanzierung von Schulprogrammen in Gegenden interessiert, wo Übergewicht bei Kindern auf dem Vormarsch sei.

Auf der dritten Konferenz über die Verringerung der Krebsinzidenz hielt dieser CEO der Krebsgesellschaft einen Vortrag. Wir hatten erwartet, er werde über das Programm zur Krebsprävention sprechen. Stattdessen sprach er über die vielversprechenden Aussichten auf Krebsheilung durch Big Data. Weinberg und ich trauten unseren Ohren nicht. Hinterher sprachen wir mit ihm, aber vergeblich. Der CEO der Krebsgesellschaft war überredet worden und wollte nicht hinter all den anderen Organisationen zurückstehen, die ihr Geld in die Big-Data-Forschung steckten. Das war das Ende unseres Projektes, jungen Menschen Gesundheitskompetenz zu vermitteln. Alle Gelder wanderten in die Industrie.

*   Question answering – Fragen beantworten.

3

MASCHINEN BEEINFLUSSEN UNSERE VORSTELLUNG VON INTELLIGENZ

Am einflussreichsten sind die Technologien, die verschwinden. Sie verflechten sich mit dem Stoff des Alltags, bis sie von ihm nicht mehr zu unterscheiden sind.

MARK WEISER[129]

Ich glaube, dass sich am Ende des [20.] Jahrhunderts der Wortgebrauch und die vorherrschende Meinung unter Gebildeten so verändert haben werden, dass man in der Lage sein wird, von Maschinendenken zu sprechen, ohne Widerspruch zu befürchten.

ALAN TURING[130]

Nachdem Deep Blue und AlphaGo zu den Königen der Brettspiele avanciert waren, machte sich vielfach das Gefühl breit, der Mensch sei nicht mehr die Krone der Evolution. Eine Fülle von populärwissenschaftlichen Autoren beschwor den Aufstieg einer Superintelligenz, eine Singularität und das Verschmelzen von Gehirnen mit Computern zu unsterblichen Cyberkreaturen. Wer besonders zum Pessimismus neigte, verkündete das Ende der Menschheit und sah uns als Haustiere an der Leine von Robotern, als Attraktionen im Zoo oder als erste Tierart, die sich mithilfe ihrer Intelligenz selbst auslöscht. Alle diese Geschichten begehen denselben Fehler. Enthusiasten wie Pessimisten setzen Rechenleistung mit menschlicher Intelligenz gleich.

Wie ist die Auffassung entstanden, dass es sich bei der Aktivität von Computern um Intelligenz handle? Man sollte meinen, es müsse belastbare Beweise geben, doch es handelt sich um eine Analogie, nicht um Evidenz.[131] Schon immer haben neue Technologien neue psychologische Theorien angeregt. Daran ist nichts falsch, solange man die Analogie als das versteht, was sie ist, und nicht mit dem Original verwechselt. Auch die menschliche Neigung zum Anthropomorphismus hat manche Filmemacher und auch Wissenschaftler dazu veranlasst, Robotern und Maschinen menschliche Intelligenz zuzuschreiben.

Betrachten wir die Wunder des menschlichen Gedächtnisses. Menschen können lernen, die Zehntausende von Versen des altindischen Epos Mahabharata auswendig zu lernen oder ganze Sinfonien aus dem Kopf zu dirigieren. Um zu verstehen, wie das möglich ist, hat man eine Vielzahl von Analogien bemüht, von Wachstafeln bis zu Bibliotheken. Am einflussreichsten waren die Analogien mit neuen Technologien, die nahelegten, das Gedächtnis sei wie eine Festplatte, eine Telefonzentrale oder ein Hologramm. Gleiches gilt für unsere Auffassung von den Wundern menschlicher Intelligenz. Während wir genau wissen, wie ein Hologramm oder ein Computer funktioniert, haben wir nur eine begrenzte Vorstellung von der Funktionsweise unserer Intelligenz. Daher nehmen wir, was wir wissen, und versuchen damit zu verstehen, was wir nicht wissen. Und da gibt es tatsächlich Ähnlichkeiten: Sowohl der Computer wie das menschliche Nervensystem sind elektrisch; künstliche neuronale Netze haben ebenso Netzwerke von Verbindungen, wie Gehirne ein neuronales Netz von Synapsen besitzen. Doch jede Analogie hat ihre Grenzen. Wäre unser Verstand ein Computer, könnten wir die Quadratwurzel von 1984 im Bruchteil einer Sekunde errechnen. Hätte ein Computer einen Verstand, könnte er leicht den CAPTCHA-Test bestehen, der Ihnen im Internet gestellt wird und mit dem Sie beweisen, dass Sie kein Algorithmus sind. Außerdem könnte er beim Schach nicht nur gewinnen, sondern hätte auch Spaß daran.

Obwohl der Verstand kein Computer ist, liefert die Entstehung dieser Analogie eine faszinierende Geschichte. Die Computer selbst wurden von menschlichen Systemen angeregt; tatsächlich hatte der Computer zunächst ein neues soziales System zum Vorbild, die Arbeitsteilung.

Die ersten Computer waren soziale Systeme

Die Französische Revolution wollte eine aristokratische Gesellschaft vernichten, die ein glanzvolles Leben geführt, Millionen für üppige Festbanketts ausgegeben und die es nicht im Mindesten gekümmert hatte, wenn die Bauern unter der Last maßloser Steuern verhungerten. Ein Nebeneffekt der Revolution war der Versuch, die Messsysteme rationaler zu gestalten: ein Dezimalsystem zur Messung von Gewicht, Länge und fast allem anderen einzuführen (bis hin zur Einteilung von Tagen in zehn Stunden mit einhundert Dezimalminuten, und von Minuten wiederum mit einhundert Dezimalsekunden, aber das ging dann doch zu weit). Das neue System verlangte die Berechnung von logarithmischen und trigonometrischen Tabellen, eine schwierige Aufgabe, die man bisher mathematischen Ausnahmetalenten überlassen hatte. Doch die Französische Revolution entwickelte auch eine neue Vision des Rechnens. Angeregt von Adam Smiths Werk Der Wohlstand der Nationen, entwarf der Ingenieur Gaspard de Prony eine soziale Hierarchie mit einer dreistufigen Arbeitsteilung. An der Spitze befand sich eine kleine Zahl berühmter Mathematiker, die die Formeln entwickelten, in der Mitte sieben oder acht Personen, die in der Analysis bewandert waren, ganz unten siebzig bis achtzig ungelernte Hilfskräfte, die einfach Millionen von Zahlen addierten und multiplizierten.[132] Ein solches Projekt hatte die Welt noch nie gesehen.

Einige Jahrzehnte später war der englische Mathematiker Charles Babbage (1791–1871) verblüfft, welch komplizierte Berechnungen eine Gruppe von Arbeitern vornehmen konnte, die so wenig Kenntnisse besaßen. Davon ausgehend entwickelte Babbage die Idee, die Arbeiter durch Maschinen zu ersetzen, und baute seine ersten digitalen Computer. Die arbeiteten zwar noch nicht richtig, doch im Laufe des folgenden Jahrhunderts wurden funktionierende Rechenmaschinen hergestellt. Ich möchte hier zeigen, dass Computer und Intelligenzkonzepte eng miteinander verknüpft sind. Am Anfang stand eine neue soziale Organisation der Arbeit, und der Computer wurde nach ihrem Bild gebaut.[133] Die ersten Computer waren Menschen.

Wie Rechnen von Intelligenz getrennt wurde

Ein Rechensystem mit ungelernten Arbeitern und Babbages mechanische Maschinen gerieten mit tief verwurzelten Überzeugungen der Zeit in Konflikt. Im 17. und 18. Jahrhundert, während des Aufklärungszeitalters, galt die Fähigkeit zum Kopfrechnen als Zeichen eines glänzenden Verstandes. Der Psychologie der Zeit gemäß war der innovative Geist ständig damit beschäftigt, Ideen zu zergliedern und neu anzuordnen. Unter Denken verstand man kombinatorische Kalkulation, und die großen Denker waren hervorragende Rechner. Am bekanntesten ist wahrscheinlich die Geschichte des Mathematikers Carl Friedrich Gauß (1777–1855; Abbildung 3.1). Gauß wuchs in einer armen Braunschweiger Familie auf und war neun Jahre alt, als sein Volksschullehrer der Klasse eine Addition aufgab:[134]

Eine Peitsche in der Hand, wies Schulmeister Büttner seine Schüler an, alle Zahlen von 1 bis 100 aufzuschreiben und sie dann zusammenzuzählen. Nach kurzer Zeit schrieb der kleine Gauß die Antwort auf seine Tafel und sagte im einheimischen Dialekt: »Da liegt sie!« Geringschätzig, aber auch ein wenig mitleidig betrachtete der Lehrer den kleinen Schlingel, der augenscheinlich die Stirn hatte zu behaupten, eine Aufgabe gelöst zu haben, die dem Rest der Klasse noch bitteren Schweiß abverlangte. Klein Gauß erklärte dem Lehrer, wie er die Lösung gefunden hatte. Die hundert Zahlen bilden 50 Paare (1 + 100, 2 + 99, und so fort), jedes ergibt 101. Daher ist die Summe 50 mal 101, also 5 050. Für den Lehrer spricht, dass er das Genie von Gauß erkannte und zu dem Schluss kam: »Der Junge kann in meiner Schule nichts mehr lernen.« Daher sorgte Büttner dafür, dass Gauß auf eine bessere Schule geschickt wurde.

Anekdoten über außergewöhnliche Begabung im Kopfrechen gehörten zu den Lobesreden auf große Mathematiker. Doch die Geschichte über Gauß und seine brillante Rechenfertigkeit war eine der letzten ihrer Art. Der Nachweis, dass das Rechnen von ungelernten Arbeitern und Maschinen besorgt werden konnte, setzte seiner Glorifizierung allmählich ein Ende. Seine Zeit als Erkennungszeichen von Genie war vorbei. Als sich das Rechnen allmählich von einer Eigenschaft großer Männer zu einer Fertigkeit von ungelernten Arbeitskräften und Maschinen wandelte, veränderte sich auch die Psychologie. Was einst als Krone menschlicher Intelligenz galt, wurde ins Reich des Mechanischen verbannt. Was man im 19. Jahrhundert als »Intelligenz« bezeichnete, hatte nur noch wenig mit Rechnen zu tun. Diese Veränderung schuf die Bühne für die Neoromantik des 20. Jahrhunderts, die Kreativität zum mystischen Prozess erklärte und für das Rechnen nur noch Hohn und Spott übrighatte. Selbst heute können bekannte Politiker und Prominente noch mit Sympathiebekundungen rechnen, wenn sie sich mit ihren schlechten Mathenoten brüsten. Sir Alec Issigonis, der berühmte Konstrukteur der Kultautos Morris Minor und Austin Mini, meinte einmal: »Alle kreativen Menschen hassen Mathematik. Es ist das am wenigsten kreative Fach, das man studieren kann.«[135]

ABBILDUNG 3.1: Die 10-DM-Note zeigt das Porträt von Carl Friedrich Gauß und, unter anderem, die von ihm entwickelte Normalverteilungskurve. Der Geldschein wurde 1991 ausgegeben und war bis zur Einführung des Euro im Jahr 2002 in Umlauf. Die Normalverteilung ist die Grundlage vieler Modelle in Maschinenlernen, Wirtschaftswissenschaft, Psychologie und anderen Disziplinen. Gauß gehörte zu den letzten Mathematikern, die wegen ihrer Kopfrechenkünste gefeiert wurden.

Der Computer wird weiblich

In der Vergangenheit (und manchmal noch heute) wurden Berufe, die ihr Prestige verloren, für Frauen geöffnet. Als das Rechnen in den Ruf kam, eine mechanische, geistlose Aufgabe zu sein, wurde es an Frauen delegiert. Bis in die zweite Hälfte des 20. Jahrhunderts ließ man umfangreiche Berechnungen von sozialen Systemen ausführen. Das Manhattan-Projekt in Los Alamos, wo in den 1940er Jahren die Atombombe gebaut wurde, stützte sich auf »menschliche Computer«, obwohl man über alle Voraussetzungen der Rechentechnologie verfügte. Das waren überwiegend schlecht bezahlte Frauen, die immer wieder die gleichen Rechnungen vornahmen, indem sie beispielweise eine Zahl kubierten und das Ergebnis an andere Frauen weitergaben, die es dann in eine andere Rechnung einfügten.[136] Der Umstand, dass Frauen diese Tätigkeiten durchführten, zeigt, dass sich zu dieser Zeit der soziale Status des Rechnens verändert hatte.

ABBILDUNG 3.2: »Weibliche Computer« verarbeiten 1943 Daten des 5 Meter hohen Windkanals des Ames Research Center der NASA. © NASA

Am Ende waren die Rechenabteilungen in großen Statistikprojekten mit Frauen besetzt, von Sternwarten über Versicherungsgesellschaften bis hin zu militärischen Forschungszentren (Abbildung 3.2). Als Rechenmaschinen zuverlässiger und sogar unentbehrlich wurden, begann man nicht etwa die Maschinen als intelligenter anzusehen, sondern die menschlichen Rechenkräfte als noch mechanischer.[137] Rechenmaschinen addierten Zahlen – so wie Waschmaschinen die Wäsche reinigten und Nähmaschinen Stiche setzten. Das waren Maschinen, die ebenfalls hauptsächlich von Frauen bedient wurden. Auf die Idee, dass diese Maschinen künstliche Intelligenz beherbergen könnten, kam niemand.

Der Ansehensverlust des Rechnens erklärt auch, warum die Informatik im Gegensatz zu anderen technischen Studienfächern zu einer Disziplin wurde, die Frauen offenstand. Anfang der 1980er Jahre waren fast 40 Prozent der Informatik-Absolventen an US-amerikanischen Universitäten Studentinnen. Doch im selben Jahrzehnt wurden Personal Computer erschwinglich. Ihr Besitz versprach Prestige, und Eltern schafften sie in der Regel für Jungen an, die darauf Spiele spielten, nicht für Mädchen. Seither ist die Zahl von Frauen in Informatik-Fachbereichen drastisch zurückgegangen, auf 18 Prozent im Jahr 2020.[138] Ein anderer Faktor, der die Frauen hinausgedrängt hat, könnte der Umstand sein, dass sich die Informatik von einem unbedeutenden zu einem hochbezahlten Berufsfeld entwickelt hat. Heute sind die Chefs von Tech-Unternehmen ungeheuer reich, mächtig und fast alle männlich.

Intelligenz wird zum Computerprogramm

Die Degradierung des Rechnens von einer intellektuellen zu einer mechanischen Aktivität nahm eine Kehrtwendung, als elektronische Computer die Forschungszentren überrannten. In seiner letzten Arbeit – den Silliman-Vorlesungen 1956, die er wegen seines frühen Krebstodes weder vollenden noch halten konnte – verwies John von Neumann, einer der bedeutendsten Mathematiker seiner Zeit, auf Ähnlichkeiten zwischen dem Nervensystem und dem Computer, das heißt, zwischen Neuronen und Vakuumröhren, wobei er allerdings auch ihre Unterschiede betonte.[139] Während von Neumann Parallelen auf der Ebene der Hardware wahrnahm, bezeichnete Alan Turing die Beobachtung, dass Zellen wie Dioden elektrisch sind, als eine »sehr oberflächliche Ähnlichkeit«. Nach seiner Ansicht liegen die wichtigen Ähnlichkeiten in der Funktion, nicht in der Hardware. Turing stellte die Frage, ob Maschinen denken können; sein berühmtes »Imitationsspiel«, gemeinhin als Turing-Test bekannt, bewertet, ob eine Maschine einen Menschen nachahmen kann. Noch einen Schritt weitergehend, überlegte er, ob Computer einen freien Willen haben können, und erwog, Maschinen nach den gleichen Prinzipien zu unterrichten, nach denen man Kindern Wissen vermittelt. Turing fragte, ob ein Computer wie der menschliche Geist sei, während Psychologen, allen voran Herbert Simon, später die umgekehrte Frage stellten: ob der Geist wie ein Computer sei.

In den 1960er und 70er Jahren vertrat Simon zusammen mit dem Informatiker und Psychologen Allen Newell die Ansicht, menschliche Intelligenz ähnele einem Computerprogramm. Nach ihrer Hypothese des physikalischen Symbolsystems (physical symbol systems hypothesis) ist Intelligenz nichts anderes als die Manipulation von Symbolen durch Regeln, die wiederum neue Symbole als Output erzeugen.[140] Beispielsweise ist Logik ein System, das Symbole wie »und« und »oder« enthält, und seine Regeln sind die der logischen Deduktion. Entsprechend ist Schach ein System, in dem die Figuren Symbole und die Regeln die erlaubten Züge sind. In einem digitalen Computer sind die Symbole Nullen und Einsen, die den Speicher definieren, während die Regeln die der Zentraleinheit (CPU) sind, die den Speicher verändern. Nach Simon ähneln alle diese Symbolsysteme der Intelligenz des Menschen.[141] Diese Auffassung stand Pate bei etlichen Filmen, in denen Roboter aussehen wie wir und denken wie wir, nur schneller und mit weniger Emotion, sich aber am Ende in Übermenschen verwandeln.

Anfang 1956 berichtete Simon stolz seinen Studenten, Newell und er hätten über Weihnachten eine Denkmaschine erfunden. Wie die ersten groß angelegten sozialen Rechensysteme in der Französischen Revolution bestand auch der Prototyp ihres ersten Computerprogramms, des Logic Theorist, aus menschlichen Komponenten: Simons Frau, Kindern und Doktoranden.[142] In demselben Jahr gelangte auf der inzwischen berühmten Dartmouth-Konferenz auch der Begriff »künstliche Intelligenz« zum ersten Mal in die Öffentlichkeit. Er wurde von dem Informatiker John McCarthy geprägt, einem entschiedenen Anhänger der freien Rede, der auch die ersten Time-Sharing-Systeme entwickelt hat, die später Server hießen und heute als Cloud Computing bezeichnet werden.

Simons wichtige Erkenntnis war, dass der Computer mehr als eine Rechenmaschine war; er konnte mit Symbolen jeder Art umgehen, von Textverarbeitung bis Videos. In der Rückschau wird klar, wie revolutionär die Idee der Symbolverarbeitung war, und es ist kaum verständlich, warum diese Möglichkeit noch kaum jemandem vorher aufgefallen war. Beispielsweise erinnerte sich Howard Aiken, ein Computerpionier, der den Mark-I-Rechner an der Harvard University entwickelte, im Jahr 1952: »Ursprünglich dachten wir, dass man in diesem Land mit einem halben Dutzend Computern, in Forschungslabors versteckt, den ganzen Bedarf, den wir hatten, abdecken könnte.«[143] Heute schmunzeln wir über diese Anekdote, doch ursprünglich beruhte der Computer – und später das Internet – auf der Idee, dass er eigentlich nicht viel mehr machen sollte, als Probleme in Wissenschaft und Technik zu lösen.

Wie konnte Simon andere jemals davon überzeugen, dass Kognition wie ein Computer funktioniert, da doch die verwandte Idee, dass Intelligenz Rechnen sei, seit mehr als hundert Jahren in Misskredit geraten war? Als Simon die Idee erstmals vortrug, stieß sie auf taube Ohren. Es war noch zu früh. Computer dieser Zeit waren Riesenmaschinen, die in der Bedienung sehr umständlich waren; bis ein Programm einsatzfähig war, konnte es Monate dauern. Im Wochendurchschnitt der Jahre 1965 und 1966 war beispielsweise der PDP-Computer im Center for Cognitive Studies der Harvard University 83 Stunden in Gebrauch, von denen 56 für Fehlerbehebung und Instandhaltung aufgewendet werden mussten. Der Computer erwies sich nicht als Intelligenzwunder, sondern als ständige Quelle der Frustration, wie der verzweifelte Titel eines technischen Berichts des Centers aus dem Jahr 1966 bezeugt: »Programmanship, or how to be one-up on a computer without actually ripping up his wires«[144] (Klug Programmieren – oder wie man den Computer austricksen kann, ohne ihm die Drähte herauszureißen).

Doch in den 1970er und 80er Jahren wurden Elektronenrechner schnell und kostengünstig und begannen sich einen festen Platz auf den Schreibtischen von Psychologen und anderen Forschern zu erobern. Die Auffassung, dass der menschliche Geist einem Computer gleiche, machten sich Psychologen erst zu eigen, nachdem die Computer unentbehrliche Werkzeuge ihrer täglichen Routine geworden waren. Mit diesen neuen Desktop-Werkzeugen erlebte die alte, aus der Aufklärung stammende Verknüpfung zwischen Intelligenz und Rechnen – wie sie die Geschichte von Gauß illustriert – eine Auferstehung in neuer Form. Man fing an, das Wesen der Intelligenz als das zu begreifen, was Computer tun. Seither sprechen Psychologen von Kognition als »Computation«. Was sonst könnte sie sein?

Die Idee, dass Kognition wie ein Computer funktioniert, stützte sich nicht auf neue Fakten, sondern auf neue Werkzeuge und eine Analogie.[145] Auf diese Weise regten Computer neue Theorien über menschliche Intelligenz an, genauso wie Jahrhunderte zuvor die neue soziale Organisation der Arbeit die Vorstellung von mechanischen Computern ermöglicht hatte. Angesichts heutiger Hochleistungsrechner hat sich diese Idee zur Vision einer künstlichen Superintelligenz entwickelt, die schon bald der menschlichen Intelligenz in jeder Hinsicht gewachsen sein solle und gleichzeitig das menschliche Gehirn an Geschwindigkeit und Effizienz übertreffe. Das ist eine Neuauflage der alten Aufklärungsidee, dass Intelligenz gleich Rechnen sei.

Zudem haben entscheidende Fortschritte auf dem Gebiet tiefer neuronaler Netze der Überzeugung neue Nahrung gegeben, KI könne die gesamte menschliche Intelligenz erfassen und so eine Superintelligenz erschaffen. In den nächsten Kapiteln werden wir uns die »Intelligenz« neuronaler Netze etwas genauer anschauen. Dabei werden wir feststellen, dass sie sich grundsätzlich von menschlicher Intelligenz unterscheidet und dass unsere Furcht (oder Hoffnung) Sciencefiction bleibt. Beginnen wir mit einem praktischen, alltäglichen Traum von der Automatisierung.

4

SIND SELBSTFAHRENDE AUTOS ZUM GREIFEN NAH?

Ich bin außerordentlich zuversichtlich, dass Stufe 5 [selbstfahrende Autos] oder im Prinzip vollständige Autonomie zu erreichen sein wird, und ich denke, dass es rasch passieren wird … Ich bleibe auch zuversichtlich, dass wir die grundlegende Funktionstüchtigkeit von Stufe 5 noch in diesem Jahr herstellen.

ELON MUSK, CEO VON TESLA, JULI 2020[146]

Autonome Fahrzeuge sind nirgends annähernd so smart, wie sie sein müssten. Sicherheitsmerkmale – wie die Not-Steuerung per Hand – müssen oberste Priorität haben.

US-SENATOR RICHARD BLUMENTHAL[147]

Im März 2018 schob Elaine Herzberg in einer dunklen Wüstennacht ihr Fahrrad quer über eine vierspurige Straße in Tempe, Arizona. Herzberg war 49 Jahre alt, obdachlos und hatte das Rad mit Plastiktüten beladen. Drei Fahrspuren hatte sie schon überquert, als sie von einem autonomen Auto der Firma Uber erfasst und getötet wurde.

Was ist also von dem Versprechen zu halten, dass selbstfahrende Autos uns in Bälde sicher durch den normalen Verkehr lotsen würden? Zum einen waren Ubers Autos noch nicht einmal selbstfahrend; zur Absicherung saßen menschliche Fahrer am Steuer.[148] Der Volvo, der Herzberg in Arizona erfasste, war ein Testwagen mit Backup-Fahrerin und befand sich vor dem Unfall seit 19 Minuten im autonomen Modus. Bei einer Geschwindigkeit von 69 Stundenkilometern entdeckte das Radar Herzberg sechs Sekunden vor dem Aufprall. Doch das »Wahrnehmungsmodul« der KI – das mithilfe von Kameras und Radar ein Modell der Umgebung aufbaut – geriet durcheinander und klassifizierte die Frau zunächst als unbekanntes Objekt, dann als Fahrzeug und schließlich als Fahrrad. Jedes dieser Resultate führte zu einer anderen Vorhersage des Weges, daher brauchte das System mehr als vier Sekunden, um zu dem Schluss zu kommen, dass es bremsen musste. Erst eine Sekunde vor dem Aufprall tat es das – konnte aber nicht zum Stehen kommen, weil das Bremssystem von den Uber-Ingenieuren deaktiviert worden war.

Der Grund waren schlechte Erfahrungen in der Vergangenheit: Autonome Wagen hatten ohne ersichtlichen Grund gebremst, sodass es zu Auffahrunfällen durch menschliche Fahrer kam. Stattdessen war es Aufgabe der Fahrerin, auf die Bremse zu treten. Doch statt auf die Straße zu achten, hatte sie offenbar auf ihr Smartphone geblickt und The Voice gestreamt, eine beliebte Gesangs-Castingshow.[149] Auf Videomaterial ist zu sehen, wie sie kurz vor dem Zusammenstoß entsetzt aufblickt. Wer ist schuld, wenn ein angeblich selbstfahrendes Auto einen Menschen tötet? Der Polizeichef von Tempe machte das obdachlose Opfer verantwortlich. Uber vermied einen Prozess durch eine geheime außergerichtliche Einigung mit der Familie des Opfers wenige Tage nach dessen Tod und wurde später von jeder Schuld freigesprochen. Die Backup-Fahrerin wurde wegen Totschlags angeklagt.

ABBILDUNG 4.1: Fünf Stufen der Automatisierung gemäß der Society of Automotive Engineers (SAE). Das selbstfahrende Auto ist auf Stufe 5. Handelsübliche Automobile befinden sich gegenwärtig auf Stufe 2. Aus dem Prinzip der stabilen Welt folgt, dass Stufe 5 nur extrem schwer zu erreichen sein dürfte, während Stufe 4 durchaus im Bereich des Möglichen liegt, wenn man unsere Straßen und Städte an KI anpasst. Quelle: © SAE International from SAE J3016™ Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles (5. Juni 2018), https://www.sae.org/standards/content/j3016_201806/.

Siehe auch https://www.adac.de/rund-ums-fahrzeug/ausstattung-technik-zubehoer/autonomes-fahren/grundlagen/autonomes-fahren-5-stufen/: Hier schlagen ADAC-Experten vor, Stufe 4 und 5 zusammenzufassen, was den kritischen Unterschied zwischen den beiden Stufen übersieht.

Unwissentlich wurde Herzberg Teilnehmerin eines Technologie-Experiments. Kurz vor ihrem tragischen Ende hatten es kalifornische Behörden Uber erschwert, seine Autos im echten Verkehr zu erproben. Doug Ducey, der Gouverneur von Arizona, nutzte die Gelegenheit und twitterte: »Wir hier in AZ heißen diese Art von Technologie & Innovation WILLKOMMEN! #ditchcalifornia #AZmeansBIZ«.[**][150] Dass Autos und Fahrer nicht sicher waren, war bekannt. Vor dem Zusammenstoß mit Herzberg wurde fast jeden zweiten Tag ein autonomes Auto auf der Straße beschädigt. Fünf Tage vor dem Unfall hatte ein Manager in Ubers Abteilung für autonome Fahrzeuge eine E-Mail an die Führungsspitze des Unternehmens geschickt und davor gewarnt, dass die KI im Prototyp ihres Robotaxis gefährlich sei und dass die Ausbildung der Backup-Fahrer nicht ausreiche.[151] Trotzdem setzten der Staat Arizona und Uber zunächst das Experiment fort. Nach dem tödlichen Unfall änderte Arizonas Gouverneur rasch seine Meinung und verbot Ubers Experimente. Dieses Mal nutzte der Gouverneur von Ohio die Chance, ein großes Tech-Unternehmen aus Silicon Valley fortzulocken und im »wilden, wilden Westen« der unregulierten Tests von autonomen Autos willkommen zu heißen.[152] Das Ergebnis dieser traurigen Geschichte ist ein Wettrennen in die tiefsten Abgründe von Regulierung und Sicherheit.

Das Prinzip der Anpassung an KI

Ein selbstfahrendes Auto kann überall und unter allen Verkehrsbedingungen ohne einen Menschen als Absicherung fahren. Dabei hofft man, dass elektronische Chauffeure die Zahl der Verkehrsunfälle erheblich senken und gleichzeitig die Bequemlichkeit erhöhen werden. Autohersteller wie Elon Musk behaupten, selbstfahrende Autos seien zum Greifen nah (siehe Motto zu diesem Kapitel).[153] Doch Verkehrsbedingungen wohnt ein hohes Maß an Unsicherheit inne: unberechenbare Fahrer, die nicht immer den Verkehrsregeln folgen; Radfahrer, Fußgänger oder Tiere, die plötzlich auf der Fahrbahn auftauchen; Scheinwerfer anderer Autos, die nachts blenden; schließlich Wetterbedingungen wie Platzregen und Eis. Unter solchen Unsicherheiten stellt das Prinzip der stabilen Welt klar, dass die baldige Ankunft von selbstfahrenden Autos wohl ein kommerzielles Märchen ist.

Die Verwirrung zwischen dem, was die Technologie tatsächlich kann, und dem, was den Leuten eingeredet wird, beginnt mit dem sorglosen Gebrauch der Begriffe »selbstfahrend«, »fahrerlos« und »autonome Fahrzeuge«. Diese Ungenauigkeit nährt unrealistische Hoffnungen. Schaffen wir Klarheit. Das Klassifikationssystem der Society of Automotive Engineers unterscheidet zwischen fünf Stufen der Automatisierung (Abbildung 4.1). Zu den Fahrerassistenzsystemen der schon lange existierenden Stufe 1 gehören Abstandsregeltempomat und Spurhalteassistent. Diese Systeme wurden 1986 von einem Mercedestransporter auf einer Autobahn in Deutschland vorgeführt.[154] Stufe 2 verbindet verschiedene Technologien von Stufe 1 zu komplexeren Fahrleistungen, wie etwa dem automatischen Einparken, und repräsentiert den höchsten Entwicklungsstand kommerziell erhältlicher Automobile. Der Fahrer muss die Hände ständig in der Nähe des Lenkrads halten und aufmerksam bleiben für den Fall, dass etwas Unerwartetes passiert. Stufe 3 ist ein großer technologischer Sprung und kann die meisten Fahraufgaben ausführen, braucht aber immer noch einen Menschen auf dem Fahrersitz, der auf Warnsignale des Systems achtet und bereit ist, das Steuer sofort zu übernehmen, wenn etwas schiefgeht. Auf allen drei Stufen müssen die Menschen permanent auf der Hut sein, falls etwas Unerwartetes geschieht.

Die nächsten beiden Stufen kommen ohne einen wachsamen Menschen am Lenkrad aus. Auf Stufe 4 sind die Autos in der Lage, autonom und vollautomatisch zu fahren, allerdings nur in eingegrenzten Bereichen wie Autobahnen, Flughäfen und Fabriken oder in entsprechend gestalteten Städten – also nicht überall und unter allen Bedingungen. Stufe 5 beschreibt selbstfahrende Autos, die ohne jede menschliche Hilfe sicher unter allen denkbaren Bedingungen fahren können, inklusive aller Wetter-, Straßen und Verkehrsbedingungen.[155] Häufig werden diese fünf Stufen nicht sauber auseinandergehalten, sodass die Illusion entsteht, vollkommen selbstfahrende Autos würden bereits über unsere Straßen flitzen.

Selbstfahrende Autos brauchen eine stabile Umwelt

Die Ungewissheit, die beim Fahren eines Autos herrscht, lässt sich durch einen Vergleich mit dem Fliegen eines Flugzeugs verstehen. Die Luftfahrt hat die Automatisierung schon vor langer Zeit eingeführt: Heute werden Flugzeuge überwiegend von Algorithmen geflogen. Tatsächlich wird etwa die Hälfte der Kosten für ein neues kommerzielles Flugzeug für die Überprüfung und Fehlerbeseitigung der Software ausgegeben. Die Software für ein großes kommerzielles Flugzeug ist allerdings weniger komplex als die Software, die man für ein selbstfahrendes Auto bräuchte.[156] Ein Autopilotsystem muss meist ein oder zwei andere Flugzeuge in seiner Nachbarschaft berücksichtigen und hat infolge der großen Entfernungen zwischen ihnen genügend Zeit zum Reagieren. Die Software für ein selbstfahrendes Auto muss Dutzende von Autos, Radfahrern und Fußgängern im Blick behalten, und da diese sehr nahe kommen, muss sie in Sekundenbruchteilen Entscheidungen über Tod und Leben treffen.

Das Prinzip der stabilen Welt hat eine wichtige Konsequenz, nämlich das Prinzip der Anpassung an die KI:

Um die Leistung von KI zu verbessern, müssen die physische Umgebung stabiler und das Verhalten von Menschen vorhersehbarer gemacht werden.

Wenn wir Entscheidungen an Algorithmen delegieren, müssen wir unsere Umgebungen und Verhaltensweise anpassen. Das kann dazu führen, dass man Menschen für Algorithmen transparent macht, menschliches Verhalten reguliert oder sogar Menschen ganz aus dem Spiel lässt. Auf autonome Autos angewendet, liefern uns die beiden Prinzipien einen Hinweis auf das, was wahrscheinlich geschehen wird:

Es wird keine selbstfahrenden Autos geben (Stufe-5-Automatisierung), sondern stattdessen eine fundamentale Veränderung: Unsere Städte und Straßen werden so umgestaltet werden, dass die stabile und vorhersagbare Umwelt entsteht, die Algorithmen brauchen (Stufe-4-Automatisierung), etwa vernetzte Autobahnen, auf denen keine menschlichen Fahrer zugelassen sind, und Städte, in denen das Autofahren für Menschen gesetzlich verboten ist.

Mit anderen Worten, wenn wir autonome Autos haben wollen, müssen wir uns ihren Möglichkeiten anpassen. Die Technologie ist nicht nur ein Assistenzsystem, sie verlangt von uns, dass wir unser Verhalten anpassen. Solche Verhaltensmodifizierungen hat es schon früher gegeben.

Als das Auto 1886 von Carl Benz erfunden wurde und Anfang des 20. Jahrhunderts von der Ford Motor Company in Massenproduktion hergestellt wurde, erwies sich der Übergang von der Pferde-Epoche zum motorisierten Zeitalter als gefahrvoll. Die Autos mussten sich den Verkehrsraum mit Pferdefuhrwerken, Radfahrern, Fußgängern und auf der Straße spielenden Kindern teilen, ohne dass dieses Nebeneinander reguliert war. Um Autos zu sicheren Verkehrsteilnehmern zu machen, brauchte man gepflasterte Straßen und strenge Verkehrsvorschriften. Auch das menschliche Verhalten unterwarf man Einschränkungen wie Führerscheinen, Autokennzeichen, Ampeln, Verkehrsschildern und der Vorschrift, nur auf einer bestimmten Straßenseite zu fahren. Übrigens nicht zum ersten Mal. Bereits 1831 hatte die Pariser Polizei eine Anordnung erlassen, nach der der Verkehr – Kutschen, Pferde, Maultiere und Fußgänger – sich rechts zu halten hätten, um das städtische Chaos zu vermindern.[157] Die Vorschrift wurde genauso widerwillig befolgt wie zuvor die Anordnung, Nachttöpfe nicht mehr aus dem Fenster auf die Straße auszuleeren. Saubere Straßen ermöglichen einen frei fließenden Verkehr. Die moderne Autobahn mit ihrer glatten Oberfläche aus Asphalt oder Beton ist die ideale Umgebung für Autos. Fußgänger, Radfahrer und Tiere sind ausgeschlossen. Neue Technologien leisten uns nicht nur Beistand, die Wirkung geht tiefer. Um in den Genuss ihres ungeschmälerten Nutzens zu kommen, müssen wir bereit sein, uns anzupassen – unser Verhalten und unsere Umgebungen zu verändern.

Neuronale Netze am Steuer

Wie könnten Ingenieure einen elektronischen Chauffeur bauen, dem man sein Leben anvertrauen würde? Wie wir im letzten Kapitel gesehen haben, gibt es zwei Ansätze. Die psychologische KI würde Computern beibringen, so wie Menschen zu fahren, das heißt, den menschlichen Prozess von Wahrnehmung, Urteilen und Entscheidungsfindung nachzuahmen. Das ist die gute, alte KI (häufig als GOFAI abgekürzt, nach englisch: good old-fashioned AI): Man untersucht, wie Menschen eine Aufgabe lösen, übersetzt menschliches Verhalten dann in »Produktionsregeln« und programmiert diese Regeln in einen Computer. Ein Beispiel für eine solche Regel ist: »Wenn ein Kind auf der Straße vor das Auto läuft, dann bremse sofort.« Doch im normalen Verkehr ist diese Idee zum Scheitern verurteilt, weil die KI unter zu vielen Regeln erstickte – unter anderem denjenigen, die ihr sagen, wie sie zwischen einem laufenden Kind und einer im Wind fliegenden Plastiktüte unterscheiden kann. Auch Menschen lernen nicht, Auto zu fahren, indem sie Tausende von Regeln auswendig lernen. Was wir tun, wenn wir routinemäßig Auto fahren, lässt sich nicht genau genug beschreiben, um daraus die Regeln für einen Algorithmus zu machen. Also schlug die Forschung einen anderen Weg ein: maschinelles Lernen. Bei diesem zweiten Ansatz versucht man nicht, den Maschinen zu vermitteln, wie Menschen zu fahren, sondern entwickelt Algorithmen, die sich am besten eignen, um ein bestimmtes Problem zu lösen – etwa Ampeln und bewegliche Objekte zu erkennen. Die Art, wie Maschinen diese Probleme lösen, hat wenig oder gar nichts mit menschlicher Problemlösung zu tun. Am ehesten kennt man die Methode von Suchmaschinen oder Empfehlungssystemen.

Den größten Durchbruch in der Automatisierung – und die größte Hoffnung auf wirklich selbstfahrende Autos – brachte ein Algorithmustyp, den man als tiefe künstliche neuronale Netze bezeichnet. Sie unterscheiden sich grundlegend von den Algorithmen für die Suche nach wahrer Liebe oder die Prüfung der Kreditwürdigkeit. Computersysteme, die Autos fahren, bestehen aus drei Modulen. Das erste, ein Wahrnehmungsmodul, enthält Kameras, Radar und Lidar, eine Version des Radars, die unsichtbare Lichtpulse verwendet. Die Kameras erfassen Verkehrsschilder, Ampeln, Fahrbahnmarkierungen und andere Merkmale. Das Radar misst die Geschwindigkeit von Objekten und Lidar die Formen in der Umgebung. Anhand dieser Informationen wird ein Modell von der Umgebung des Autos konstruiert. Objekterkennung ist wesentlich an den Entwicklungsfortschritten autonomer Autos beteiligt. Zweitens gibt ein Vorhersagemodul an, was die »erkannten« Objekte als Nächstes tun werden, sagen wir, in welche Richtung und wie schnell sich in der Nähe befindliche Autos und Fußgänger bewegen werden. Zum dritten entscheidet ein Navigationsmodul, auf diese Vorhersagen gestützt, ob es beschleunigt, bremst oder nach links oder rechts ausschert. Im Fall von Herzberg entschied sich das Navigationsmodul nicht für Bremsen, weil das Wahrnehmungs- und das Vorhersagemodul den Überblick verloren hatten.

Gelegentlich werden künstliche neuronale Netze als Zaubermaschinen hingestellt, die nur Computergenies verstehen können. Doch man kann auch für Laien verständlich erklären, wie sie funktionieren. Ähnlich wie die Algorithmen, die für Partnersuche und Kreditprüfung eingesetzt werden, bestehen sie aus drei Teilen: einem Input, seiner Transformation und einem Output. Nehmen wir ein Netz, das darauf trainiert wird, einen Schulbus zu erkennen. Fotos der Objekte bilden den Input, wobei es sich nicht immer um Schulbusse handelt. Die Bilder sind digital, das heißt, sie sind in Tausende oder Millionen von Pixeln aufgeteilt, genauso wie es eine Digitalkamera macht. Jedes Pixel wird in Hinblick auf drei Farbwerte analysiert: Rot, Grün und Blau. Aus Sicht eines künstlichen Netzes ist ein Bild nicht mehr als eine riesige Tabelle mit Zahlen, deren jede eine der drei Farben einem Pixel zuordnet. Diese Tabelle heißt »Input-Layer«. Der »Output-Layer« besteht im einfachsten Fall nur aus zwei Zahlen: »1« für Schulbus und »0« für alle anderen Objekte. Der große Unterschied zur klassischen KI liegt in der Art und Weise, wie der Input in den Output umgewandelt wird.

Anders als in einem Liebesalgorithmus wird der Input nicht durch eine (geheime) Formel in einen Output verwandelt. Vielmehr wird Input durch eine Reihe verborgener »Layer« (Schichten) umgeformt, wodurch das Netz vertieft wird – daher der Name tiefes neuronales Netz. Ein solches Netz kann nur ein paar oder auch Hunderte verborgene Schichten haben. Eine tieferliegende Schicht im Netz kann zur Verfeinerung der vorangehenden Schichten beitragen. Diese Feinabstimmung bezeichnet man auch als tiefes Lernen.

Tiefe neuronale Netze können auf drei verschiedene Weisen »lernen«: überwacht, unüberwacht oder durch Verstärkung. Überwachtes Lernen (supervised learning) ist am bekanntesten und verdankt seinen Namen dem Umstand, dass es einen »Lehrer« gibt, der Feedback in der Form von richtig/falsch liefert. Anders als in der psychologischen KI liefert der Lehrer aber keine Regeln. Überwachtes Lernen wird zur Erkennung von Objekten wie Schulbussen und Verkehrsschildern verwendet. Damit es richtig lernen kann, bekommt das Netz Tausende oder sogar Millionen von Fotografien sowie ihre richtigen Klassifizierungen und lernt dann eine Funktion, die den Input so korrekt wie möglich in den Output transformiert. In Empfehlungssystemen – etwa wenn Amazon Ihnen bestimmte Bücher zum Kauf vorschlägt – sind Sie der »Lehrer«, der beim Browsen bestimmte Inhalte anklickt oder ein Like gibt. Unüberwachtes Lernen (unsupervised learning) findet ohne Feedback statt. Beispielsweise sucht das Netz nach Ähnlichkeiten in Bildern und erzeugt Klassen von ähnlichen Bildern. Diese Form des Lernens ist wie ein Blick in den Nachthimmel, bei dem man ohne die geringste Ahnung von Astronomie nach Mustern sucht. Die dritte Form, das verstärkte Lernen (reinforcement learning), findet etwa bei Spielen wie Go statt, bei denen das Netz nicht nach jedem Zug Feedback erhält, sondern erst am Ende des Spiels. In diesem Fall kennt das Netz nur die Spielregeln und das Ziel, muss also einen eigenen Weg finden, um dorthin zu gelangen. AlphaZero verdankt seine erstaunliche Leistung dem verstärkten Lernen, das auch unerwartete Lösungen entdecken kann. Ein Algorithmus, der entwickelt wurde, um Tetris zu spielen, lernte einfach, das Spiel anzuhalten, um eine Niederlage zu vermeiden.[158]

Zwar ist es relativ leicht, die allgemeine Logik tiefer neuronaler Netze zu verstehen, sehr viel schwerer lässt sich allerdings beschreiben, wonach ein Netz tatsächlich »sucht«. Darin liegt ein großer Unterschied zwischen ihm und der psychologischen KI, wo die Regel transparent ist – zumindest für die Entwickler. Was in den verborgenen Schichten eines tiefen neuronalen Netzes vor sich geht, ist selbst für die Ingenieure, die das Netz entwickelt haben, nur sehr schwer vorstellbar. Vielleicht haben Sie von der beschämenden Geschichte gehört, dass Googles Bildklassifikationssystem ein dunkelhäutiges Paar als »Gorillas« eingeordnet hat. Die Ingenieure reagierten sofort, aber nicht so, wie man hätte meinen können. Statt sich mit dem Kern des Problems auseinanderzusetzen, entschieden sie sich für die stillschweigende Lösung, die Kategorien »Gorilla«, »Schimpanse« und »Affe« zu entfernen. Seither werden Bilder von Affen nicht als solche identifiziert.[159] Tiefe neuronale Netze sind so komplex geworden, dass sie sich nicht mehr ohne Weiteres verstehen und korrigieren lassen.

Dagegen hält sich traditionelles Computersehen an individuelle Merkmale, etwa Ränder und Ecken. Bei Objekten wie dem Schulbus bleibt es jedoch schwierig, eine Regel zu finden, die ihn exakt beschreibt. Regeln funktionieren besser, wenn es um die Erkennung handgeschriebener Zahlen geht, die unten eine Rundung haben, wie in »5« und »6«, oder oben, wie in »2« und »3«. Bei tiefen neuronalen Netzen lässt sich kaum entscheiden, ob die einzelnen Einheiten in den verschiedenen Schichten individuelle Merkmale erfassen oder kollektiv zusammenarbeiten.[160] Wir wissen nur, dass sich die Auffassung, künstliche neuronale Netze würden ähnlich funktionieren wie traditionelles Computersehen oder menschliches Sehen, nur rascher, als falsch erwiesen hat. Das wird sich unten zeigen, wenn wir auf die erstaunlichen Fehler zu sprechen kommen, die neuronale Netze begehen – Fehler, die der menschlichen Intuition nicht unterlaufen.

Tiefe neuronale Netze sind nichts Neues. Künstliche Netze kennen wir seit den 1950er und 60er Jahren. Daher haben einige Statistiker beklagt, Ingenieure mit geringen Statistikkenntnissen hätten bereits existierende Statistikwerkzeuge neu erfunden und in einen imposanten irreführenden Jargon verpackt, man denke etwa an den Begriff »künstliche Intelligenz«.[161] Ihre Vorwürfe sind nicht ganz gerechtfertigt; die Renaissance der neuronalen Netze wurde durch einige technische Neuerungen ausgelöst, unter anderem die enorme Leistungsfähigkeit der Computer bei der Zahlenverarbeitung, die Entwicklung effizienter Trainingsmethoden, die riesigen Datenmengen, die heute verfügbar sind, und die ungeheure Kapazität grafischer Verarbeitungseinheiten, die ursprünglich für Videospiele entwickelt wurden. Dennoch verdeutlicht der Umstand, dass die meisten Formen überwachten und unüberwachten Lernens schon lange bekannt sind, dass letztlich keine andere Qualität von »Intelligenz« in tiefen neuronalen Netzwerken am Werk ist als in der normalen Statistik.[162]

Trotz der vielversprechenden Bezeichnung neuronale Netze sind bei ihnen »Wahrnehmen« und »Denken« nicht wie beim Menschen. Ihre Ähnlichkeit mit den neuronalen Schaltkreisen im Gehirn ist ziemlich oberflächlich. Algorithmen können Aufgaben lösen, die menschliche Fähigkeiten übersteigen, aber sie können auch bizarre blinde Flecken aufweisen und unfassbare Fehler begehen. Das folgende Beispiel führt anschaulich vor Augen, was diese blinden Flecken für selbstfahrende Autos bedeuten können.

Wissen neuronale Netze, was ein Schulbus ist?

Autonome Autos brauchen Software, die zuverlässig identifizieren kann, was sich auf der Straße befindet: Verkehrsschilder, aber auch Menschen oder Fahrzeuge. Auf der linken Seite von Abbildung 1 der Farbtafel ist das Bild eines amerikanischen Schulbusses zu sehen, dessen Identifizierung ein tiefes neuronales Netz gelernt hat. Das mittlere Bild zeigt ein Muster von bunten Pixeln. In Wirklichkeit ist das Muster so winzig, dass es hier um einen Faktor zehn vergrößert wurde, um es sichtbar zu machen. Auf der rechten Seite ist das erste Bild mit diesem Muster überlagert worden. Für den menschlichen Fahrer ist der Schulbus auf der rechten Seite immer noch ein Schulbus, der ihm signalisiert, dass Kinder in der Nähe sein könnten und besondere Aufmerksamkeit erforderlich ist. Für das tiefe neuronale Netz dagegen ist der Schulbus verschwunden. Denn er klassifiziert das Objekt jetzt als einen Vogel Strauß.[163]

Was Menschen als geringfügige und fast unsichtbare Veränderung erscheint, wie der Unterschied zwischen den beiden Schulbussen, ist ein qualitativer Unterschied für die Maschine.[164] Gegen einen Fehler dieser Art ist die menschliche Intuition gefeit. Solche qualitativen »Sprünge« sind nicht auf Bilderkennung begrenzt: Sie sind auch in Stimm-, Sprach- und Texterkennung entdeckt worden.[165]

Auch das umgekehrte Phänomen kann vorkommen, das heißt, ein tiefes neuronale Netz kann einen Unterschied zwischen zwei Bildern nicht erkennen, die für das menschliche Auge auffällig voneinander abweichen. Betrachten wir das Bild des Schulbusses in Abbildung 2 der Farbtafel auf der linken Seite. Es handelt sich um denselben Bus wie in Abbildung 1 (links), den ein trainiertes tiefes neuronales Netzwerk richtig erkannt hat. Rechts befindet sich ein Bild von waagerechten orangefarbenen und schwarzen Streifen, deren Farben ungefähr denen des Schulbusses entsprechen. Nachdem das Netz gelernt hatte, Schulbusse richtig zu identifizieren, wurde es an dem Streifenbild getestet. Das Netz klassifizierte das Bild als das eines Schulbusses. Es war sich seiner Sache zu 99 Prozent sicher.[166]

Diese eklatanten Fehler sind nicht auf die spezifische Art tiefer neuronaler Netze beschränkt, die getestet wurden. Sie suchen auch nicht nur Schulbusse heim, sondern zeigen sich bei praktisch jedem getesteten Objekt. Man sollte meinen, eine neue Technologie könnte Fehler dieser Art eliminieren, aber das ist aus zwei Gründen nicht möglich. Erstens könnte eine neue Technologie vielleicht einzelne Fehler beseitigen, nicht aber ihre Ursachen. Zweitens werden ständig neue Technologien entwickelt, um tiefe neuronale Netze auch weiterhin zu täuschen. So hat sich ein Wettrüsten zwischen Schutzmaßnahmen und »gegnerischen« Algorithmen herausgebildet, unter anderem in Gestalt erfolgreicher Ein-Pixel-Angriffe, das heißt, besonders kostengünstiger Täuschung durch Veränderung eines einzigen Pixels in einem Bild.[167]

Warum kommt es zu diesen Fehlern? Zunächst könnte man denken, dass man die neuronalen Netze mit einer zu kleinen Stichprobe von Schulbusbildern hat lernen lassen, oder nur mit untypischen Stichproben, um sie absichtlich reinzulegen. Aber beides stimmt nicht: Die Netze wurden an Standardsätzen von Bilddateien trainiert, die mehr als eine Million Bilder enthielten; noch mehr Trainingsfotos hinzuzufügen hätte nicht geholfen. Die Antwort ergibt sich aus dem fundamentalen Unterschied zwischen menschlicher und maschineller Intelligenz. Menschen haben ein mentales Konzept von einem Bus. Kinder können einen Bus wiedererkennen, nachdem sie nur einen oder einige wenige gesehen haben. Ein Bus hat vier Räder, Scheinwerfer, eine Windschutzscheibe, ist größer als ein Auto und hat die Funktion, viele Menschen zu befördern. Ein tiefes neuronales Netz besitzt kein derartiges Konzept eines Busses und kennt auch seine Funktion nicht. Es weiß noch nicht einmal, wo sich der Bus auf dem Bild befindet.[168] Seine Intelligenz besteht darin, statistische Assoziationen zwischen Pixeln zu finden und Pixeln Wahrscheinlichkeiten zuzuordnen. Je stärker die Assoziation, desto sicherer das Netz. Wenn in dem Bild typische Elemente wiederholt werden, wird das Netz wahrscheinlich mit größerer Zuversicht davon ausgehen, dass das Objekt tatsächlich in dem Bild vorhanden ist. Die auffällige gelbe Farbe eines amerikanischen Schulbusses, eingerahmt von schwarzen Teilen, das scheinen die typischen Elemente zu sein, die es entdeckt hat. Diese Farben werden durch die waagerechten Streifen verstärkt.

Genauso wenig hat ein tiefes neuronales Netz einen Begriff von einem Zebra, sucht aber nach typischen Mustern in Bildern, zum Beispiel nach Streifen. Infolgedessen würde das Bild eines Zebras mit zwei zusätzlichen Beinen (und entsprechend mehr Streifen) einen Menschen stutzig machen, ein tiefes neuronales Netz jedoch in der Ansicht bestärken, dass es sich tatsächlich um ein Zebra handelt.[169] Warum bringt man einem Netz dann nicht einfach bei, dass Zebras nicht mehr als vier Beine haben können? Die Behebung dieses spezifischen Fehlers würde nicht das zugrunde liegende Problem beseitigen: Das Netz weiß nicht, dass ein Bild etwas in der Wirklichkeit repräsentiert; es hat keinen Begriff von den Dingen. Seine Intelligenz beschränkt sich darauf, Muster in Farben, Texturen und anderen Merkmalen zu entdecken. Der menschlichen Intelligenz hingegen geht es darum, die Welt zu repräsentieren.

Ein Farbaufkleber auf einem T-Shirt

Um für die Sicherheit eines selbstfahrenden Autos zu sorgen, muss ein tiefes neuronales Netz Objekte wie Fahrzeuge, Fußgänger und Verkehrsschilder richtig erkennen (das Wahrnehmungsmodul), aber auch vorhersagen, wohin sich Autos oder Fußgänger demnächst bewegen werden (das Vorhersagemodul). Netze, die diese Vorhersagen machen, also den optischen Fluss berechnen, heißen Optical-Flow-Netze. In der Regel nehmen Kameras hinter der Windschutzscheibe eine große Zahl von Bildern pro Sekunde auf und schließen aus ihnen auf die Standorte der Fahrzeuge im nächsten Zeitfenster. Die Vorhersage, wohin andere Fahrzeuge oder Fahrräder sich bewegen, muss robust gegenüber kleinen Störungen sein, sonst lässt sich die Sicherheit nicht garantieren.

Doch wie bei der Objekterkennung neigen tiefe neuronale Netze manchmal zu für Menschen komplett kontraintuitiven Fehlschlüssen. Ein kleiner Farbaufkleber wie in Abbildung 3 der Farbtafel kann das Netz bei der Einschätzung des Verkehrsflusses verwirren.[170] Selbst wenn weniger als ein Prozent des Gesamtbildes verdeckt ist, könnte er die gesehene Bewegung in dem halben oder ganzen Bild vollkommen auslöschen. Je größer der Farbfleck, desto störender seine Wirkung. Solche Aufkleber können auf den T-Shirts von Fußgängern, den Stoßstangen eines Autos oder einem Verkehrsschild angebracht werden. Derartige Muster kann man in ein paar Stunden erzeugen. Wenn man den Typ des Netzwerks kennt, lässt sich das Muster leichter herstellen, obwohl das in Abbildung 3 gezeigte Muster bei verschiedenen Netzgruppen wirkt, das heißt, auch dann seine Aufgabe erfüllt, wenn nicht bekannt ist, welche Art Netz das selbstfahrende Auto verwendet.

Kein Mensch würde sich beim Autofahren von einem solchen Muster verwirren lassen. Die Fehler, die Menschen begehen, sind von vollkommen anderer Art. Geschätzte 90 Prozent der Unfälle lassen sich auf menschliche Faktoren wie stark überhöhte Geschwindigkeit, Verwendung mobiler Geräte, Müdigkeit oder Trunkenheit am Steuer zurückführen.[171] Kein Netz würde versagen, weil es müde ist oder von einem eintreffenden Handyanruf abgelenkt wird – obwohl eine sinkende Akkuleistung einen ähnlichen Effekt haben könnte. Die auffälligen Unterschiede zwischen maschineller und menschlicher Intelligenz bei Bewegungs- und Objekterkennung zeigen, dass es sich um zwei fundamental andersartige Intelligenzformen handelt. Häufig heißt es, ein Computer wisse nur das, was man ihm sagt. Das mag auf die psychologische KI zutreffen, aber nicht auf Netze. Ein tiefes neuronales Netzwerk kann lernen, Dinge zu »wissen«, die wir nur schwer verstehen können.

Was bedeutet das alles? Ingenieure, die Sehsysteme konstruieren, können irrtümlich von der Annahme ausgehen, dass eine KI, die an vielen Tausend Bildern von Ampeln trainiert worden ist und dann in einer Reihe von Tests gut abschneidet, sie auch in neuen Situationen so sicher erkennen wird wie ein Mensch. Die blinden Flecken können zu Unfällen führen, die schwer vorherzusehen und zu verstehen sind. Außerdem können böswillige Personen tiefe neuronale Netze zu unerwarteten Fehlern verleiten. Beispielsweise lässt sich das Computersehen eines Autos darauf trainieren, ein Stoppschild fälschlicherweise als ein Schild für eine Geschwindigkeitsbegrenzung von 100 Stundenkilometern zu lesen, sodass es Auto samt Insassen mit diesem Tempo über eine Kreuzung jagt.[172] Auch Fußgänger, die unerwartet zappelige Körperbewegungen machen, wenn sie zum Beispiel auf der Straße tanzen, können tiefe neuronale Netzwerke verwirren.[173]

Intuition und Moral

Schon Dreijährige begreifen, dass Menschen im Gegensatz zu Objekten Absichten und Wünsche haben, und schließen intuitiv aus Blicken, Körperbewegungen oder Tonfällen auf die Absichten anderer Menschen. Die Fähigkeit, anderen Menschen Absichten zuzuschreiben, bezeichnet man auch als Theorie des Geistes (Theory of Mind). Sie trägt zum sicheren Fahren bei. Nehmen wir an, ein Kind steht an der Bordsteinkante einer viel befahrenen Straße. Menschliche Fahrer können in einem Sekundenbruchteil erkennen, ob das Kind die Absicht hat, auf die Straße zu laufen oder nicht: Wenn das Kind den Ball auf der anderen Straßenseite im Blick hat, könnte das sehr wohl passieren; blickt das Kind dagegen eine Frau direkt neben sich an, ist das unwahrscheinlich. Menschen haben gelernt, mithilfe solcher heuristischen Regeln auf Absichten zu schließen. Künstliche neuronale Netze haben keine dieser Intuitionen. Selbst wenn die KI mit ihrem Wahrnehmungsmodul ein Kind und eine erwachsene Frau zuverlässig erkennen könnte, bräuchte sie noch zusätzlich ein Modul für intuitive Psychologie, um zu entscheiden, welche Absichten die beiden haben und was sie als Nächstes tun werden. Allerdings bleibt es ein Rätsel, wie man intuitive Psychologie in einen Computer programmieren soll. Dazu bedürfte es eines wahrhaften Durchbruchs in der Softwaretechnik.

Wenn es selbstfahrende Autos gäbe, entstünde eine große Zahl moralischer Dilemmata. Stellen Sie sich vor, drei ältere Menschen überqueren eine Straße bei Rot (Abbildung 4.2). Ein selbstfahrendes Auto erkennt sie zu spät, um rechtzeitig zu bremsen, und ist im Begriff, sie alle zu töten. Das Auto hat nur eine einzige andere Option: Gegen eine Mauer zu fahren und stattdessen die drei Insassen zu töten. Wie sollte der Ingenieur das Navigationsmodul der KI programmieren? Wen soll das Auto töten?

ABBILDUNG 4.2: Welche moralischen Intuitionen sollte man einem autonomen Auto geben? In diesem hypothetischen Szenario kann ein selbstfahrendes Auto einen Unfall nicht vermeiden und muss entscheiden, wer leben und wer sterben soll (siehe Awad et al., 2018).

2017 hat die deutsche Ethikkommission zum automatisierten und vernetzten Fahren die weltweit ersten ethischen Regeln für dieses Problem vorgeschlagen.[174] Dazu gehört, dass menschliches Leben Vorrecht vor tierischem hat und dass Diskriminierung aufgrund von Alter, Geschlecht oder irgendeinem anderen persönlichen Merkmal verboten ist. Folglich müsste es dem Auto gleichgültig sein, ob es die Fußgänger oder die Insassen rettet. Eine Studie an Millionen Menschen in mehr als 200 Ländern zeigte, dass die meisten Teilnehmer nicht mit diesen ethischen Regeln übereinstimmten, abgesehen von der Überzeugung, dass man Hunde und Katzen anstelle von Menschen opfern sollte. Bei dem Szenario mit den drei älteren Fußgängern befand die große Mehrheit, die KI müsse so programmiert werden, dass die Fußgänger und nicht die Insassen des Autos getötet würden. Schließlich seien jene alt und liefen rechtswidrig bei Rot über die Straße. Generell neigte die Mehrheit weltweit zu rücksichtsloser Diskriminierung und war weit davon entfernt, alle Mitmenschen als gleichrangig anzuerkennen.[175] Zwar würden die Befragten grundsätzlich eher einem Menschen als einem Hund das Leben retten, allerdings nicht, wenn es sich bei jenem um einen Kriminellen handelte. Entsprechend war die Bereitschaft geringer, Menschen von niedrigem Sozialstatus und Obdachlose zu verschonen.

Moralische Dilemmata, selbst wenn sie hypothetisch sind wie in dieser Studie, können Einblick in die Werte von Kulturen geben. Einwohner westlicher Länder waren am ehesten geneigt, gar nichts zu tun, das heißt, sie mieden die Verantwortung dafür, Menschen aktiv zu töten, etwa dadurch, nach links zu wenden und in die Mauer zu fahren. In östlichen Ländern wie Japan, China und den islamischen Staaten war die Tendenz besonders ausgeprägt, ältere Menschen oder Fußgänger zu retten und Straftäter zu opfern. Dagegen waren die Einwohner von Mittel- und Südamerika am ehesten bereit, Frauen, junge Menschen und Individuen von hohem Sozialstatus zu verschonen.

Das moralische Dilemma des selbstfahrenden Autos ist eine Spielart des »Trolley-Problems« (englisch trolley für Straßenbahn) aus der Moralphilosophie. Ihren Namen hat diese Klasse von Gedankenproblemen nach einem führerlos dahinrasenden Straßenbahnwagen, der fünf auf dem Gleis liegende Menschen töten wird, wenn man sich nicht zum Handeln entschließt und beispielsweise einen sehr dicken Mann über das Brückengeländer stößt, sodass er auf die Schienen stürzt und den Straßenbahnwagen zum Stillstand bringt. Er wird getötet, um fünf Leben zu retten. Diese Probleme können zeigen, ob jemand Untätigkeit vorzieht und den Tod vieler Menschen in Kauf nimmt oder lieber die Verantwortung für den Tod eines Menschen übernimmt, um andere Leben zu retten. Besonders aufschlussreich ist aber, dass diese moralischen Experimente eine Welt voller Gewissheit voraussetzen; sie scheuen die Ungewissheit. Ihnen liegt die Annahme zugrunde, dass der dicke Mann sich nicht verteidigt und dass er genau an der richtigen Stelle und zur richtigen Zeit auf das Gleis fällt. Obwohl die KI in dem hypothetischen Szenario keine Zeit hat, den Unfall zu vermeiden, bleibt die Annahme bestehen, dass sie perfekte Erkennungsfertigkeiten besitzt, das Alter und Verhalten der Beteiligten genau klassifiziert und in der Lage ist, exakt zu bestimmen, wie viele Fußgänger oder Fahrzeuginsassen sterben werden. Wenn diese hypothetische Gewissheit durch realistische Ungewissheit ersetzt wird, gerät das entschiedene moralische Urteil der Befragten ins Wanken und wird nachsichtiger.[176]

In der Moralpsychologie gibt es eine lange Tradition, moralische Dilemmata herauszuarbeiten, die Ungewissheit ausblenden. Als Gedankenexperiment ist das kein Problem. Aber im echten Verkehr bleibt Gewissheit eine Illusion; sowohl die menschliche wie die künstliche Intelligenz sind gezwungen, Entscheidungen zu treffen, ohne die Konsequenzen genau zu kennen. Dank diesem entscheidenden Unterschied müssen sich Ingenieure nicht unbedingt den Kopf darüber zerbrechen, wie man einen Computer so programmiert, dass er mit moralischen Dilemmata dieser Art umgehen kann. Tatsächlich verzichten die meisten Ingenieure darauf, die illusorische Gewissheit des Trolley-Problems als moralische Orientierungshilfe anzusehen.[177] Das hypothetische Dilemma der Entscheidung, wer getötet werden soll und wer nicht, wird sich in Wirklichkeit vermutlich nie ergeben, weil es selbstfahrende Autos voraussetzt, die exakt vorhersagen können, was nach einem Zusammenstoß passieren wird.

Die Zukunft des Autofahrens

Wie oben erwähnt, legt das Prinzip der stabilen Welt im Gegensatz zu Elon Musks vollmundigen Behauptungen im Motto dieses Kapitels und zu anderen kommerziellen Versprechen eher den Schluss nahe, dass selbstfahrende Autos unsere Zukunft wahrscheinlich nicht bestimmen werden. Sichere Stufe-5-Autos würden enorme Fortschritte in der Software-Entwicklung voraussetzen. Automatisiertes Fahren wird kommen, aber nicht in der Weise, die man uns einreden will. Stattdessen wird es wahrscheinlich zwei Formen annehmen, eine, die zulässt, dass Menschen fahren (Stufe 3), und eine, die es nicht zulässt (Stufe 4). Diese zwei Formen werden wahrscheinlich koexistieren, und in beiden Fällen müssen sich die Menschen den Möglichkeiten der KI anpassen.

Wenn Ihr Auto Sie bei der Polizei anzeigt

Wenn es nicht zu selbstfahrenden Autos kommen sollte, scheint eine Alternative zu sein, dass man Menschen beibringt, KI als Unterstützungssystem zu verwenden, aber wachsam zu bleiben und das Steuer wieder zu übernehmen, wenn das System versagt – dann spricht man von erweiterter Intelligenz (augmented intelligence). Das läuft auf partielle Automatisierung hinaus, das heißt auf weiter entwickelte Versionen von Stufe 2 oder 3. Doch erweiterte Intelligenz bedeutet nicht nur, dass man Ihrem Auto nützliche Merkmale hinzufügt. Sie kann uns auch in eine andere Zukunft führen, in der KI uns unterstützt, aber auch überwacht. Auf diese mögliche Zukunft drängen eher Versicherungsgesellschaften und Polizei als die Autohersteller. Und das beginnt mit Telematik.

Jugendliche Fahrer sind – so das Stereotyp – leichtsinnig, übermütig und ein Versicherungsrisiko. Einige sind es tatsächlich, viele aber nicht. Trotzdem behandeln die Versicherungsgesellschaften sie als eine geschlossene Gruppe und verlangen von ihnen hohe Beiträge. Eine Telematik-Versicherung kann das ändern, indem sie sicheren Fahrern bessere Tarife bietet. Auf diese Weise will man die Prämie am tatsächlichen Fahrverhalten des einzelnen Versicherungsnehmers ausrichten und nicht an dem des durchschnittlichen Fahrers. Zu dem Zweck wird von der Versicherungsgesellschaft eine Blackbox im Auto installiert (die Verwendung eines Smartphones ist möglich und billiger, aber weniger zuverlässig). Die Blackbox zeichnet das Fahrverhalten des Versicherungsnehmers auf und errechnet einen Sicherheits- oder Telematik-Score. Abbildung 4.3 zeigt das Bewertungssystem der ersten deutschen Telematik-Versicherung. Es erfasst vier Merkmale, die sie unterschiedlich gewichtet.[178]

Merkmal (Ereignis)

Gewicht

Starke Beschleunigung oder starkes Bremsen

40

Überhöhte Geschwindigkeit (mehr als 20 % mehr als 30 Sekunden lang)

30

Nachtfahrten zwischen 23.00 und 5.00 Uhr

20

Stadtfahrten

10

ABBILDUNG 4.3: Zahlen Sie, wie Sie fahren. Eine Blackbox im Auto übermittelt vier Merkmale des Fahrerverhaltens an die Telematik-Versicherung. Die Fahrsicherheit wird durch einen transparenten Algorithmus berechnet.

Rasche Beschleunigung oder abruptes Bremsen wird am stärksten gewichtet, gefolgt von überhöhter Geschwindigkeit. Für jedes der vier Merkmale beginnt jeder Fahrer mit einem monatlichen Guthaben von 100 Punkten. Ein »Ereignis« führt zu einem Punkteabzug, zum Beispiel von 20 Punkten für die erste starke Beschleunigung und für eine Geschwindigkeitsüberschreitung. Am Ende des Monats werden die verbleibenden Punkte wie gezeigt gewichtet und zu einem Sicherheits-Gesamtscore addiert. Obwohl die Telematik häufig als Blackbox-Versicherung bezeichnet wird, ist der Algorithmus – im Gegensatz zu den meisten Liebes-Algorithmen – keineswegs eine »Blackbox«. Er wird auf der Webseite des Versicherers detailliert erklärt, sodass alle den errechneten Score verstehen und überprüfen können.

In der Werbung werden personalisierte Tarife als besonders gerecht angepriesen, da sie doch den individuellen Fahrstil berücksichtigen. Aber sie führen auch zu neuer Diskriminierung, wenn Nacht- und Stadtfahrten bestraft werden. Beispielsweise haben Krankenhausmitarbeiter kaum eine Möglichkeit, die Arbeit bei Nacht und in Städten zu vermeiden. Auf einige der Merkmale haben Fahrer also Einfluss, auf andere nicht. Interessanterweise wird ein Merkmal, das ganz der Kontrolle des Fahrers unterliegt, in praktisch keinem der personalisierten Tarife erwähnt: Texten am Steuer.

Außerdem ermöglicht die Blackbox neben Gerechtigkeit auch Überwachung. Betrachten wir eine mögliche Zukunft. Warum soll die Blackbox einen Bericht über Geschwindigkeitsüberschreitung nur an die Versicherungsgesellschaft schicken? Eine Kopie an die Polizei wäre äußerst bequem und würde ihr viel Mühe ersparen. Damit würden alle Radarfallen überflüssig. Wenn Sie zu schnell fahren, druckt das Auto den Strafzettel postwendend aus oder, noch bequemer, zieht das Bußgeld automatisch von Ihrem Online-Konto ein. Die Beziehung zu Ihrem geliebten Auto könnte sich verändern. Es gibt einen schleichenden Übergang zwischen Gerechtigkeit und totaler Überwachung.

Würden Sie eine neue Generation von Autos befürworten, die Verstöße gegen die Straßenverkehrsordnung direkt an die Polizei sendet? In einer von mir gemeinsam mit dem Versicherer ERGO durchgeführten Erhebung antwortete ein Drittel der Erwachsenen in Deutschland mit »Ja«; bei den über 60-Jährigen war der Prozentsatz höher, bei den unter 30-Jährigen niedriger.[179] Die Technologie für diese Zukunft gibt es bereits, da die meisten Neuwagen schon eine Blackbox installiert haben. Die gesammelten Daten gehören allerdings nicht dem Autobesitzer; sie können vor Gericht gegen ihn verwendet werden. In Georgia verschaffte sich die Polizei nach einem tödlichen Verkehrsunfall die Blackbox-Daten ohne richterliche Anordnung, und der Fahrer wurde wegen rücksichtsloser Fahrweise und Geschwindigkeitsübertretung schuldig gesprochen.[180]

So verschieden die Motive für die Überwachung auch sein mögen, die digitale Technologie unterstützt sie alle. Man braucht noch nicht einmal eine Telematik-Versicherung abzuschließen. Moderne Autos haben eingebaute Internetverbindungen, von denen die meisten – ohne dass es in der Bedienungsanleitung des Eigentümers erwähnt wird – alle paar Minuten sämtliche Daten, deren sie habhaft werden können, an den Hersteller senden: wo sich der Fahrer augenblicklich befindet, ob er abrupt gebremst hat, wie häufig die Einstellung des Fahrersitzes verändert wurde, welche Tankstellen oder Ladestationen aufgesucht und wie viele CDs und DVDs eingeschoben wurden.[181] Mehr noch, wenn Sie Ihr Handy anschließen, kann das Auto Ihre persönlichen Daten übermitteln – Kontaktadressen, E-Mails, Textnachrichten und sogar Fotos. Autohersteller sind bemerkenswert schweigsam in Hinblick auf diese Aktivitäten, und wenn man sie fragt, wem sie diese Daten zugänglich machen, erhält man in der Regel keine Antwort.[182] Diesen Daten kann man viele interessante Informationen entnehmen, etwa wie oft die Fahrer McDonald’s-Restaurants aufgesucht haben, wie gesund sie leben und wen sie gelegentlich bei Nacht besuchen. Vernetzte Autos können der Gerechtigkeit helfen und die Sicherheit verbessern, aber sie können uns auch ausspionieren. Telematik-Versicherungen verkörpern die beiden Seiten der Digitaltechnologie: Überwachung im Austausch für Bequemlichkeit.

Städte passen sich autonomen Autos an, und Autofahren wird illegal

In einer möglichen Zukunft, in der Autos ihre Fahrer überwachen und Verstöße gegen die Straßenverkehrsordnung bei der Polizei anzeigen, werden die Autofahrer ihr Verhalten anpassen. Künftige Stufe-2- und Stufe-3-Fahrer werden sich vorhersagbar und gesetzestreu verhalten. Rasen, bei Rot über die Ampel fahren, während der Fahrt SMS schreiben, betrunken fahren, keine Sicherheitsgurte anschnallen und andere Verkehrsvergehen werden dem Wilden Westen der Vergangenheit angehören. Aber auch in dieser Zukunft werden die Menschen immer noch am Steuer sitzen.

Wie oben erwähnt, führt das Prinzip Anpassung-an-KI zu einem zweiten Zukunftsszenario, das sich parallel zum ersten entfalten könnte. Es würde voraussetzen, dass wir die gegenwärtige Verkehrsumwelt in eine besser vorhersagbare Umgebung verwandelten, die Stufe-4-Autos zuließe, also Fahrzeuge ohne Menschen am Steuer, wenn auch nicht unter allen Verkehrsbedingungen. Zunächst einmal müssten auf Autobahnen spezielle Fahrspuren und in Städten bestimmte Bezirke für autonome Autos reserviert werden. Auf lange Sicht wären, um das Potenzial von autonomen Autos auszuschöpfen, vollkommen neue Städte erforderlich, die den Autos eine stabile Umgebung zur Verfügung stellen würden. Das erforderte die Ausrüstung der Straßen mit Sensoren, die Autos erfassen, und mit einem System, das mit den Autos kommuniziert. Auf solchen Straßen wären keine menschlichen Fahrer erlaubt, und Fußgänger erhielten eigene, abgetrennte Wege. In dieser Zukunft wären Menschen am Steuer innerhalb abgegrenzter Bereiche oder ganzer Städte gesetzlich verboten, und viele würden das Autofahren verlernen. Wer in dieser Zukunft lebt, blickt ungläubig in jene Vergangenheit zurück, in der Menschen selber fahren und andere töten durften.

In dieser zweiten Zukunftsvision können autonome Autos mit dem öffentlichen Verkehr vernetzt werden. Eine Flotte von Robotaxis kreist, aus Sicherheitsgründen mit geringer Geschwindigkeit, durch eine Stadt. Diese Fahrzeuge befördern Menschen zu Bus- und Straßenbahnhaltestellen, wo sie ihre Fahrt schneller und über längere Entfernungen fortsetzen können. Dadurch werden Privatfahrzeuge überflüssig und Städte, die mit Autos zugeparkt sind, zu Geschichte. Die frei werdenden Räume könnte man für breite Fußgänger- und Fahrradwege nutzen, die durch Mauern oder Hecken abgetrennt sind, sodass ihre Benutzer nicht auf die Autospuren gelangen können. Um diese Entwicklung zu fördern, könnte man dafür sorgen, dass die Benutzung von Robotaxis und öffentlichen Verkehrsmitteln billig ist, der Besitz von Privatautos hingegen extrem teuer, und die Städte für Privatfahrzeuge sperren.

Einige Länder haben bereits erste Schritte in Richtung dieser Zukunft unternommen und bauen neue Städte für die Stufe-4-Technologie. Beispielsweise hat Toyota angekündigt, eine intelligente Stadt in der Nähe von Tokio und dem Fujijama zu errichten, die an autonome Autos angepasst ist und in der Fußgängern Gehwege zugewiesen werden, auf denen sie vor Autos sicher sind.[183] Die autonomen Autos sollten die Bürger ins Stadtzentrum befördern, sagt Toyota, obwohl das auch schon wieder obsolet sein könnte, da es nicht mehr viel im Stadtzentrum zu tun geben wird. Homeoffice ersetzt Arbeitsplatz, Streaming ersetzt Kinos, Online-Shopping den Einkaufsbummel, und autonome Autos liefern Medikamente, Pizzas und alles andere, was man braucht, frei Haus. Entsprechend verkündete die chinesische Regierung die Absicht, südlich von Peking eine Stadt zu bauen, doppelt so groß wie Hamburg, die den autonomen Verkehr unterstützen könne. Solche radikalen Veränderungen im öffentlichen Bereich sind in den westeuropäischen Ländern und den USA gegenwärtig undenkbar. Aber auch diese Staaten werden die Bürgerrechte vielleicht schon bald den Bedürfnissen der KI anpassen, indem sie ihr eine Umwelt bieten, in der sie sich frei entfalten kann.

Die beiden Zukunftsentwürfe des autonomen Fahrens verdeutlichen einen allgemeinen Punkt. Die Frage lautet, wie man dafür sorgen kann, dass KI in Situationen von Ungewissheit funktioniert. Die erste Lösung ist lückenlose Überwachung und Verhaltenskontrolle durch Belohnung und Bestrafung. Die Methode macht Menschen vorhersagbarer. KI kommt besser mit Menschen zurecht, die Regeln befolgen und sich konsequent verhalten, ob auf der Straße oder anderswo. Die zweite Lösung ist die Schaffung einer stabileren und besser vorhersagbaren Umwelt. Das heißt, diese muss den Möglichkeiten der KI angepasst werden, was unter Umständen zur Folge hat, dass Fußgänger, Radfahrer und menschliche Fahrer ganz aus der Umwelt entfernt werden.

Fahrradfreundliche Städte und intelligenter öffentlicher Verkehr

Eine radikale Alternative zu diesen beiden Entwürfen autonomen Autofahrens sieht vor, Autos – autonome wie andere – so weit wie möglich aus dem Verkehr zu verbannen. Eine Option sind extrem fahrradfreundliche Städte. Amsterdam, Kopenhagen und andere Städte haben bereits ihre Infrastruktur von Grund auf geändert und ihre Straßen den Bedürfnissen von Radfahrern statt Autofahrern angepasst. Die traditionell autofreundliche Stadt Utrecht hat sich in einen Ort verwandelt, der Fahrrädern Vorrang vor dem motorisierten Verkehr einräumt.[184] 98 Prozent der Haushalte besitzen Fahrräder. Autofahrspuren sind zu breiten, sicheren Fahrradstraßen umgebaut worden, und die Ampeln hat man dem Tempo von Radfahrern angepasst, sodass diese durch die Stadt fahren können, ohne ständig anhalten zu müssen. Infolgedessen ist die Stadt viel weniger laut, die Luft sauberer und die Zahl der Fußgänger und Radfahrer, die im Straßenverkehr ums Leben kommen, kleiner geworden. Die Stadt investiert jährlich rund 40 Millionen Euro in die Fahrradinfrastruktur und spart jedes Jahr geschätzte 250 Millionen dank geringerer Umweltbelastung und Gesundheitskosten. »Man hat wirklich den Eindruck, dass in der Stadt Menschen den Ton angeben und nicht Maschinen«, meinte die stellvertretende Bürgermeisterin der Stadt.

Fahrradfreundliche Städte lassen sich gut mit einer weiteren Alternative zu autonomen Autos verbinden, nämlich dem intelligenten öffentlichen Personenverkehr. Hochgeschwindigkeits-Fernzüge wie der Shinkansen zwischen Tokio und Osaka, der Fuxing Hao von Schanghai nach Hangzhou, der französische TGV, Italiens AGV und der deutsche ICE sind mit 250 bis 400 Stundenkilometer unterwegs. Der Shinkansen zum Beispiel ist leise, sicher, sehr bequem und auf die Sekunde pünktlich. Der schnellste Nahverkehrszug der Welt erreicht mehr als 420 Stundenkilometer und braucht nur sieben Minuten von Schanghais Flughafen Pudong International zu einer U-Bahnstation im Zentrum. Von dort aus bringt Sie ein engmaschiges über- und unterirdisches Nahverkehrsnetz in die Nähe Ihres Ziels, egal, wo in der Stadt es sich befindet. Den Rest der Strecke können Sie zu Fuß gehen, um sich etwas Bewegung zu verschaffen, oder mit dem Taxi fahren. Elektrozüge sind schneller und sicherer als Autos und umweltschonender.

Dass sich das Interesse ursprünglich auf die Privat-Pkws konzentrierte, ist vermutlich kein Zufall. Die Industrie der autonomen Autos ist vorwiegend in Kalifornien und anderen Bundesstaaten angesiedelt, in denen es gut organisierte öffentliche Verkehrsnetze kaum noch gibt, nachdem sie von den Autoherstellern in den 1930er und 40er Jahren zerstört wurden – anders als in Hongkong, Seoul, Singapur, Berlin, London, Paris, Madrid oder New York. Abgesehen davon, dass in jenen US-Staaten der öffentliche Personenverkehr kaum noch existiert, wird auf ihn häufig herabgesehen als Beförderungsmittel für arme und unterprivilegierte Gruppen. 56 Prozent der US-Bürger gaben an, sie benutzten nie öffentliche Verkehrsmittel, dagegen waren es bei den Russen 2 Prozent, den Chinesen 2 Prozent, Südkoreanern 4 Prozent, Briten 12 Prozent und den Deutschen 15 Prozent.[185] Diese kulturelle Voreingenommenheit trägt zur Autobegeisterung bei und könnte eine gewisse Blindheit für alternative Lösungen bewirken.

Russischer Panzer

In der KI geht es häufig um Vorhersagen, so auch in den Wahrnehmungs- und Vorhersagemodulen autonomer Autos. In Kapitel 2 habe ich den texanischen Scharfschützen eingeführt, der einen Algorithmus an die Daten anpasst und dann das Ergebnis als Vorhersage ausgibt. Während dieser Trick in den Sozialwissenschaften nicht selten anzutreffen ist, kommt er beim Maschinenlernen praktisch nicht vor. Dort werden neuronale Netze auf Bildererkennung trainiert, indem man eine Kreuzvalidierung durchführt, das heißt, die Menge der Bilder zufällig in zwei Teile aufteilt und dann das Netz an der einen Hälfte trainiert und an der anderen testet.

Allerdings kann tiefes Lernen es noch mit einem zweiten Problem zu tun bekommen, dem Umstand, dass wir nicht wissen, was ein neuronales Netz gelernt hat. Wie oben gezeigt, hat ein Netz kein Konzept von einem Schulbus oder einem Vorfahrtsschild. Stattdessen lernt es Hinweise, die in einer Bildermenge zwischen Objektklassen unterscheiden, selbst wenn die irrelevant sind und sich nicht auf andere Bilder oder die Wirklichkeit verallgemeinern lassen. Das Bild der waagerechten gelben und schwarzen Streifen zeigt, wie kräftig ein Netz danebengreifen kann. Das liegt an folgendem Problem: Da das Netz im Gegensatz zu Menschen nicht über Konzepte verfügt, identifiziert es möglicherweise irrelevante Merkmale, die sowohl in den Trainings- als auch in den Testbildern vorkommen.

Ich werde diesen zweiten Trugschluss den »russischen Panzer« nennen. Der Name stammt aus einer modernen Legende:[186]

Die US Army trainierte ein neuronales Netz darauf, russische Panzer von US-Panzern zu unterscheiden. Wie gewöhnlich wurde eine große Datenmenge mit Panzerfotos verwendet; das Netz wurde an der einen Hälfte trainiert und an der anderen getestet. Am Ende bestand es den Test mit hundertprozentiger Genauigkeit. Aber in der Wirklichkeit versagte es. Erst später erkannte man, dass die US-Panzer bei sonnigem Wetter fotografiert worden waren, die russischen dagegen an einem bewölkten Tag. Das intelligente Netz hatte den perfekten Hinweis gefunden: Wolken.

Ähnliche Geschichten erzählt man sich über neuronale Netze, die lernten, Wölfe von Hunden zu unterscheiden. In dem Datensatz der Bilder standen die Hunde zufällig auf Gras und die Wölfe auf Schnee. Das Netz fand den besten unterscheidenden Hinweis: weißer Hintergrund. Diese Geschichten gehören wahrscheinlich in das Reich der Legende. Doch bleibt entscheidend, dass die Netze es ausgezeichnet verstehen, Hinweise zu entdecken, mit deren Hilfe man Bilder unterscheiden kann, ohne dass diese Merkmale etwas mit den menschlichen Konzepten etwa eines Panzers zu tun haben.

Mit anderen Worten, Forscher im Bereich des Maschinenlernens können in eine andere Falle tappen, wenn sie nicht berücksichtigen, dass das Netz fast perfekte, aber irrelevante Merkmale lernen kann. Viele Studien zum Maschinenlernen verzichten auf den notwendigen nächsten Schritt – die Leistung der KI in der Wirklichkeit zu überprüfen. Im Gesundheitswesen werden beispielsweise die meisten Algorithmen auf Computern und nicht in Krankenhäusern getestet. Die Annahme, dass das, was im Labor klappt, auch in der Wirklichkeit funktioniert, hat man als »die große Lüge des Maschinenlernens«[187] bezeichnet. Beispielsweise bestand eine der vorgeschlagenen Lösungen in den convolutional neuronal networks (CNN) – den »gefalteten neuronalen Netzen« –, die einen eingebauten Bias haben, etwa Kanten oder andere für das betreffende Objekt unentbehrliche Strukturen. Doch wie der folgende Echtfall zeigt, können auch solche Netze nicht immer das Problem lösen.[188]

Im New Yorker Mount Sinai Hospital, einem der ältesten Lehrkrankenhäuser in den USA, lernte ein tiefes neuronales Netz (CNN) anhand von Röntgen-Thoraxaufnahmen genau vorherzusagen, wie groß bei Patienten die Gefahr einer Lungenentzündung ist. In anderen Krankenhäusern versagte das Netz jedoch. Als man die Röntgenbilder von Hand untersuchte, fand man schließlich den Grund. Die KI hatte gelernt zu unterscheiden, ob die Bilder mit dem mobilen Röntgengerät des Krankenhauses oder in der Röntgenabteilung aufgenommen worden waren. Mit den mobilen Geräten wurden die Aufnahmen bei Patienten gemacht, die zu krank waren, um ihr Zimmer zu verlassen, und bei denen daher das Risiko einer Lungeninfektion größer war. In anderen Krankenhäusern war dies keine große Hilfe. Die Entdeckung irrelevanter Merkmale ist einer der Gründe, warum ein neuronales Netz, das in einem Krankenhaus trainiert wurde, oft an Genauigkeit verliert, wenn es in einem anderen Krankenhaus verwendet wird.[189]

Russische Panzer haben mit einem viel tiefer liegenden Problem zu tun, der Frage der Übertragbarkeit. Viele Studien zum Maschinenlernen gehen methodisch so vor, dass sie sagen: Hier sind Daten, teilen wir sie in zwei Gruppen auf und schauen wir, wie genau KI die Gruppe vorhersagt, die sie noch nicht gesehen hat. Mancherorts ist das zur einzigen Methode geworden, die verwendet wird. Zwar vermeidet dieses Verfahren den Scharfschützen-Trugschluss, sagt aber deshalb noch lange nicht die Zukunft voraus. Wenn man nämlich die Daten zufällig in zwei Hälften teilt, erschafft man eine ziemlich stabile Welt: Die Daten, die verwendet werden, um den Algorithmus zu trainieren, und die Daten, die für den Test verwendet werden, stammen aus derselben Gruppe. Nichts Unvorhergesehenes kann passieren, und keine künftigen Ereignisse werden vorhergesagt. Beispielsweise machen einige hoch gelobte Studien zu computerbasierten Persönlichkeitsvorhersagen, die sich auf Facebook-Likes und andere digitale Fußabdrücke stützen, tatsächlich gar keine echten Vorhersagen über die Zukunft.[190] Daher zeigt sich die beeindruckende Leistung von Maschinenlernsystemen in vielen neuen Situationen plötzlich nicht mehr, wie etwa bei Patienten in anderen Krankenhäusern, bei Fotos, die mit anderen Kameras aufgenommen wurden, und bei biologischen Proben, die von verschiedenen Zelltypen stammten.[191] Zur Überwindung dieser Einschränkungen bedarf es noch eines weiteren Schrittes: Es muss überprüft werden, wie gut sich ein Algorithmus in neuen Situationen bewährt, zum Beispiel bei neuen Patienten in anderen Krankenhäusern. Dann sind es echte Vorhersagen.

Die allgemeine Erkenntnis lautet: Software, die spektakuläre Ergebnisse im Computerlabor erzielt, kann ihre Wirksamkeit verlieren, wenn sie in der realen Welt überprüft wird. Wenn Sie hören, ein Algorithmus habe erfolgreich Kinder erkannt, die die Straße überquerten, oder Patienten identifiziert, denen eine Lungenerkrankung drohte, sollten Sie nachschauen, ob der Algorithmus in der realen Welt getestet wurde. Bilder in zwei Gruppen aufzuteilen, ein Netzwerk an einer Gruppe zu trainieren und es an der anderen zu testen, ist wichtig, aber nicht hinreichend. Entscheidend ist, es »in freier Wildbahn« zu testen.

**   Ditchcalifornia = Verlass Kalifornien.

AZmeansBIZ = Arizona meint es ernst mit dem Angebot.

5

GESUNDER MENSCHENVERSTAND UND KI

Der intuitive Verstand ist eine heilige Gabe und der rationale Verstand ein treuer Diener. Wir haben eine Gesellschaft erschaffen, die den Diener ehrt und das Geschenk vergessen hat.

ALBERT EINSTEIN[192]

Gewöhnlichen Menschenverstand in einem ungewöhnlichen Maß nennt die Welt Weisheit.

SAMUEL TAYLOR COLERIDGE[193]

Das menschliche Gehirn mit seinen fast 100 Milliarden Neuronen und 100 Billionen Verbindungen ist ein Wunder, fein abgestimmt im Laufe von Hunderten Millionen von Jahren Evolution. Solche Zahlen kann unser bewusster Verstand kaum fassen. Im Vergleich zur zeitgenössischen Computertechnologie sind menschliche Gehirne auch äußerst energieeffizient. Der Supercomputer Watson verbrauchte 85 000 Watt, als er Jeopardy! spielte, seine beiden menschlichen Konkurrenz-Gehirne dagegen nur jeweils 20 Watt – so viel wie eine matte Glühlampe.[194] Die wichtigste Energiequelle des Gehirns ist Glukose. Außerdem benötigte Watson ein tonnenschweres Kühlsystem, während seinen Konkurrenten auch an den heißesten Tagen des Jahres ein Handfächer gereicht hätte. Einer der leistungsfähigsten Computer der Welt, der Supercomputer Blue Waters an der University of Illinois, verbraucht rund 15 000 000 Watt und nimmt eine Fläche von fast 2000 Quadratmetern ein. Er ist auf ein großes Kühlsystem angewiesen, das unter dem Fußboden verborgen ist. Das Gehirn beansprucht wenig Raum: Es hat die Größe zweier Fäuste und lässt sich leicht umhertragen. Im Gegensatz zum Supercomputer ist es selbstorganisiert und in der Lage, sich allein zu programmieren. Würden alle menschlichen Gehirne durch Supercomputer ersetzt, könnte die so generierte Hitze alle Bemühungen um Klimaschutz zunichtemachen.

Die Zahnräder des gesunden Menschenverstands

Wie oben erwähnt, entwickelte die menschliche Intelligenz im Zuge der Evolution die Fähigkeit, mit Ungewissheit umzugehen. Aus den geistigen Fähigkeiten, die Menschen evolutionär erworben haben, um in einer ungewissen Welt erfolgreich zu bestehen, stechen vier besonders hervor:

•  Kausales Denken, das heißt die Struktur von Ursache und Wirkung in der Welt zu verstehen.

•  Intuitive Psychologie, z. B. die Absichten und Überzeugungen anderer Menschen zu verstehen.

•  Intuitive Physik, z. B. die Eigenschaften von Zeit und Raum zu verstehen.

•  Intuitives Sozialverhalten wie z. B. Kooperation, Konkurrenz, soziale Normen und Ethik.

Die Summe dieser Fähigkeiten bezeichne ich als gesunden Menschenverstand (Common Sense):

Gesunder Menschenverstand ist gemeinsames, durch das biologische Gehirn ermöglichtes Wissen über Menschen und die physische Welt und bedarf nur begrenzter Erfahrung.

Der gesunde Menschenverstand erwächst aus einer Mischung von genetischen Veranlagungen und individuellem sowie sozialem Lernen (etwa dem Wissen, dass die Welt dreidimensional ist oder dass man die Gefühle anderer nicht verletzen sollte). Er kann auf Intuition oder einem bewussten Urteil beruhen. Beispielsweise sind die meisten Menschen in der Lage, zwischen einem echten und einem lediglich höflichen Lächeln zu unterscheiden, können aber nicht erklären, wie ihnen das gelingt. Das bezeichnet man als Intuition oder Bauchgefühl.[195] Doch wenn man erfährt, dass sich bei einem echten Lächeln die Muskeln sowohl um den Mund wie um die Augenbrauen bewegen, während es beim höflichen Lächeln nur die Muskeln um den Mund sind, ermöglicht einem diese Erkenntnis ein bewusstes Urteil. Intuition und Urteil sind keine entgegengesetzten Pole. Sie beruhen auf dem gleichen Prozess, hier der Analyse der gleichen visuellen Reize.[196]

Kausales Denken. Die Fähigkeit, in den Begriffen von Ursache und Wirkung zu denken, entwickelt sich schon früh. Hartnäckig fragen Kinder »Warum?«. Sie möchten wissen, warum der Himmel blau ist, warum manche Menschen reich sind und warum sie ihr Gemüse aufessen müssen. Manche Kinder stellen mehr »Warum«-Fragen, als ihre Eltern beantworten können. Dadurch stellen Kinder kausale »Modelle« der Welt her. Die Neugier auf Ursachen statt auf bloße Assoziationen ist charakteristisch für menschliche Intelligenz und das Kennzeichen von Wissenschaft. Kausales Denken ist sowohl eine Stärke als auch ein Ursprung von Aberglauben, etwa wenn man glaubt, dass das Drücken von Daumen Glück bringt.

Intuitive Psychologie. In den ersten Lebensjahren entwickeln Kinder eine intuitive Psychologie: Sie »wissen«, dass Menschen Gefühle und Absichten haben, und sie können die Perspektive anderer Menschen einnehmen.[197] Spezielle Schaltkreise im Gehirn haben offenbar die Aufgabe zu beobachten, was andere wissen, denken und glauben. Mangel an intuitiver Psychologie ist ein Zeichen für Autismus.

Intuitive Physik. Ganz ähnlich entwickeln Kinder auch eine intuitive Physik. Beispielsweise wissen sie, dass sich ein Festkörper nicht durch einen anderen Körper hindurchbewegen kann, dass Körper in der Zeit fortbestehen und dass sich die Zeit nicht umkehren lässt.

Intuitives Sozialverhalten. Wenn Kinder älter als drei Jahre sind, sind sie bestrebt, Gruppennormen zu folgen und moralische Standards zu entwickeln und zu verteidigen.

Gesunder Menschenverstand ist eine gewaltige Herausforderung für die Entwickler von Künstlicher Intelligenz. Das gilt sogar für das Grundverständnis, dass Wörter und Bilder Objekte in der sozialen und physischen Welt repräsentieren. Es ist uns nicht gelungen, gesunden Menschenverstand in Computer zu programmieren oder tiefe neuronale Netze zu entwickeln, die ihn lernen können. Sensomotorische Fertigkeiten sind eine andere große Herausforderung. Zwar kann KI einen Menschen im Schach besiegen, doch dasselbe Programm ist nicht in der Lage, das Schachbrett aus dem Regal zu nehmen und die Figuren aufzustellen. Es ist nach wie vor schwierig, einen Roboter zu bauen, der seine Finger ebenso flexibel bewegen kann wie ein Geiger, oder einen Haushaltsroboter, der alle Hausarbeiten so gut wie ein Mensch erledigen kann. In Ermangelung dieser Fertigkeit besteht eine Lösung darin, unsere Wohnwelten an die Fähigkeiten der KI anzupassen.

Computer brillieren bei Fähigkeiten anderer Art:

Schnelles Rechnen. Hochgeschwindigkeitsrechnen ist die Grundlage von Suchmaschinen und Schachcomputern.

Suche nach Assoziationen in Big Data. Zunehmende Rechengeschwindigkeit ermöglicht die Suche nach Assoziationen zwischen Merkmalen in großen Datensätzen.

Muster in Bildern oder akustischen Informationen entdecken. Algorithmen können Muster in Bildern entdecken, etwa in Genomen und astronomischen Beobachtungen, die für das menschliche Auge schwer zu erkennen sind.

Schnelle Rechenleistung an sich bringt weder kausales Denken noch intuitive Psychologie, Physik oder Sozialität hervor.[198] Ein brillantes Schachprogramm weiß nicht, dass es Schach spielt, noch nicht einmal, dass sein Gegner ein Mensch ist, und genießt den Kick des Gewinnens nicht. Diese Unterschiede zwischen menschlicher und maschineller Intelligenz werden deutlicher, wenn wir konkrete Beispiele wie das Erkennen von Objekten und Szenarien betrachten. Fangen wir mit Sprachübersetzung an.

Sprachübersetzung

In Douglas Adams’ Buch Per Anhalter durch die Galaxis braucht sich jeder, der eine Fremdsprache verstehen will, nur einen kleinen Fisch ins Ohr zu stecken. Auf unserer schlichten Erde gibt es leider keinen Fisch, der das erledigen könnte; stattdessen brauchen wir Übersetzer. Wenn ein Text aus einer Sprache in eine andere übertragen werden soll, muss ein Übersetzer die Originalsprache verstehen, aber einen besseren Zugang zur Zielsprache besitzen, um Redewendungen und Ironie ausdrücken zu können. Daher übersetzen professionelle Übersetzer in der Regel in ihre Muttersprache.

Wie konstruiert man am besten eine Übersetzungsmaschine? Folgt man der psychologischen KI, würde man professionelle Übersetzer und Linguisten in einem Raum versammeln und versuchen, ihre Intuitionen und Urteile in Regeln zu fassen, die sich in Software programmieren ließen. Aber das hat so nicht geklappt. Sprache ist kein System aus wohldefinierten Regeln: Wörter haben nicht eine, sondern viele Bedeutungen, und die richtige lässt sich nicht einfach in einem Wörterbuch nachschlagen, sondern muss aus dem Kontext und dem, was man über den Sprecher weiß, geschlossen werden. Entsprechend sind auch grammatische Regeln nicht absolut, sondern vielfach gebrochen. Die Alternative besteht darin, dass man die menschliche Übersetzungskunst vergisst und stattdessen Softwareingenieure beauftragt, mit der brutalen Rechenleistung von Computern die statistischen Assoziationen zwischen Wörtern und Sätzen in Milliarden von bereits übersetzten Textseiten zu analysieren. Regeln und Statistik waren die beiden zentralen Ideen für die Entwicklung von Übersetzungsmaschinen.

Bis Ende der 1980er Jahre wurden keine großen Fortschritte in der Entwicklung der Maschinenübersetzung erzielt. Der Mitte der 1960er Jahre von amerikanischen Fördereinrichtungen in Auftrag gegebene ALPAC Report bezeichnete die Übersetzungsforschung als mangelhaft und nutzlos.[199] Sehr beliebt waren die Geschichten, die sich über diesen Stand der Dinge lustig machten. Hier ist eine. Ein Computerprogramm übersetzte eine Schlagzeile aus dem Englischen in eine andere Sprache und dann zurück ins Englische:

SCHLAGZEILE:   POPE SHOT. WORLD SHAKEN.

RÜCKÜBERSETZUNG:   EARTHQUAKE IN ITALY. ONE DEAD.

(Papst erschossen. Welt erschüttert.

Erdbeben in Italien. Ein Toter.)

Natürlich hat sich der Algorithmus etwas dabei »gedacht«. Genauer, er hat Assoziationen hergestellt. Ich habe versucht, dieses Ergebnis 2020 mit Google Translate zu wiederholen, einem sehr viel besseren System als das frühere. Nachdem ich die Schlagzeile hin und her ins Deutsche übersetzt und den Prozess wiederholt hatte, erhielt ich das folgende Resultat:

SCHLAGZEILE:   POPE SHOT. WORLD SHAKEN.

RÜCKÜBERSETZUNG:   POPE FIRED. WORLD SHAKEN. (Papst gefeuert. Welt erschüttert.)

Der Algorithmus hatte Probleme mit einem mehrdeutigen Wort. »Shot« hat zwei Bedeutungen im Englischen: dass der Papst von jemandem erschossen oder angeschossen wurde und dass der Papst auf jemanden oder etwas schoss oder feuerte. Anders als das Englische hat das Deutsche zwei verschiedene Begriffe für »shot«, einmal »erschossen« (beziehungsweise »angeschossen«) und zum anderen »schoss«. Beim Übersetzen der Schlagzeile ins Deutsche muss der Algorithmus also den richtigen Begriff wählen. Das setzt ein Verständnis der Ursache voraus: Die Welt ist erschüttert, weil jemand auf den Papst schoss, nicht weil der Papst schoss. Menschen wissen intuitiv, was gemeint ist: Dass der Papst erschossen wurde, ist der Grund, warum die Welt erschüttert ist. Aber moderne maschinelle Übersetzungssysteme, von Google bis Bing, sind auf Assoziationen angewiesen, da es ihnen an kausalem Verständnis mangelt. Dass das englische Wort »fired« ebenfalls mehr als eine Bedeutung hat – er feuerte oder er wurde gefeuert –, trägt zum Charme der Rückübersetzung bei.

Der große Vorteil moderner computergestützter Übersetzungssysteme ist ihre Quantität und Geschwindigkeit. Gute Systeme können Texte aus über einhundert Sprachen in wenigen Augenblicken übersetzen – eine halsbrecherische Geschwindigkeit und eine eindrucksvolle Vielsprachigkeit, die menschliche Fähigkeiten weit übertrifft. Dagegen sind Verständnis und Qualität nicht ihre Stärke.[200] Auch gesunder Menschenverstand nicht. Ein Computer würde den Satz »Mein Großvater ist schwanger« übersetzen, ohne mit der Wimper zu zucken; ein menschlicher Übersetzer würde stutzen. Um stutzig zu werden, muss man die Kausalbeziehung verstehen – dass Frauen schwanger werden, aber Männer nicht. Doch ein neuronales Netz weiß noch nicht einmal, dass Wörter für Dinge stehen. Es bezieht Wörter auf Wörter, nicht auf Ideen. Daher reicht sein Qualitätsspektrum von bemerkenswert genauen Übersetzungen bis hin zu erstaunlich grotesken Fehlern.

Ambiguität und Polysemie benötigen gesunden Menschenverstand

Mangel an gesundem Menschenverstand ist ein Schlüsselproblem aller Übersetzungssysteme. Beispielsweise übersetzte das hochgelobte System DeepL »Pope shot« im Deutschen mit »Papstschuss«, das dann als »papal shot« rückübersetzt wurde (mit Alternativen wie »shot in the pope« [Schuss in den Papst] und »shot in the pope’s eye« [Schuss in das Auge des Papstes]).[201] Diese Systeme versuchen ganze Wortfolgen oder Sätze zu erkennen, die zusammen übersetzt werden müssen, statt wie früher Wort für Wort mithilfe eines Wörterbuchs.[202] Doch die Qualität des Resultats hängt auch von der Qualität der Quellen ab: Wenn für einen bestimmten Satz oder ein bestimmtes Thema viele schlechte Übersetzungen im Internet unterwegs sind, leidet natürlich auch die Qualität von DeepLs Vorschlägen. Obwohl die Übersetzungsprogramme heute ziemlich gut sind, heißt das nicht, dass sie gesunden Menschenverstand besäßen. Ohne Verständnis bleibt selbst ein gutes Übersetzungssystem ein idiot savant.

Im Gegensatz zu logischen Sprachen haben natürliche Sprachen vielfältige Ursprünge der Ungewissheit. Eine ist die Polysemie, der Umstand, dass ein und dasselbe Wort mehrere Bedeutungen haben kann – wie das englische Wort »shot«. Eine ähnliche Ungewissheit enthalten Sätze, deren Bedeutung nicht aus den einzelnen Wörtern, sondern nur durch gesunden Menschenverstand erschlossen werden kann.[203] Hier ist ein Beispiel:

Ich habe meinen Schlüssel wiedergefunden, aber der Bart ist beschädigt und passt nicht mehr ins Schloss.

In diesem Satz muss der Leser auf die richtige Bedeutung von »Bart« schließen. Die häufigste ist die Behaarung in der unteren Gesichtspartie von Männern, aber hier ist der untere Teil eines Schlüssels gemeint, eine weniger häufige Bedeutung. Ich forderte Google Translate auf, den Satz ins Englische zu übersetzen. Das Ergebnis: »I found my key, but the beard is damaged and no longer fits in the lock.« DeepL dagegen bekam es richtig hin: »I found my key again, but the bit is damaged and no longer fits the lock.« Dann stellte ich den Wortlaut um, ohne den Sinn zu verändern:

Ich habe meinen Schlüssel gefunden, aber jetzt nützt er mir nichts mehr. Der Bart ist beschädigt.

Da war auch DeepL überfordert und übersetzte die Sätze mit: »I found my key, but now it is of no use to me. The beard is damaged.« Die Frage, wie man einem neuronalen Netzwerk gesunden Menschenverstand vermitteln kann, lässt sich nach heutigem Stand nicht beantworten.

Eine weitere Ursache der Ungewissheit liegt in den verschiedenen Grammatiken der Sprachen. Beispielsweise unterscheiden sich im Deutschen, Italienischen, Spanischen, Polnischen und Französischen die Wörter für männliche und weibliche Angehörige verschiedener Berufe, während sie im Englischen gleich sind. Um »nurse« (Krankenschwester/Krankenpfleger) und »doctor« (Arzt/Ärztin) aus dem Englischen ins Deutsche zu übersetzen, muss die KI zwischen der männlichen und der weiblichen Form wählen, wozu sie den Kontext der Geschichte verstehen müsste – leicht für den gesunden Menschenverstand, aber schwer selbst für die besten Programme. Auch wenn Google Translate direkt aus dem Deutschen ins Italienische übersetzt, zwei Sprachen, in denen das Geschlecht gekennzeichnet ist, macht Google Translate systematische Fehler, wenn es um Geschlechterstereotype geht. Beispielsweise wird »die Präsidentin« in der italienischen Übersetzung »il presidente« (der Präsident). In einem Experiment, wo Wörter zwischen den fünf Sprachen übersetzt wurden, verwandelte Google Translate alle Ärztinnen in Ärzte, alle Historikerinnen in Historiker und die meisten Krankenpfleger in Krankenschwestern.[204]

Warum verändert KI das Geschlecht, um dem gängigen Stereotyp zu entsprechen? Die Antwort lautet: Google Translate ist auf die englische Sprache ausgerichtet. Es übersetzt nicht direkt aus dem Deutschen ins Italienische oder dem Spanischen ins Französische, sondern aus jeder dieser Sprachen zuerst ins Englische und dann von dort in die Zielsprache. Im ersten Schritt geht das Geschlecht in der Übersetzung verloren, und im zweiten Schritt muss Google Translate Vermutungen anstellen. Die beste Vermutung ist das Stereotyp.

Das Problem ist allgemeinerer Natur

Die Tatsache, dass KI keinen gesunden Menschenverstand besitzt, schränkt seine Fähigkeiten nicht nur beim Übersetzen ein, sondern auch in Hinblick auf das Verstehen natürlicher Sprachen. Wenn Menschen eine Begründung für eine Behauptung liefern, hängt deren Richtigkeit nicht nur von der Begründung ab, sondern auch von »intuitiven Annahmen«, die meist unausgesprochen bleiben. Ein Beispiel:

BEHAUPTUNG:   Du solltest einen Regenschirm mitnehmen.

BEGRÜNDUNG:   Es regnet.

ANNAHME:   Es ist nicht gut, nass zu werden.

Intuitive Annahmen gehören zum Weltwissen des Menschen. Maschinen haben diese Intuitionen nicht. Aber was ist, wenn man die Aufgabe vereinfacht und die Annahme wie oben explizit liefert? Können tiefe neuronale Netze dann bestimmen, welche Behauptung berechtigt ist? Um diese Fähigkeit zu überprüfen, kann man solche Annahmen verwenden, die (wie oben) eine Behauptung unterstützen, aber auch solche, die es nicht tun (»es ist gut, nass zu werden«). In einer Studie kam Googles vielfach gepriesenes neuronales Netz BERT (benannt nach der perfektionistischen Figur in der Sesamstraße) bei einer Reihe ähnlicher Fragen, in denen es darum ging, ob Behauptungen berechtigt waren oder nicht, in 77 Prozent der Fälle zu dem richtigen Schluss. Bedenkt man, dass normale Menschen nur 3 Prozentpunkte besser abschnitten, hat BERT einen wirklich tollen Job gemacht.[205]

Doch wir sollten vielleicht noch einmal nachdenken, bevor wir behaupten, das Netz verstehe natursprachliche Argumente fast so gut wie Menschen. Dazu brauchte es gesunden Menschenverstand und Weltwissen – etwa, dass wir im Regen nass werden und dass wir Regenschirme benötigen, um nicht vollkommen durchnässt zu werden. Was hat BERT also tatsächlich gelernt, um so erfolgreich zu sein? Als die Autoren ein bisschen tiefer gruben, entdeckten sie das geniale Geheimnis des Netzes: In dem Datensatz, an dem BERT trainiert und getestet worden war, hatte es herausgefunden, dass eine Behauptung in der Regel gerechtfertigt war, wenn die intuitive Annahme – wie in dem obigen Beispiel – ein »nicht« enthielt. So konnte es in der Mehrzahl der Fälle richtig antworten. Doch diese bemerkenswerte Fähigkeit, Korrelationen zu entdecken, bedeutet keineswegs, dass das Netz das Argument wirklich verstanden hatte. Als die Annahmen vollkommen ohne »nicht« umformuliert wurden, schnitt es mit seinen Antworten nicht besser als der Zufall ab. Das Forschungsteam gelangte zu dem Schluss, der verblüffende Erfolg des neuronalen Netzes lag nicht daran, dass es natürliche Sprache verstand, sondern an seiner Fähigkeit, irrelevante Merkmale zu entdecken. BERTs Spitzenleistung war ein russischer Panzer.

Die Zukunft der Maschinenübersetzung

Heute herrscht in der Computerübersetzung der statistische Ansatz vor. Semantik (die Bedeutung eines Wortes oder eines Satzes) und Pragmatik (z. B. was eine Person zu tun beabsichtigt) spielen kaum eine Rolle. Um zu verstehen, wie diese Algorithmen funktionieren, versetzen Sie sich in ein Empfehlungssystem hinein, das Ihnen das nächste Wort oder die nächste Wendung vorschlägt, während Sie tippen. Sie sind ein neuronales Netzwerk und wissen nicht, was ein Wort bedeutet. Sie haben auch keine Ahnung von Rechtschreibung und Grammatik. Aber Sie haben Millionen von Artikeln und Bücher über alle möglichen Themen »gelesen« und haben ein vollkommenes Gedächtnis, das sich an alle Wortkombinationen erinnert und auch noch weiß, welches Wort oder welche Wendung aller Wahrscheinlichkeit nach auf dieses Wort oder jene Wendung folgt. Sie »sehen« die Wörter, die Nutzer auf ihren Smartphones eingeben, und sagen diejenigen vorher, die folgen müssten, wenn Sie von diesen Millionen Artikeln ausgehen, haben aber nicht die geringste Ahnung, was diese Wendungen bedeuten. Wie ein Mensch, der keinen chinesischen Buchstaben versteht, aber gelernt hat, welcher wahrscheinlich nach einem anderen kommt. Das Ergebnis kann ziemlich beeindruckend sein, auch ohne die geringste Ahnung davon, worum es bei diesen Wörtern geht.

Doch wenn das Ergebnis beeindruckend ist, bedeutet das dann nicht auch, dass das Programm Sprache versteht? Ray Kurzweil, der von Larry Page angeworben wurde, um Google Sprachverstehen beizubringen, vertrat tatsächlich die Auffassung, dass statistische Analyse der Inbegriff des Verstehens sei: »Wenn das Verstehen von Sprache und anderen Phänomenen durch statistische Analyse nicht als wahres Verstehen zählt, dann verstehen auch die Menschen nichts.«[206] Mit dieser Äußerung verwechselt er das Ergebnis mit dem Prozess. Selbst wenn ein Programm einen Satz richtig übersetzt, folgt daraus nicht, dass es seinen Inhalt versteht, so wie ein Papagei, der kreischt »Jörg ist ein böser Junge«, nicht versteht, was er sagt.

Wenn wir gesunden Menschverstand in einen Quellcode schreiben könnten, wäre es möglich, ihn in Programme und Algorithmen zu schreiben. Quellcodes verlangen jedoch eine wohldefinierte Struktur. Sprache ist eine andere Kategorie – literarische Texte setzen voraus, dass man ein hohes Maß von Ambiguität versteht. Aus diesem Grund liegt die Zukunft der Maschinenübersetzung nicht in dem Traum von der universellen automatischen Übersetzung, sondern in computergestützten Übersetzungssystemen. Dazu gehören jene, die auf Ungereimtheiten der Terminologie oder der Stilformatierung hinweisen und für Einheitlichkeit sorgen. Schnelle automatische Übersetzungen wird man für wohldefinierte Themen mit logischen Strukturen von begrenzter Ambiguität verwenden, etwa Nachrichten und Geschäftstexte, und für rasche Kommunikation ohne Ansprüche an literarische Qualität oder Kreativität. Sie könnten auch für das Militär und die Nachrichtendienste von Interesse sein, die Projekte im Bereich der Computerübersetzung finanzieren, um das riesige Aufkommen an fremdsprachiger Kommunikation zu verstehen, die sie abfangen. Im Gegensatz zu einem fähigen Übersetzer braucht ein Computer keine Sicherheitsüberprüfung und Unbedenklichkeitsbescheinigung. Darüber hinaus wird man jedoch immer erfahrene Übersetzer benötigen, die verstehen, worum es in dem Text geht.

Objekt- und Gesichtserkennung

Wenn ein kleines Mädchen »Wauwau« sagt, während es auf einen Hund zeigt, oder »Mieze«, wenn es auf eine Katze deutet, erkennt es verschiedene Klassen von Tieren. Objekterkennung ist eine grundlegende Fähigkeit; ohne sie wären höhere kognitive Fähigkeiten wie Abstraktion, Denken und Entscheidungsfindung unmöglich. Aber woher wissen Kleinkinder, dass es sich bei einem Tier um einen Hund und keine Katze handelt? Stützen sie sich auf die Form der Augen, die Umrisse des Kopfes oder den Rest des Körpers? Studien lassen darauf schließen, dass bereits drei Monate alte Säuglinge unterschiedlich auf Hunde und Katzen reagieren und sich dabei an Zügen des Gesichts und dem Umriss des Kopfes orientieren, während andere körperliche Merkmale keine große Rolle zu spielen scheinen.[207] Welche Merkmale im Einzelnen verwendet und wie sie integriert werden, ist noch nicht bekannt.

Kinder brauchen zum Erlernen einer Kategorie viel weniger Beispiele als ein tiefes neuronales Netzwerk. Letzteres muss Zehntausende von Hunde- und Katzenbildern im überwachten Lernen sehen. Ein Kind braucht ein Kätzchen nur einige Male zu erblicken, um fortan Katzen bei den verschiedensten Lichtverhältnissen zu erkennen, im Dunklen wie im Sonnenlicht. Wenn eine Dreijährige ein Rad auf der Straße sieht und man ihr sagt, es sei ein Fahrrad, wird sie von da an vermutlich alle Spielarten von Fahrrädern erkennen. Der Sohn eines Kollegen von mir wurde mit zwei Jahren ein Autofan und konnte auf der Straße auf alle BMWs zeigen, selbst wenn er das betreffende Modell noch nie zuvor gesehen hatte. Offenbar werden Kinder nicht mit dieser besonderen Fähigkeit geboren, sondern lernen sie in den ersten 30 Monaten ihres Lebens.

Säuglinge erkennen das Gesicht der Mutter

Für einen Computer ist das Erkennen von Gesichtern keine andere Aufgabe als das Erkennen von Autos. Für einen Säugling ist es nicht dasselbe. Nur zwei Tage nach der Geburt können Neugeborene bereits das Gesicht ihrer Mutter von dem Fremder unterscheiden. Außerdem saugen sie stärker, wenn sie das Gesicht der Mutter in einem Video sehen.[208] Dass sie das Gesicht der Mutter erkennen, liegt offenbar daran, dass sie in ihr die erste Nahrungsquelle erkennen. Aber die Gesichtserkennung liegt bei der Geburt noch nicht in ihrer vollen Ausprägung vor. Ungefähr zehn Jahre brauchen Kinder, um Gesichter so zuverlässig wie Erwachsene zu erkennen. Auf dem Weg dorthin verlieren sie eine bemerkenswerte Fähigkeit. Oft können Säuglinge und Kleinkinder Gesichter sowohl richtig herum wie auf den Kopf gestellt erkennen, wozu nur noch wenige Erwachsene in der Lage sind.

Das Gehirn kennt viele Wege zum gleichen Ziel

Das menschliche Wahrnehmungssystem ist so angelegt, dass es Objekte in wechselnden Beleuchtungen, Situationen und Kontexten wiedererkennt. Es ist in hohem Maß an eine ständig sich verändernde Welt angepasst. Um diese Ungewissheit zu bewältigen, nimmt das Gehirn nicht nur einen Weg, sondern mehrere. Wenn ein Weg blockiert ist, schlägt es eine andere Route ein. Diese ungeheure Flexibilität des Gehirns, sich auf wechselnde Hinweisreize ausrichten zu können, je nachdem, was gerade zur Verfügung steht, ist in den meisten biologischen Systemen anzutreffen.[209] Beispielsweise fliegen Zugvögel Tausende von Kilometern, indem sie sich etwa nach den Sternen richten. Doch an bewölkten Tagen können sie sich auch an geografischen Besonderheiten oder ihrem Magnetsinn orientieren. Entsprechend kann das Gehirn ein Gesicht an der Form von Augen, Nase und Mund erkennen. Im Extremfall genügen nur einige wenige Linien, wenn wir das Gesicht von Prominenten in Karikaturen erkennen, die nur aus ein paar Bleistiftstrichen bestehen. Die Gesichtserkennung klappt auch, wenn Teile eines Gesichts bedeckt sind und innere Merkmale wie Augen kaum sichtbar sind. In diesem Fall verlässt sich das Gehirn auf äußere Merkmale wie Haar und Kopfform.

Schauen wir uns das Bild des früheren US-Präsidenten Bill Clinton und seines Vizes Al Gore an (Abbildung 5.1). Wie erkennen wir Gore links und Clinton rechts? Sind es Clintons unverkennbare Nase und sein charakteristischer Mund? Keineswegs. Auf dem Bild haben Clinton und Gore identische Nasen, Münder und Augen. Nach einer digitalen Manipulation sind ihre Gesichter völlig gleich.[210] Trotzdem nehmen wir sie als verschieden wahr. Der einzige echte Unterschied betrifft ihre Haare und die Kopfform. Wenn die inneren (das Gesicht betreffenden) Merkmale nicht eindeutig sind, stützt sich das Gehirn auf äußere Merkmale.

ABBILDUNG 5.1: Bill Clinton und Al Gore. Wirklich? Ihre Gesichter wurden so bearbeitet, dass sie identisch sind – Augen, Nase, Mund und alle anderen inneren Merkmale. Trotzdem erkennen wir Clinton und Gore. Mit freundlicher Genehmigung von Springer Nature: Sinha & Poggio (1996).

Man könnte die Tatsache, dass wir Clinton und Gore anstelle zweier identischer Gesichter mit verschiedenen Haaren und Kopfformen sehen, eine optische Täuschung nennen. Doch übersähen wir, dass das Gehirn, mit Ungewissheit konfrontiert, verschiedene Routen ausprobieren muss, um herauszufinden, wer die Menschen auf dem Bild tatsächlich sind.

Ein zweiter zentraler Aspekt der Menschheitsevolution ist die Tatsache, dass man Gesichter schon aus der Entfernung erkennen muss, um zu entscheiden, ob es sich um Freund oder Feind handelt. Das Gehirn ist gezwungen, die Überforderung des menschlichen Auges zu kompensieren, das unfähig ist, ferne Objekte so deutlich wie beispielsweise ein Adler zu sehen. Das macht die erfolgreiche Entzifferung verschwommener oder beeinträchtigter Bilder erforderlich. Nehmen wir das Bild in Abbildung 5.2, dadurch entstanden, dass man das Foto einer berühmten Person auf 19 x 25 Pixel verschiedener Grautöne reduziert hat. Bei nahem Hinsehen werden Sie das Gesicht kaum erkennen. Doch wenn Sie einen Schritt zurücktreten und das Bild aus einer gewissen Entfernung betrachten, kann es gelingen. Oder aber durch Blinzeln, was das Bild verschwimmen lässt und das Erkennen fördert. Das sind menschliche Adaptionen an geringe Auflösung: Hier genügen ein paar Pixel, während maschinelles Lernen im Allgemeinen besser wird, wenn mehr vorhanden sind.

ABBILDUNG 5.2: Um Gesichter von Freunden oder Feinden aus der Ferne zu identifizieren, müssen wir in der Lage sein, verschwommene oder anderweitig beeinträchtigte Bilder zu entschlüsseln. Wenn Sie zurücktreten und das Bild aus der Ferne betrachten, können Sie ein berühmtes Gesicht erkennen. (Übernommen von Sinha et al., im Druck)

Menschliche Fehler ≠ Maschinenfehler

Wenn ein System eine Verbesserung eines anderen ist, macht es weniger Fehler – aber die sind in der Regel von ähnlicher Art. Doch wenn zwei Systeme sich grundsätzlich unterscheiden, wie Kohlenstoff und Silizium, machen sie wahrscheinlich auch qualitativ unterschiedliche Fehler. Wenn also künstliche neuronale Netze der menschlichen Intelligenz ähnelten, sollten sich ihre Fehler nur quantitativ unterscheiden. Tatsächlich aber sind ihre Unterschiede qualitativer Art. Ein qualitativer Unterschied ist ein KI-Fehler, der für einen Menschen unerwartet und kontraintuitiv ist, oder ein menschlicher Fehler, den eine KI niemals macht. Erste Spuren solcher Fehler haben wir im vorigen Kapitel gesehen: neuronale Netze, die Schulbusse erkennen sollten.

Zu menschlichen Fehlern, die für eine KI »verblüffend« wären, gehören Fehler im Rechnen und solche, die durch soziale Einflüsse zustande kommen. Die meisten Menschen sind langsam und nicht sehr gut im Kopfrechnen, während Computer auf diesem Feld schnell und fehlerlos arbeiten. Außerdem sind wir soziale Wesen, die von anderen abhängig sind, und was wir glauben, wird beeinflusst von dem, was unsere Freunde und Angehörigen für richtig oder falsch halten. Auch vollkommen Fremde können uns beeinflussen. So wurden in der klassischen Konformitätsstudie Gruppen von acht Studenten aufgefordert, die Länge von Linien auf einem Stück Papier einzuschätzen.[211] Der einzige echte Versuchsteilnehmer in jeder Gruppe wusste nicht, dass die anderen sieben Gruppenmitglieder eingeweiht waren. Auch diese nahmen in manchen Durchgängen echte Schätzungen vor. In einigen wenigen Durchgängen gaben sie jedoch alle dieselbe falsche Antwort. Daraufhin entschied sich eine beträchtliche Zahl der echten Teilnehmer, ebenfalls falsch zu antworten. Dabei ging es in dem Experiment um ein denkbar neutrales Thema, keine politischen Urteile oder sozialen Probleme, die zu Gruppendruck hätten führen können. Doch selbst in dieser Situation kann der Wunsch nach Konformität Menschen in die Irre führen. Ein Computerprogramm kümmert sich dagegen nicht im Geringsten um das, was andere Computer sagen.

Schauen wir uns den Unterschied zwischen den Fehlern von Menschen und von tiefen neuronalen Netzen etwas genauer an.

Kontraintuitive Fehler

Nehmen wir ein Netz, das an einer Stichprobe von Zehntausenden Bildern gelernt hat, handgeschriebene Zahlen zu erkennen. Um die Aufgabe zu erleichtern, wird jede Zahl in einen eigenen Kasten geschrieben. Dann wird das Netz an einer Stichprobe neuer handgeschriebener Zahlen getestet, 0, 1, 4 und 0, wie in der ersten Spalte im linken Zahlenfeld von Abbildung 5.3 gezeigt. Das Netz bestimmt die vier neuen Zahlen korrekt. Nun kommt der interessante Teil. Auch wenn Sie sich die zweite Spalte genau ansehen, werden Sie die gleichen vier Zahlen sehen. Aber diese handgeschriebenen Zahlen sind durch Veränderungen eines kleinen Teils der Pixel ein wenig verzerrt, so geringfügig, dass das menschliche Auge kaum irgendeinen Unterschied erkennen kann. Für uns sieht die zweite Spalte wie die erste aus; wir sehen noch immer 0, 1, 4 und 0. Für ein neuronales Netz stellt sich die Situation ganz anders dar. Es ist nicht mehr in der Lage, auch nur eine einzige der vier Zahlen zu erkennen.[212] Das selbe Resultat ergibt sich bei den nächsten Paaren der Spalte.

ABBILDUNG 5.3: Tiefe neuronale Netze und Menschen begehen Fehler unterschiedlicher Art. Linkes Zahlenfeld: Die erste Spalte enthält vier handgeschriebene Zahlen, die ein trainiertes tiefes neuronales Netz richtig erkennt. Die zweite Spalte wurde aus der ersten entwickelt, indem man dort einen kleinen Teil der Pixel veränderte. Rechtes Zahlenfeld: Die erste Spalte führt vier handgeschriebene Zahlen auf; die zweite zeigt die gleichen Zahlen mit einem hohen Maß an »Zufallsrauschen«. (Nach Szegedy et al., 2014)

Wir können uns nur schwer vorstellen, dass ein gut trainiertes tiefes neuronales Netz die Übereinstimmung der ersten beiden Zahlenspalten nicht erkennt. Doch es ist verwirrt, weil die Pixel sich auf geringfügige, aber systematische Weise verändert haben. Werden die Zahlen hingegen durch zufällig veränderte Pixel (sogenanntes »Zufallsrauschen«) verzerrt, lässt sich das Netz nicht täuschen. In der ersten Spalte des rechten Zahlenfelds in der Abbildung 5.3 stehen die Zahlen 9, 1, 6 und 9, das ist auch in der zweiten Spalte der Fall, nur ist dort so viel Rauschen hinzugefügt, dass das menschliche Auge kaum noch irgendetwas ausmachen kann. Für uns sieht die zweite Spalte nicht aus wie die erste. Trotzdem ist das Netz immer noch in der Hälfte der Fälle fähig, die kaum erkennbaren Zahlen korrekt zu bestimmen. Mit Rauschen kommt das Netz besser als Menschen zurecht (rechtes Zahlenfeld), dagegen haben Menschen mit kleinen systematischen Veränderungen weniger Schwierigkeiten (linkes Zahlenfeld). Das Rauschen ähnelt einem Bild, das mit Staub bedeckt ist. Im Gegensatz dazu verändern systematische Modifikationen das Bild, aber das Gehirn begreift, dass sie irrelevant sind, und nimmt sie kaum wahr. Das Netz scheint sich jedoch auf Aspekte zu konzentrieren, die für die einzelnen Ziffern irrelevant sind, oder wird von ihnen verwirrt – ein weiterer Fall eines russischen Panzers.

Daraus geht hervor, dass die künstliche Intelligenz neuronaler Netze von der menschlichen völlig verschieden ist. Die psychologische KI würde zum Training des Handschrift-Programms die Aufgabe in Teilaufgaben zerlegen, die Prüfung zum Beispiel, ob es einen waagerechten Balken oder eine geschlossene ovale Form gibt. Diese Methode wäre immun gegen die Veränderung der Pixel in der zweiten Spalte von Abbildung 5.3 (links). Mit solchen Teilaufgaben, die für Menschen intuitiv verständlich sind, gibt sich das neuronale Netz nicht ab.[213] Beim Erlernen neuer handschriftlicher Ziffern von 0 bis 9 muss das künstliche Netzwerk an einem Standardsatz von etwa 60 000 Bildern trainiert werden, bevor es in der Lage ist, neue handschriftliche Beispiele genauso so schnell wie Menschen korrekt zu erkennen. Wir Menschen können dagegen ein neues handgeschriebenes Schriftzeichen bereits an wenigen Beispielen erlernen, das damit verknüpfte Konzept verstehen und selbst neue Beispiele entwickeln.[214] Selbst bei einfachen Objekten wie handgeschriebenen Schriftzeichen brauchen Menschen also weniger Beispiele als die besten Algorithmen und lernen dabei auf eine allgemeinere Art.

Was sehen tiefe neuronale Netze?

Wir wissen nicht genau, was ein Netz »sieht«, aber wir können begründete Vermutungen anstellen. Denken Sie an die Situation im vorhergehenden Kapitel, als Netze waagerechte gelbschwarze Streifen irrtümlich für einen Schulbus hielten. In Abbildung 4 der Farbtafel sehen wir ein zweites Beispiel, dieses Mal mit einer Elektrogitarre. Nachdem das Netz gelernt hat, das Bild auf der linken Seite als eine Gitarre zu klassifizieren, wird es an dem rechten Bild mit senkrechten wellenförmigen Streifen getestet. Hier ist sich das Netz zu 99,9 Prozent sicher, dass es sich ebenfalls um das Bild einer Gitarre handelt.[215]

Warum um alles in der Welt denkt das Netz, dass ein paar wellige Streifen eine Gitarre sind? Abermals können wir nicht ganz sicher sein, aber die Gegenüberstellung der Abbildungen 2 und 4 liefert uns vielleicht einen Hinweis. In beiden Fällen weist das fehlklassifizierte Bild die gleichen vorherrschenden Farben wie das richtige Objekt auf: Gelb und Schwarz beim Bus, Braun und Weiß bei der Gitarre. Die meisten Gitarren sind aus Holz und daher braun. Der Korpus einer Gitarre ist auf der linken Seite wie ein S und auf der rechten Seite wie ein umgekehrtes S geschwungen. Das Wellenmuster auf dem rechten Bild gibt beide Formen wieder und wiederholt sie in jeder senkrechten Welle. Zumindest in diesem Fall scheint das Netz charakteristische Farben und Formen zu identifizieren, während es an Bildern von realen Bussen und Gitarren trainiert. Und wenn diese Farben und Formen in einem anderen Bild wiederholt werden, ist das Netz sehr überzeugt, dass das Bild zur selben Klasse von Objekten gehört.

Es ist keine Frage, dass tiefe neuronale Netze in der Objekterkennung erstaunliche Leistungen vollbracht haben, oft durchaus mit menschlichen Fähigkeiten vergleichbar. Ein ähnliches Leistungsniveau bedeutet jedoch nicht, dass auch eine ähnliche Art von Intelligenz vorliegt. Die systematischen Fehler, die neuronale Netze machen, sind Menschen fremd. Die Netze können hinters Licht geführt werden, weil sie sich offenbar auf wiederkehrende Merkmale verlassen, ohne zu verstehen, was es mit dem Objekt auf sich hat.

Szenarioerkennung

Die Erkennung von Objekten ist relativ einfach im Vergleich zur Erkennung von Beziehungen zwischen Personen oder Zuständen. Hier lautet die Frage: Was geht in einem solchen Szenario vor? Menschen erschließen die Antwort mithilfe ihrer intuitiven Psychologie und Physik. Wie stellen Algorithmen ihre Vergleiche an?

Schauen wir uns an, wie tiefe neuronale Netze, die darauf trainiert sind, Bildlegenden zu erzeugen, bei der Erkennung von Kausalbeziehungen abschnitten (Abbildung 5 der Farbtafel).[216] Das Bild links zeigt eine brutale Szene aus einer Cowboy-Stuntshow im Themenpark Texas Hollywood. Diese erinnert an alte Wildwestfilme, in denen ein Bandit am Lasso hinter einem Pferd hergeschleift wird. Im Hintergrund betrachten Besucher die Vorführung. Was »sieht« das Netz? Die Bildlegende des neuronalen Netzes lautet: »Eine Frau reitet auf einem Pferd einen staubigen Weg entlang.« Die meisten Objekte erkennt das Netz richtig – das Pferd und den Staub (die Person auf dem Pferd ist ein Mann, was kaum zu sehen ist, sich allerdings aus den üblichen Handlungsklischees der Western schließen lässt). Eines zeigt die Bildlegende indessen deutlich: Das Netz hat nicht die mindeste Ahnung, was in der Szene vor sich geht. Ihm fehlt die intuitive Psychologie, mit deren Hilfe es erschließen könnte, dass die Person auf dem Pferderücken die Absicht hat, die andere Person zu bestrafen, und dass die Szene Teil einer Show ist. Es verfügt auch nicht über das Kausalverständnis, das ihm sagt, diese Art von Bestrafung könne tödlich enden.

Das mittlere Bild zeigt den Absturz eines Passagierflugzeugs vom Februar 2015 in Taipeh, gefilmt von einem Autofahrer. Kurz nach dem Start erlitt das rechte Triebwerk einen Ausfall, woraufhin die Piloten irrtümlich das noch funktionierende linke Triebwerk abschalteten. In der Sprachaufzeichnung ist zu hören, wie einer der Piloten ruft: »Wow, habe die falsche Seite abgeschaltet!« Die Maschine rollte daraufhin stark nach links, streifte ein Taxi mit der linken Tragfläche und stürzte in den Fluss.[217] Dreiundvierzig Insassen und Crewmitglieder kamen ums Leben. Die Bildlegende des neuronalen Netzwerks: »Ein Flugzeug steht auf der Rollbahn eines Flugplatzes.« Abermals ist die Objekterkennung nahezu richtig, aber die Geschichte falsch.

Auf dem dritten Bild sehen wir Einwohner von Key West in Florida, die sich 1988 vor der Houseboat Row aneinanderklammern, um vom Hurrikan Georges nicht weggerissen zu werden. Das tiefe neuronale Netzwerk erkennt eine Gruppe von Menschen an einem Strand, aber kann sich keinen Reim auf das Geschehen machen.

Wenn Menschen diese Bilder sehen, sagen ihnen gesunder Menschenverstand und Erfahrung, was vor sich geht. Selbst wenn wir noch nie einen Western, einen Flugzeugabsturz oder einen Hurrikan gesehen haben, verrät uns unsere Intuition, dass etwas nicht stimmt. Tiefen neuronalen Netzen gelingt es ziemlich gut, Objekte in einem Bild zu identifizieren, sie haben aber ohne die Zutat des gesunden Menschenverstands Mühe zu verstehen, wie die Objekte in einem Szenario miteinander verknüpft sind.

Zweierlei Intelligenz

Menschliche Intelligenz hat die Aufgabe, die Welt zu repräsentieren, kausale Modelle zu konstruieren und anderen Lebewesen Absichten zuzuschreiben. Dazu müssen Menschen in der Lage sein, ein Bild vom Original zu unterscheiden, etwa zu wissen, dass das Bild einer Person nicht die Person ist, obwohl manchmal ähnliche Gefühle von beiden ausgelöst werden können. Im Gegensatz dazu lernen tiefe neuronale Netze Bilder mit Klassen oder Überschriften zu assoziieren, wissen aber nicht, dass ein Bild eine Person oder ein Objekt in der realen Welt bezeichnet. AlphaGo und seine Nachfolger spielen Go besser als menschliche Großmeister, ohne zu wissen, dass sie ein Spiel spielen, und digitale Assistenten wie Siri und Alexa haben keine Ahnung, was ein Restaurant ist. Spielt es eine Rolle, dass sie es nicht wissen?

Solange die Assistentin nur nach dem besten italienischen Restaurant in der Nähe gefragt oder um einen ähnlichen Rat gebeten wird, ist das egal. Doch Bewusstsein ist von extremer Bedeutung, wenn Systeme automatisch Entscheidungen über Leben und Tod treffen dürfen, wie militärische Drohnen, Robotersoldaten und andere autonomen Waffen von tödlicher Wirkung. Eine Maschine weiß vielleicht genau, wie sie töten kann, aber sie weiß nicht, was sie tut und warum. Überdies können sich diese Maschinen auf unerwartete Weise irren, die wir uns überhaupt nicht vorstellen können.

Der Mensch, der mich am stärksten an die Leistung eines tiefen neuronalen Netzes erinnert, ist Solomon Schereschewski, der berühmte russische Gedächtniskünstler, den die Leser meines Buchs Bauchentscheidungen bereits kennengelernt haben. Sein Gedächtnis schien von grenzenloser Aufnahmefähigkeit und Dauer zu sein.[218] Forderte man Schereschewski auf, eine Seite Text zu lesen, konnte er sie Wort für Wort wiederholen, vorwärts wie rückwärts. Doch wenn man ihn bat, das Wesentliche dessen zusammenzufassen, was er gelesen hatte, war er mehr oder minder hilflos. Er hatte Probleme mit Ambiguität – mit Wörtern, die mehrere Bedeutungen haben, und verschiedenen Wörtern, die dieselbe Bedeutung haben –, ganz zu schweigen von Metaphern und Lyrik. Schereschewski konnte eine komplexe mathematische Formel exakt erinnern, obwohl er sie nicht verstand (denn sie war erfunden), und sie auch noch fünfzehn Jahre später abrufen. Dabei unterschied er sich grundlegend von Schachmeistern, die komplexe Schachstellungen perfekt erinnern, aber nur wenn sie sinnvoll und keine zufälligen Konfigurationen sind. Schereschewski hatte große Schwierigkeiten, das Wichtige vom Belanglosen zu unterscheiden und abstrakt zu denken.

Schereschewski ist ein Existenzbeweis dafür, dass die Evolution uns alle mit einem perfekten Gedächtnis hätte ausstatten können – aber um einen hohen Preis. Unter anderem konnte er nichts vergessen. Zwar erscheint sein immenses Gedächtnis beneidenswert, doch er ließ sich durch nebensächliche Einzelheiten ablenken, nicht unähnlich den tiefen neuronalen Netzen, die sich durch belanglose Pixel irreführen lassen, die handgeschriebenen Zahlen hinzugefügt werden, wie in Abbildung 5.3, oder durch einen Aufkleber auf T-Shirts aus dem Konzept gebracht werden, wie in Abbildung 4 der Farbtafel. Schereschewski ist vielleicht die größtmögliche menschliche Annäherung an neuronale Netze gewesen – perfekt in der Speicherung und Verarbeitung von Big Data, aber außerstande zu verstehen, was all das tatsächlich bedeutet.

6

EIN DATENPUNKT KANN BIG DATA SCHLAGEN

Weg mit allen Theorien menschlichen Verhaltens, von der Linguistik bis zur Soziologie. Vergesst Taxonomie, Ontologie und Psychologie … Bei genügend Daten sprechen die Zahlen für sich.

CHRIS ANDERSON[219]

Bei Big Data ergeben sich eine Menge Small-Data-Probleme. Sie verschwinden nicht, weil man eine Menge Stoff hat. Sie werden schlimmer.

SIR DAVID J. SPIEGELHALTER[220]

stronomie ist die Wissenschaft, die ihre Forscher jahrhundertelang zur Nachtarbeit zwang. Und sie ist die Wissenschaft, die eines der ersten Big-Data-Projekte durchführte. Carte du Ciel (»Himmelskarte«), ein 1887 in Paris begonnenes Projekt, bildete zwei Millionen Sterne mithilfe von 20 000 Fotoplatten des Nachthimmels ab, dokumentiert in Hunderten von Bänden veröffentlichter Daten.[221] Dieses Unterfangen verdiente wahrhaftig den modernen Begriff Big Science, hat es doch die begrenzten materiellen und zeitlichen Ressourcen, die den Observatorien sowie Generationen von Forschern zur Verfügung standen, fast restlos verschlungen. Diese enorme Anstrengung war nur durch internationale Zusammenarbeit und die Nutzung der Sternwarten von Helsinki über das Kap der guten Hoffnung bis Sydney möglich. Die Himmelskarte war mit dem Versprechen verknüpft, genügend Bilder und Daten zu liefern, um die Astronomie in eine Tagestätigkeit zu verwandeln, die am gut beleuchteten Schreibtisch statt draußen in dunkler Nacht ausgeübt werden konnte. Sehr bemerkenswert auch, dass das Projekt nicht dem Ziel gewidmet war, den Ruhm einzelner Astronomen zu mehren, sondern künftigen »Astronomen auf mindestens 3000 Jahre hinaus« zu dienen.[222] Mit der Hilfe von Fotoplatten sollten diese Forscher in der Lage sein, kleine Veränderungen am Himmel zu entdecken, die sich zu Lebzeiten eines Astronomen nicht bemerkbar machen.

Das unvollendete Himmelskartenprojekt war ein Denkmal des Positivismus. Damit bezeichnet man die Auffassung, dass nur Fakten zählen, das heißt, alles, was beobachtet und gemessen werden kann, im Gegensatz zu den nicht wahrnehmbaren Ideen und Spekulationen. Heute hat der Positivismus ein Comeback mit der Big-Data-Analytik.

Gemessen an ihrer kurzen Lebensdauer haben es Astronomen mit einem stabilen System zu tun – den Bewegungen der Himmelskörper. Im Gegensatz zu typischen Anwendungen des Maschinenlernens gibt es in der Astronomie Theorien über Sterne und Planeten. In diesem Zusammenhang ist Big Data außerordentlich nützlich. In der heutigen Welt wird Big Data jedoch für komplexe Phänomene verwendet, die dynamisch sind und sich auf überraschende Weise verändern können. Hier sind die drei Vs – volume, velocity und variety, also Menge, Geschwindigkeit und Vielfalt – nur von begrenztem Nutzen, es gilt vielmehr der Satz »Weniger kann mehr sein«: Die Verwendung weniger Daten und weniger komplexer Algorithmen kann oft zu besseren Vorhersagen führen. Selbst die Hinzufügung eines vierten Vs – veracity, Richtigkeit, das heißt, die Zuverlässigkeit der Daten – bringt wenig. Nützlicher kann stattdessen die psychologische KI sein. Das Prinzip des »Weniger ist mehr« möchte ich an Googles viel gepriesenem Vorzeigeprojekt der Big-Data-Analytik erläutern.

Vorhersage der Grippe

Wenn Sie hohes Fieber haben, unter Halsschmerzen leiden, die Nase läuft und Sie sich abgeschlagen fühlen, haben Sie möglicherweise eine Influenza oder Grippe. Die Symptome treten in der Regel zwei Tage nach der Ansteckung mit dem Grippevirus auf und verschwinden binnen fünf oder sechs Tagen. Man schätzt, dass die Influenza weltweit eine viertel bis halbe Million Menschenleben pro Jahr fordert. Um zu zeigen, wo die Grippe sich ausbreitet, informiert die US-Gesundheitsbehörde Center for Disease Control (CDC) die Öffentlichkeit über die Zahl der grippebezogenen Arztbesuche in allen Regionen der USA. Allerdings hat die Behörde das Problem, dass es ein oder zwei Wochen dauert, die Daten zu sammeln.

2008 gaben Medien in aller Welt mit großer Aufmachung bekannt, dass Google-Ingenieure eine weit schnellere Methode gefunden hätten, die Ausbreitung der Grippe vorherzusagen. Die Idee schien vernünftig zu sein. Nutzer, die sich mit der Grippe angesteckt haben, gehen gewöhnlich auf die Google-Suchmaschine, um ihre Symptome zu diagnostizieren und nach Abhilfe zu suchen. Diese Suchen, so die These, könnten erkennen lassen, wo sich die Grippe ausbreitet. Um die entsprechenden Suchanfragen herauszufiltern, analysierten die Ingenieure rund 50 Millionen Suchbegriffe und berechneten, welche von ihnen mit der Grippe assoziiert waren.[223] Dann testeten sie 450 Millionen verschiedene Modelle, um das beste herauszufinden. Das Ergebnis war ein geheimer Algorithmus, der 45 (ebenfalls geheime) Suchbegriffe verwendete. Mit diesem Algorithmus wurden dann täglich und wöchentlich die grippebezogenen Arztbesuche vorhergesagt.

Zunächst lief alles glänzend. Google Flu Trends sagte die Grippe früher voraus als die CDC-Berichte. Google prägte sogar ein neues Wort: to »nowcast«, die aktuelle Ausbreitung der Grippe und der grippebezogenen Krankheiten in jeder Region der Vereinigten Staaten vorhersagen.

Monate später, im Frühjahr 2009, geschah etwas Unerwartetes. Die Schweinegrippe brach aus. Sie wütete außerhalb der üblichen Grippesaison, wobei die Fälle zunächst im März auftraten und einen Höhepunkt im Oktober erreichten. Google Flu Trends verpasste den Ausbruch (siehe Abbildung 6.1); das Programm hatte aus den Jahren zuvor gelernt, dass die Grippeinfektionen im Winter hoch waren und im Sommer niedrig.[224] Die Vorhersagen fielen in sich zusammen.

Der Glaube an komplexe Lösungen

Nach diesem Rückschlag machten sich die Ingenieure daran, den Algorithmus zu verbessern. Dazu gibt es zwei Wege. Der erste ist: Man bekämpft Komplexität mit Komplexität. Dabei glaubt man, dass komplexe Probleme immer komplexe Lösungen benötigen, und falls ein komplexer Algorithmus versagt, dann macht man ihn einfach noch komplizierter. Der zweite Weg folgt dem Prinzip der stabilen Welt. In einer Situation von Ungewissheit kann ein komplexer Algorithmus, der Big Data aus der Vergangenheit verwendet, die Zukunft möglicherweise nicht sehr gut vorhersagen und sollte daher vereinfacht werden. Googles Ingenieure entschieden sich für den ersten Weg, mehr Komplexität. Statt die 45 Suchbegriffe (Merkmale) zu reduzieren, erhöhten sie sie auf ungefähr 160 (die genaue Zahl wurde nie veröffentlicht) und setzten weiterhin auf Big Data.

Zunächst bewährte sich der revidierte Algorithmus bei der Vorhersage neuer Fälle, aber nicht auf Dauer. Zwischen August 2011 und September 2013 überschätzte er den Anteil der erwarteten grippebezogenen Arztbesuche in 100 von 108 Wochen (siehe Abbildung 6.1).[225] Ein Hauptgrund war die Instabilität der Grippe selbst. Grippeviren sind die reinsten Chamäleons, ständig verändern sie sich, sodass es äußerst schwer ist, ihre Ausbreitung vorherzusagen. Die Symptome der Schweinegrippe unterschieden sich von denen der letzten Jahre, und die Infektionsrate bei jüngeren Menschen war höher als bei anderen Grippestämmen. Ein zweiter Grund war die Instabilität menschlichen Verhaltens. Viele Nutzer gaben grippebezogene Suchbegriffe aus reiner Neugier ein, sie wollten mehr über die Schweinegrippe wissen, fühlten sich aber nicht krank. Doch der Algorithmus konnte nicht zwischen den unterschiedlichen Motivationen für die Suche unterscheiden. Die Ingenieure fragten: »Ist unser Modell zu einfach?« und bastelten weiter an dem revidierten Algorithmus herum, ohne Erfolg.[226] 2015 wurde Google Flu Trends in aller Stille beerdigt.[227]

Vielleicht zucken manche mit den Schultern und sagen: Ja, das haben wir alles schon mal gehört, aber das war 2015; die heutigen Algorithmen sind unendlich viel größer und besser. Doch mir geht es nicht um den Erfolg oder Misserfolg eines bestimmten, von dem Unternehmen Google entwickelten Algorithmus. Das Problem liegt vielmehr darin, dass das Prinzip der stabilen Welt für alle Algorithmen gilt, die mithilfe der Vergangenheit eine unbestimmbare Zukunft vorhersagen. Bevor Googles Big-Data-Analytik versagte, wurde ihr viel beachteter Erfolg als Beweis gewertet, dass die wissenschaftliche Methode und Theorie im Begriff waren, obsolet zu werden. Blinde und schnelle Suche durch Terabytes von Daten schienen auszureichen, um Epidemien vorherzusagen. Ähnliche Behauptungen wurden von anderen Forschern aufgestellt, ob es sich nun um die Geheimnisse des menschlichen Genoms, des Krebses oder des Diabetes ging. Vergiss die Wissenschaft. Alles was man braucht sind mehr Daten und schnellere Rechner, um dann alles mit allem zu korrelieren. Chris Anderson, Chefredakteur von Wired, erklärte: »Korrelation ersetzt Kausalität, und Wissenschaft kann ohne schlüssige Modelle Fortschritte erzielen … Es ist an der Zeit zu fragen: Was kann die Wissenschaft von Google lernen?«[228]

Lassen Sie mich eine andere Frage stellen. Was kann Google von der Wissenschaft lernen?

Bei Ungewissheit: Mache es einfach und verlasse dich nicht auf die Vergangenheit

Offenbar haben die Google-Ingenieure nie in Betracht gezogen, ihre Big-Data-Analytik durch einen einfachen Algorithmus zu ersetzen. In meiner Forschungsgruppe am Max-Planck-Institut für Bildungsforschung haben wir einfache Algorithmen (Heuristiken) untersucht, die unter unbeständigen Bedingungen gute Erfolge erzielen. Eine Möglichkeit, diese Regeln abzuleiten, besteht darin, sich auf psychologische KI zu verlassen und herauszufinden, wie das menschliche Gehirn auf Ungewissheit und Veränderung reagiert. Beispielsweise hat Thomas Brown bereits Anfang des 19. Jahrhunderts das Law of Recency formuliert. Danach fallen Menschen zeitlich nähere (rezente) Erinnerungen schneller ein als weiter zurückliegende und sind daher oft die einzigen Informationen, auf die sich menschliche Entscheidungen stützen.[229] Die moderne Forschung lässt darauf schließen, dass Menschen sich auf das verlassen, was sie in jüngerer Zeit erlebt haben – allerdings nur in instabilen Situationen, in denen die weiter zurückliegende Vergangenheit keine zuverlässige Orientierung für die Zukunft bietet. Im Extremfall verlässt man sich nur auf die letzte, neueste Information und vergisst alles Andere. Gemäß diesen Überlegungen entwickelten meine Kollegen und ich den folgenden einfachen Algorithmus:[230]

Vorwoche-Heuristik für Grippevorhersage: Sage vorher, dass der Anteil der grippebezogenen Arztbesuche in dieser Woche gleich dem der letzten Woche sein wird.

Im Gegensatz zu Googles geheimem Flu-Trends-Algorithmus ist diese heuristische Regel transparent und kann mühelos von jedem angewandt werden. Ihre Logik ist verständlich. Sie stützt sich nur auf einen einzigen Datenpunkt, der auf der Webseite des Center for Disease Control oder des Robert Koch-Instituts nachgeschaut werden kann. Sie erspart es uns, 50 Millionen Suchbegriffe durchzukämmen und Millionen Algorithmen per Versuch und Irrtum zu testen. Doch wie gut sagt sie tatsächlich die Grippe voraus?

Meine Kollegen und ich überprüften die Heuristik an genau denselben Daten, die dem Test des Algorithmus von Google Flu Trends zugrunde lagen, das heißt den wöchentlichen Beobachtungen zwischen März 2007 und August 2015. Während dieser Zeit schwankte der Anteil grippebezogener Besuche bei allen Arztbesuchen zwischen einem und acht Prozent, mit einem Durchschnittswert von 1,8 Prozent der wöchentlichen Besuche (Abbildung 6.1). Hätte man also jede Woche die einfache, aber falsche Vorhersage gemacht, dass es keine grippebezogenen Besuche geben werde, hätte man über vier Jahre einen mittleren absoluten Fehler von 1,8 Prozentpunkten gehabt. Die Vorhersage von Google Flu Trends war bei einem mittleren Fehler von 0,38 Prozentpunkten (Abbildung 6.2) viel besser. Doch mit einem mittleren Fehler von 0,20 Prozentpunkten schneidet die Vorwoche-Heuristik noch besser ab.[231] Wenn wir den Zeitraum der Schweinegrippe ausklammern, das heißt, mit dem ersten Update von Google Flu Trends beginnen, ändert sich kaum etwas an dem Ergebnis (0,38 beziehungsweise 0,19).

ABBILDUNG 6.1: Eine einfache Heuristik, die nur einen Datenpunkt verwendet, kann die Grippe besser vorhersagen als Googles Big-Data-Analytik. Gezeigt werden der tatsächliche Prozentsatz grippebezogener Arztbesuche zwischen dem 18. März 2007 und dem 9. August 2015 sowie die Vorhersagen durch die Vorwoche-Heuristik und durch Google Flu Trends (einschließlich dreier Updates). Oben: Vorhersagen und beobachtete Werte in absoluten Zahlen. Unten: Vorhersagefehler. Die Jahre bezeichnen die Jahresanfänge, das heißt, »2008« steht für den 1. Januar 2008. Beispielsweise hat Google Flu Trends im Sommer 2009 die Ausbreitung der Grippe infolge des unerwarteten Ausbruchs der Schweinegrippe unterschätzt, woraufhin der Algorithmus sein erstes Update erhielt. Quelle: Katsikopoulos et al. (2021)[232]

ABBILDUNG 6.2: Weniger kann mehr sein. Mithilfe eines einzigen Datenpunktes lässt sich die Ausbreitung der Grippe besser vorhersagen als mit Google Flu Trends, einem Big-Data-Algorithmus. Der mittlere absolute Fehler (aus Abbildung 6.1) bei Vorhersage des Anteils grippebezogener Arztbesuche beträgt für Google Flu Trends 0,38, jedoch nur 0,20, wenn man einen einzigen Datenpunkt verwendet (die Arztbesuche der Vorwoche). Beide Algorithmen wurden an denselben wöchentlich erhobenen Daten zwischen dem 18. März 2007 und dem 9. August 2015 überprüft (siehe Text).

Weniger kann mehr sein

Wie der Fall von Google Flu Trends zeigt, kann man in einer instabilen Welt genauere Vorhersagen treffen, wenn man Menge und Komplexität der Daten verringert. In einigen Fällen kann es ratsam sein, alles aus der Vergangenheit zu ignorieren und sich stattdessen ganz auf die jüngsten Daten zu verlassen. Weiterhin beweist der Fall, dass sich die Vorhersagen der psychologischen KI – hier der Vorwoche-Heuristik – durchaus mit denen komplexer Maschinenlern-Algorithmen messen können. Grundsätzlich meine ich, dass Heuristiken, die mit wenig Daten auskommen, geeignete Kandidaten für die Umsetzung der psychologischen KI sind.

Das Grippe-Beispiel ist weder ein Glückstreffer noch eine Ausnahme. Bei Ungewissheit haben sich einfache Regeln im Vergleich zu komplexen Algorithmen als äußerst wirksam erwiesen, sei es bei der Vorhersage von Konsumenteneinkäufen, Wiederholungstätern, Herzinfarkten, Sportergebnissen oder Wahlausgängen.[233] Beispielsweise hat eine Gruppe von Wirtschaftswissenschaftlern, unter ihnen der Nobelpreisträger Joseph Stiglitz, unsere Arbeiten zur psychologischen KI aufgegriffen. Sie haben nachgewiesen, dass eine einfache Regel, die der Vorwoche-Heuristik entspricht, Verbrauchernachfragen unter dynamischen Wirtschaftsbedingungen besser vorhersagen kann als traditionelle komplexe Modelle.[234] Der große Vorteil einfacher Regeln liegt darin, dass sie verständlich und leicht anwendbar sind.

Trotzdem macht viele von uns die Vorstellung nervös, absichtlich Daten zu ignorieren, um bessere Entscheidungen zu treffen. Warum sind zu viele Daten häufig mehr Hindernis als Hilfe?

Wie in Kapitel 2 erwähnt, braucht man, um die Zukunft erfolgreich vorherzusagen, eine gute Theorie, zuverlässige Daten und eine stabile Welt. Die Nützlichkeit von Big Data hängt von diesen drei Bedingungen ab. Schauen wir uns zunächst Situationen an, in denen man viele Korrelationen, aber keine Theorie hat.

Korrelationen und der texanische Scharfschütze

Obwohl nicht so populär wie der Oscar, ist der Nobelpreis doch eine der angesehensten internationalen Auszeichnungen, sodass es seine Gewinner jedes Jahr in die Schlagzeilen schaffen. Deutschland hat rund 13 Nobelpreisträger pro zehn Millionen Einwohner, Österreich fast doppelt so viele. China und Brasilien liegen am unteren Ende mit rund 0,1 Gewinner pro zehn Millionen, während Schweden und die Schweiz mit mehr als dreißig an der Spitze stehen. Woher kommen diese Unterschiede? Und was sollten Wissenschaftler und Schriftsteller aus anderen Ländern tun, um das Niveau der Schweiz zu erreichen?

Die Antwort von Big Data lautet: Man muss herausfinden, welche individuellen Verhaltensweisen oder welche organisatorischen Strukturen mit dem Anteil an Nobelpreisträgern assoziiert sind. Es könnte die Qualität des Vorschulsystems sein, die der Universitäten oder der Wille zum Erfolg. Kämmt man die Daten wahllos auf der Suche nach Verbindungen durch, stößt man auf eine überraschende Antwort.

Es ist die Schokolade! Die Quote der Nobelpreisträger in einem Land lässt sich anhand des Schokoladenkonsums vorhersagen. Je mehr Schokolade gegessen wird, desto mehr Nobelpreise gibt es (Abbildung 6.3). Die Beziehung ist außerordentlich stark. Die Chinesen und Japaner essen sehr wenig Schokolade und haben sehr wenige Nobelpreisträger pro Kopf. Die Schweizer verspeisen im Durchschnitt mehr als 26 Pfund Schokolade pro Jahr und stehen an der Spitze der Skala. Die USA liegen bei beiden Merkmalen etwa in der Mitte. (Eine Ausnahme von der Regel ist Deutschland, dessen Einwohner genauso viel Schokolade verzehren wie die Schweizer, aber weniger Nobelpreise pro Kopf vorzuweisen haben; eine weitere Ausnahme ist Schweden, dessen Einwohner ihren hohen Anteil an Nobelpreisen einheimsen, obwohl ihr Schokoladenkonsum nicht mehr als durchschnittlich ist.)

Offenbar müsste die Empfehlung also lauten, die chinesische, japanische und portugiesische Ernährungsweise so umzustellen, dass sie erheblich mehr Schokolade, vorzugsweise Schweizer Schokolade, enthalte. Das mag Schokoholikern einen Vorwand liefern, ihre Ration aufzustocken, wird sie aber dem Gewinn eines Nobelpreises keinen Schritt näherbringen.

ABBILDUNG 6.3: Eine eindrucksvolle, aber nutzlose Korrelation. Der Schokoladenkonsum ist länderübergreifend stark korreliert (r = 0,79) mit der Zahl der Nobelpreisträger pro zehn Millionen Einwohner. Der Wert p < 0,0001 bedeutet: Wenn es in Wirklichkeit keine Korrelation gäbe, wäre eine Korrelation so stark wie diese nur einmal – oder noch seltener – in zehntausend Fällen zu erwarten. © (2012) Massachusetts Medical Society.[235]

Eindrucksvolle, aber nutzlose Korrelationen

Das »r«, das den Zusammenhang in Abbildung 6.3 misst, heißt Pearson-Korrelation. Karl Pearson, 1857 als Spross einer Quäkerfamilie strenger, arbeitsamer Yorkshire-Anwälte geboren, war ein Mann, den seine unstillbare Neugier auf die Welt veranlasste, so vielfältige Fächer wie möglich zu studieren: Mathematik, Physik, Physiologie, Geschichte, Römisches Recht und Deutsche Literatur in Cambridge, Berlin, Heidelberg und Wien. Dennoch war er ein Mensch voller Selbstzweifel, der erwartete, dass sein Name nur als Bezeichnung eines Korrelationskoeffizienten überleben werde. Zu einer Zeit, in der Frauen nicht wählen durften, stritt er für die Gleichstellung von Männern und Frauen und eine starke, unabhängige Frauenpartei. Außerdem glaubte Pearson – was für unser Thema von besonderem Interesse ist – leidenschaftlich an die Quantifizierung und vertrat die Ansicht, unsere Wahrnehmungen seien die Grundlage aller Erkenntnis: Wir können Korrelationen, aber keine Kausalität wahrnehmen.[236] Er war nicht der Erste, der das behauptete. 150 Jahre vor ihm hatte das bekanntlich bereits der schottische Philosoph David Hume getan. Wie das erste Motto zu diesem Kapitel belegt, haben Big-Data-Enthusiasten Pearsons und Humes Argument auf die Spitze getrieben, indem sie erklären, man brauche keine Ursachen mehr: Wenn genügend Petabytes zur Hand sind, »genügt die Korrelation«.[237]

Die starke Assoziation zwischen Schokoladenverzehr und Nobelpreisträgern zeigt, dass die Korrelation nicht genügt. Unter Umständen lockt uns die massive Datenauswertung auf eine falsche Fährte. Big Data kann eine beliebige Zahl von ähnlich nutzlosen Korrelationen zutage fördern. Bei der Entwicklung von Google Flu Trends entdeckten die Ingenieure eine starke Korrelation zwischen Google-Suchen nach »Highschool-Basketball« und grippebezogenen Arztbesuchen. Doch da gibt es keine Kausalbeziehung, nur den Zufall, dass sowohl die Saison bei Grippe wie beim Highschool-Basketball von November bis März dauert.[238] Die Ingenieure besannen sich auf ihren gesunden Menschenverstand und beseitigten dieses irrelevante Merkmal von Hand.

Die blinde Durchmusterung von Millionen Variablen kann viele andere überraschende Korrelationen offenbaren (Abbildung 6.4).[239] Jedes Jahr fallen rund einhundert Amerikaner in Swimmingpools und ertrinken. Warum? Datamining zeigt, dass diese Zahl stark verknüpft ist mit der Zahl der Filme, in denen Nicolas Cage mitspielt. Wie Sie in der Abbildung erkennen können, bleiben diese Zahlen über einen Zeitraum von zehn Jahren dicht beieinander. Die Korrelation zwischen Ertrinken und der Zahl der Nicolas-Cage-Filme beträgt 0,67, für die Sozialwissenschaften eine ungewöhnlich hohe Korrelation (ein Wert von 1 ist eine perfekte Korrelation, ein Wert von 0 bedeutet, dass überhaupt keine Korrelation vorliegt). Sind tatsächlich mehr Menschen ertrunken, weil der Schauspieler in mehr Filmen aufgetreten ist? Wahrscheinlich nicht. Würde man die ungeheure Datenmenge durchsuchen, die über alle Schauspieler und alle Todesursachen verfügbar ist, fände man vermutlich noch mehr solche Assoziationen, zumindest in einem bestimmten Zeitintervall, auch wenn sie vollkommen sinnlos wären.

So hat man eine Korrelation von 0,79 – so stark wie zwischen Schokolade und Nobelpreisträgern – zwischen der Zahl der nicht kommerziellen Weltraumstarts und den in den USA verliehenen Doktortiteln in Soziologie ermittelt (Abbildung 6.4). Großzügiger mit dem Doktortitel in Soziologie umzugehen bietet sich also als sparsame Methode an, mehr Spaceshuttles in den Weltraum zu schicken.

Noch beeindruckender ist die Korrelation von 0,87 zwischen dem Alter von Miss America und der Zahl der Menschen, die durch Einwirkung von heißen Dämpfen und heißen Objekten ermordet wurden. Eine Korrelation von 0,87 ist ein seltenes Ereignis. Wenn Miss America 20 Jahre oder jünger ist, finden weniger Morde statt. Je älter Miss America ist, desto mehr Menschen werden ermordet. Nach dieser Logik entscheidet die Jury des Schönheitswettbewerbs jedes Mal über Leben und Tod, wenn sie eine Gewinnerin kürt.

Doch keines dieser Ergebnisse kann mit der praktisch perfekten Korrelation von 0,99 zwischen der Scheidungsrate in Maine und dem Pro-Kopf-Margarine-Verbrauch in den USA mithalten. Erinnern Sie sich, wie die Psychologen in Kapitel 2 versuchten, mit der Scharfschützen-Methode die Scheidungsraten vorherzusagen. Geht man von dieser nahezu perfekten Korrelation aus, scheinen die Psychologen den wahren Scheidungsgrund übersehen zu haben, nämlich den übermäßigen Verzehr von Margarine. Das legt wiederum den Schluss nahe, dass wir die Scheidungsraten perfekt vorhersagen können. Und auch eine Lösung bietet sich an: Würden Ehepaare Margarine von ihren Einkaufslisten streichen, könnten sie zusammenbleiben, bis der Tod sie scheidet. Noch einmal, indem man wahllos alle Nahrungsquellen und alle Staaten der USA durchforstet, kann man mit ein wenig Glück vielleicht noch eine weitere perfekte Korrelation aufstöbern. Untersuchte man die Scheidungsraten in anderen Staaten oder in anderen Zeitabschnitten, würde sich diese perfekte Korrelation in heiße Luft auflösen.

ABBILDUNG 6.4: Wenn Sie genügend Daten sammeln, können Sie finden, was immer Sie wollen. Eine Wundertüte voller unsinniger Korrelationen, zusammengestellt durch blindes Suchen. Quelle: TylerVigen.com[240]

In all diesen Fällen sagt uns der gesunde Menschenverstand, dass die Korrelationen sinnlos sind. Diese Beispiele sind zwar eher komisch, doch kritischer wird es, wenn es um Bereiche wie Ernährung und Gesundheit geht, wo es zahllose Möglichkeiten gibt, dass irgendetwas ganz bestimmt mit irgendetwas anderem korreliert. Viele Ernährungsratschläge der letzten Jahre stammen aus Scheinkorrelationen, die in irgendwelchen Studien entdeckt wurden: Esst Blaubeeren, dann beugt ihr der Vergesslichkeit vor. Esst Bananen, dann schneidet ihr in Intelligenztests besser ab. Esst spätabends Kiwis, dann schlaft ihr besser.[241] Üblicherweise rät man uns im nächsten Jahr das genaue Gegenteil.

Ein anderes ernstes Problem tritt auf, wenn sich eine Wirtschaftsauskunftei auf eine blinde Suche verlässt, um über die Kreditwürdigkeit von Menschen zu entscheiden. Der Gründer einer Wirtschaftsauskunftei erklärte: »Wir haben festgestellt, dass Leute, die ihren Kredit nicht zurückzahlen, eine ganz bestimmte Schriftart auf ihrem Computer hatten.«[242]

Millionen Kugellöcher

Inzwischen haben Sie vielleicht schon erkannt, welche Methode diesen Korrelationen zugrunde liegt. Big Data eröffnet der Scharfschützen-Methode ein ganz neues Spielfeld. Nur dass der Scharfschütze hier nicht erst schießen muss, um die Zielscheibe so um die Kugellöcher zu malen, dass das Zentrum in der Mitte liegt. Es gibt nämlich schon Millionen Kugellöcher. Daher braucht der Scharfschütze nur mit einem schnellen Suchalgorithmus nach einem Muster Ausschau zu halten, das – wie in den vier Fällen der Abbildung 6.4 – den Eindruck hervorruft, die Zielscheibe sei zuerst aufgestellt worden und die Löcher kamen nachher. Abermals ist das nicht Big Data vorzuwerfen, sondern der Art, wie es verwendet wird. Man kann natürlich auf eine unerwartete Korrelation stoßen, aber bevor man sie als Faktum verkündet, sollte man unabhängig überprüfen, ob sie auch für andere Zeitpunkte oder Menschengruppen gilt. Lässt man diesen Schritt aus und präsentiert das Zufallsmuster, über das man gestolpert ist, als wissenschaftliches Ergebnis, folgt man der Strategie des Scharfschützen. Dies kann sehr verlockend sein, nicht zuletzt, weil der Hunger der Medien und der Öffentlichkeit auf Sensationsmeldungen unersättlich ist.

Die Verlockung, ein Ergebnis bekannt zu geben, bevor es unabhängig bestätigt wurde, ist im Gesundheitswesen besonders ausgeprägt. Alle paar Wochen erscheint eine Schlagzeile über einen neuen Tumormarker, der eine personalisierte Diagnose oder sogar Heilung vom Krebs verspricht. Viele schwer kranke Menschen klammern sich verzweifelt an solche Nachrichten. Nachdem sie übertriebene Hoffnung geweckt haben, erweisen sich diese sensationellen Erfolge häufig als falsch, als Produkte von Scheinkorrelationen. Wird eine andere Studie durchgeführt, zu einem anderen Zeitpunkt oder an einem anderen Ort, löst sich die Korrelation in Luft auf. Eine Forschungsgruppe des Biotech-Unternehmens Amgen versuchte, die Ergebnisse aus 53 »bahnbrechenden« medizinischen Artikeln nachzubilden. In 47 Fällen scheiterten sie. Ähnlich untersuchte der Pharmakonzern Bayer 67 Resultate in Onkologie, Herzkreislaufmedizin und Frauenheilkunde, konnte die Ergebnisse aber nur in 14 Fällen bestätigen.[243] Ian Chalmers, einer der Gründer des unabhängigigen medizinischen Netzwerks Cochrane, und Paul Glasziou, Vorsitzender der International Society for Evidence-based Health Care, schätzten, dass 85 Prozent aller medizinischen Forschung »Verschwendung« sind, weil sie nicht reproduzierbar sind, und dass damit pro Jahr 170 Milliarden Dollar weltweit verloren gehen.[244] Diese betrübliche Situation bezeichnet man als Replikationskrise. Die Ergebnisse können nicht repliziert werden, weil sie nur auf Scheinkorrelationen basieren.

Bloße Korrelationen ohne Theorie sind ein Faktor, der den Erfolg der Big-Data-Analytik einschränkt; unzuverlässige Daten ein anderer.

Schlechte Daten

Ein Forbes-Journalist erhielt eine Werbung, in der er zum Eintritt in einen Rentnerverein aufgefordert wurde. Er war verwirrt; nicht nur, weil er sich nicht wie 65 fühlte, sondern auch, weil er erst Mitte 30 war.[245] Als weitere Werbung eintraf, wurde ihm klar, dass ein Profil von ihm angefertigt und von Datenmaklern an den Verein verkauft worden war. Gewöhnlich operieren Datenmakler im Schatten bekannter Unternehmen, und viele ihrer Produkte – das heißt Menschen wie der Journalist, Sie und ich – haben noch nie von Acxiom, Oracle Data Cloud und den anderen Firmen gehört, die Profile von vielen Hundert Millionen Menschen erstellen. Diese Profile basieren auf Cookies, Surfverhalten und anderen Quellen. Sie wurden beispielsweise von Facebook gekauft, weil es mehr über seine Nutzer erfahren wollte.

Der Journalist wandte sich an Acxiom und Oracle und erhielt schließlich Zugriff auf die Profile. Gleich auf den ersten Blick lagen sie völlig daneben. Danach war er über 65, verheiratet, häufiger Kunde von Victoria’s Secret und Konsument von Mengen an Windeln, Babynahrung und Importbier. Nichts davon traf zu. Drei Viertel der Informationen waren schlichtweg falsch, und jeder Makler steuerte unterschiedliche Fehlinformationen bei. Als er Acxiom fragte, woher es diese Daten hätte, berief sich das Unternehmen hartnäckig darauf, dass es sich um ein Geschäftsgeheimnis handle, und betonte wiederholt die Genauigkeit der Daten. Dieser Fall könnte allerdings eine Ausnahme sein, während es mit den Daten über die anderen Millionen von Menschen seine Richtigkeit hätte. Doch als ein Journalist von Reuters Acxiom ebenfalls um sein Profil bat, erwies es sich als ähnlich unzutreffend.[246] Als auch er nachfragte, erklärte das Unternehmen, dass der größte Teil seines Profils auf Schlussfolgerungen aus anderen Daten beruhe – zum Beispiel aus seiner Postleitzahl. Andere Journalisten, die ihre Profile überprüften, stießen auf eine ähnlich alarmierende Häufung von Fehlinformationen.[247]

Das sind anekdotische Einzelfälle, aber was zeigt die Forschung? In einer Feldstudie wurde untersucht, inwieweit die Dienstleistungen von Datenmaklern deren Kunden tatsächlich helfen, mit ihren Anzeigen die richtigen Adressaten zu erreichen.[248] Die Anzeigen warben für eine Wohltätigkeitskampagne, deren Zielgruppe Männer zwischen 25 und 54 Jahren waren (was 27 Prozent der männlichen Bevölkerung entsprach). Diese Altersgruppe zu identifizieren sollte nicht allzu schwer sein. Neunzehn führende Datenmakler und sechs Plattformen für den Anzeigenkauf halfen, die Zielgruppe genauer anzuvisieren. Überraschenderweise betrug die durchschnittliche Genauigkeit enttäuschende 59 Prozent, was bedeutet, dass 41 Prozent der Anzeigen ihre Adressaten verfehlten. Der beste Anbieter zeigte die Anzeigen der richtigen Zielgruppe in 72 Prozent der Fälle, der schlechteste Anbieter nur in 40 Prozent. In einer zweiten Studie wurde überprüft, inwieweit Datenmakler in der Lage sind, die gleiche Zielgruppe alleine zu identifizieren, das heißt ohne Hilfe der Plattformen für Anzeigenkauf. Jetzt fiel ihre Genauigkeit unter das Zufallsniveau. Auch bei der Identifikation des Geschlechts führte bloßes Raten zu besseren Ergebnissen als die Daten der Makler. Die besten Resultate erzielten die Makler, wenn sie die Interessen der Zielgruppe bestimmten, etwa das Interesse an Sport und Fitness (ein Plus von 20 beziehungsweise 34 Punkten gegenüber Raten). Interessen scheinen sich leichter aus dem Surfverhalten schließen zu lassen. Alles in allem war die Qualität mäßig. Die von den Maklern gelieferten Daten sahen nicht so aus wie das versprochene »neue Öl« oder »neue Gold«.

Außerdem müssen die Werbekunden eine Menge Geld für das Öl bezahlen. Die Autoren der Studie gelangten zu dem Schluss, dass die Kosten für die üblichen Banneranzeigen oft so hoch sind, dass sie durch deren Nutzen nicht aufgewogen werden.

Big Data und instabile Welten

Abgesehen von bloßen Korrelationen und unzuverlässigen Daten ist der Mangel an einer stabilen Situation der dritte Faktor, der den Nutzen der Big-Data-Analytik einschränkt. Betrachten wir zum Beispiel Kinder, die Gefahr laufen, in der Schule zu versagen, und Familien, denen Arbeitslosigkeit und Obdachlosigkeit drohen. Wenn ein Algorithmus die gefährdeten Personen identifizieren könnte, wären Behörden in der Lage, die Probleme schon im Vorfeld zu erkennen und rechtzeitig Sozialarbeiter zu schicken, die mit diesen Familien arbeiten würden. Ein Team von Forschern der Princeton University forderte die wissenschaftliche Gemeinschaft auf, die Zukunft von über 4000 »fragilen Familien« vorherzusagen, wobei es sich überwiegend um alleinerziehende Eltern oder Familien unverheirateter Paare handelte.[249] Für jede Familie sollte unter anderem Folgendes vorhergesagt werden: die Schulleistung des Kindes mit 15 Jahren; das Durchhaltevermögen des Kindes, das heißt seine Fähigkeit, hart und ausdauernd zu arbeiten; ob die primäre Bezugsperson arbeitslos werden wird; und ob der Familie Haus oder Wohnung gekündigt wird, weil sie Miete oder Hypothek nicht bezahlen kann. Die Forscher stellten dazu Big Data zur Verfügung, die über 15 Jahre zusammengetragen wurden, unter anderem Ergebnisse von Persönlichkeitstests, biometrische Daten, Interviews und Bewertungen der häuslichen Situation. Es gab über 12 000 Maßzahlen pro Familie und insgesamt Millionen von Datenpunkten.

Alles in allem beteiligten sich 160 Forschungsgruppen an dem Projekt, wobei viele für ihre Vorhersagen modernste, komplexe Algorithmen des Maschinenlernens verwendeten. Das Ergebnis war entmutigend. Die meisten Algorithmen lieferten schlechtere Vorhersagen als eine einfache Regel, die sich auf vier Datenpunkte – wie den Familienstand der Mutter und die Leistung des Kindes bei seinem letzten Test, sechs Jahre zuvor – beschränkte. Das leitende Team des Projekts gelangte zu dem Schluss, dass selbst die besten Algorithmen nur mäßige Vorhersagen lieferten, die kaum besser abschnitten als die einfache Regel.

In Großbritannien wurde eine ähnliche Studie durchgeführt.[250] In einem Test an 32 verschiedenen Maschinenlernalgorithmen wurde überprüft, ob sie vorhersagen konnten, welche Kinder oder jungen Erwachsenen gefährdet waren. Nicht ein einziger der komplexen Algorithmen lieferte eine befriedigende Vorhersage: Im Durchschnitt übersahen sie vier von fünf gefährdeten Kindern. Und wenn ein Algorithmus zu dem Schluss kam, ein Kind sei gefährdet, irrte er sich bei sechs von zehn Kindern. Würden die Sozialbehörden also diesen Algorithmen trauen und ihre Mitarbeiter schicken, um das Problem zu lösen, bevor es entsteht, hätten diese die meisten gefährdeten Kinder nicht auf ihrer Liste und verbrächten ihre Zeit damit, mit den falschen Familien an den falschen Orten zu arbeiten. Nicht zuletzt könnten Familien unnötigerweise stigmatisiert werden.

Vielleicht sind Sie von diesen Ergebnissen überrascht. Hatten Computer nicht schon Jahre vor diesen Studien gelernt, die besten Schachspieler zu schlagen? Man könnte annehmen, die Forscher hätten vielleicht nicht genügend Daten gesammelt. Doch es lagen mehr als genug Informationen vor. Die Antwort sieht ganz anders aus. Das Leben ist nicht wie Schach; es enthält eine Fülle von Ungewissheiten. Zu viele Faktoren bestimmen, was einem Kind, einem Erwachsenen oder einer Familie zustößt, und in fragilen Familienverbänden könnte sich die Wechselwirkung zwischen diesen Faktoren noch verstärken. Rechenleistung und Big Data sind nur von begrenztem Wert, wenn Unsicherheit herrscht.

Von genauen Daten und todsicheren Vorhersagen ist nicht deshalb so häufig die Rede, weil es sie tatsächlich gibt, sondern weil diese Geschichten dazu da sind, um Produkte zu verkaufen und im Geschäft zu bleiben. In vielen Ländern nimmt die automatisierte Entscheidungsfindung – etwa bei der Bestimmung gefährdeter Kinder, Predictive Policing (vorhersagebasierter Polizeiarbeit), Massenüberwachung durch Gesichtserkennung – unaufhaltsam zu, obwohl sich die Beweise für ihre Ungenauigkeit häufen.[251] Für ihre Ausbreitung sind jedoch wirtschaftliche und psychologische Faktoren verantwortlich. Zu den wichtigsten psychologischen Beweggründen gehören der Glaube an die Objektivität von Algorithmen und die Furcht, hinter anderen Ländern oder Organisationen zurückzubleiben. Diese Mischung aus Überzeugungen und Ängsten treibt uns immer tiefer in die Fänge wirtschaftlicher und staatlicher Überwachung, selbst wenn diese voller Fehler steckt.

Sprechen Zahlen für sich selbst?

Zahlen, ob groß oder klein, können nicht sprechen. Zahlen sind wie Kinder, sie benötigen Aufmerksamkeit und Anleitung. Sie müssen verstanden werden. Das hat uns die Covid-19-Krise vor Augen geführt. Als Mitte Februar 2020 die Zahl der Neuinfektionen in China plötzlich von einem Tag auf den anderen in die Höhe schoss, geriet die Welt in Panik. Doch die Zahlen hatten einfach ihre Bedeutung verändert. China hatte die Kriterien gesenkt, nach denen Menschen als infiziert diagnostiziert wurden. Das geschah nicht länger auf der Basis von Labortests, sondern nur anhand von Symptomen und CT-Scans. Dadurch schnellte die Zahl neuer Infektionen nach oben. Es bewirkte außerdem, dass die Zahlen vorher und nachher nicht mehr vergleichbar waren. Als an einem Sonntag Mitte März 2020 die Zahl der Neuinfektionen zum ersten Mal fiel, hofften viele Deutsche, die Abwärtsspirale habe begonnen. Doch die Zahlen wurden täglich von den örtlichen Gesundheitsbehörden erfasst, die an Wochenenden nur teilweise besetzt und daher nicht in der Lage waren, alle Zahlen zu melden. Am Montag und Dienstag zogen die Zahlen wieder an, und die Hoffnungen sanken. Langsam begriff die Öffentlichkeit, dass die niedrigeren Infektionszahlen, die sich jedes Wochenende zeigten, auf eine Verzögerung der Meldungen und nicht auf eine verminderte Aktivität des Virus zurückzuführen waren. Die Zahl der neu gemeldeten Erkrankungen eines Tages entsprach nicht der Zahl der tatsächlichen Neuinfektionen dieses Tages.

Die erschreckendsten Zahlen, die 2020 veröffentlicht wurden, waren die Todesraten im Zusammenhang mit Covid-19. Das von der Johns Hopkins University veröffentlichte Covid-19-Dashboard gab die Zahlen für jedes Land an. Doch auch diese Zahlen waren kaum miteinander vergleichbar. Länder und sogar Regionen zählten ihre Toten auf unterschiedliche Weise. Italien, das als erstes Land der westlichen Welt schwer betroffen war, registrierte die Menschen, die gestorben waren und ein positives Covid-19-Testresultat hatten. Das heißt, die betreffende Person konnte an dem Virus oder aber mit dem Virus, jedoch an einer anderen Ursache gestorben sein. Außerdem ist die Todesursache bekanntermaßen schwer zu bestimmen, wenn der Verstorbene an mehreren schweren Erkrankungen litt. Während der Pandemie zeigten sich die Ausmaße dieses Problems, als die italienische Gesundheitsbehörde die Daten für die ersten 45 500 Todesfälle im Zusammenhang mit dem Coronavirus veröffentlichte.[252] 97 Prozent der Verstorbenen hatten eine oder mehrere schwere Vorerkrankungen, unter anderem 11 Prozent Schlaganfälle, 17 Prozent invasiven Krebs, 22 Prozent Demenz und 28 Prozent ischämische Herzerkrankungen. Nur drei Prozent hatten keine Komorbiditäten. Außerdem lag das Alter der Hälfte der Patienten, die starben, zwischen 82 und 109 Jahren. In vielen dieser Fälle war die Todesursache nicht klar – möglicherweise wirkten hier mehrere Ursachen zusammen.

Würden alle Länder die gleiche Definition verwenden – Tod und positiver Test –, könnte man zumindest die Zahlen miteinander vergleichen. Nehmen wir Belgien, wo trotz einer viel kleineren Bevölkerung die Gesamtzahl der mit dem Coronavirus einhergehenden Todesfälle höher als in Deutschland war. Wie sich herausstellte, hatten die belgischen Behörden beispielsweise auch ungetestete Menschen als Covid-19-Tote gemeldet, wenn diese in Altenheimen gestorben waren, in denen ein anderer Bewohner positiv getestet worden war. Das führt uns zu einer grundsätzlichen Schlussfolgerung: Zahlen muss man verstehen, bevor man sie addiert und vergleicht. Das gilt für alle Daten, ob groß oder klein.

Wo also ist Big Data nützlich? Wie oben erwähnt, ist es am hilfreichsten in Situationen, in denen Stabilität herrscht, die Daten zuverlässig sind und die Suche theoriegeleitet ist. Beispiele für diese Situation sind die Astronomie und die Analyse bereits bekannter Daten, etwa in Krankenakten – es sei denn, die Algorithmen werden missbraucht. Nicht ganz so vielversprechend ist Big Data in Situationen, die sich unerwartet verändern können und in denen man nach der Nadel in einem riesigen Heuhaufen von Daten sucht. Das ist beispielsweise der Fall bei der Vorhersage von Grippeausbreitung, Wechselkursen, gefährdeten Kindern oder menschlichem Verhalten im Allgemeinen.[253] In der Statistik beschreibt das Gesetz der großen Zahlen eine Situation, in der der Besitz von mehr Daten bedeutet, dass man bessere Vorhersagen machen kann. Danach gilt, je häufiger ein Experiment durchgeführt wird, desto größer ist die Erwartung, dass sich der Durchschnitt der Ergebnisse dem tatsächlichen Zustand der Welt annähert. Beispielsweise haben Sie bei Ihrer ersten Begegnung mit dem Roulette vielleicht das sprichwörtliche Anfängerglück, nachdem Sie auf »7« gesetzt haben. Doch je häufiger Sie wieder auf diese Zahl setzen, desto mehr ist zu erwarten, dass sich die relative Häufigkeit von Gewinnen und Verlusten der tatsächlichen Gewinnwahrscheinlichkeit angleicht, das heißt, irgendwann verpufft Ihr Glück. Entsprechend sammeln Autoversicherer riesige Datenberge, um die Wahrscheinlichkeit zu berechnen, dass Versicherungsnehmer Autounfälle verursachen werden – abhängig von Alter, Region oder Automarke. Sowohl die Glücksspiel- wie die Versicherungsbranche verlassen sich darauf, dass das Gesetz der großen Zahlen vereinzelte Verluste ausgleicht. Doch das funktioniert nur so lange, wie die Situation, mit der sie es zu tun haben, stabil bleibt.

Teil 2

ES STEHT VIEL AUF DEM SPIEL

Der oberste Grundsatz ist, daß Sie sich nichts vormachen dürfen – und sich selbst können Sie am leichtesten etwas vormachen.

RICHARD FEYNMAN[254]

7

TRANSPARENZ

Personenbezogene Daten müssen auf rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden.

ARTIKEL 5 (1A), EU DATENSCHUTZ-GRUNDVERORDNUNG[255]

Man sollte alles so einfach wie möglich machen, aber nicht einfacher.

ALBERT EINSTEIN ZUGESCHRIEBEN[256]

Eric Loomis aus Wisconsin wurde verhaftet, als man ihn in einem Auto fasste, das in eine Schießerei verwickelt gewesen war. Loomis bestritt, an der Schießerei beteiligt gewesen zu sein, bekannte sich aber schuldig in zwei minder schweren Anklagepunkten: dass er versucht habe, vor einem Verkehrspolizisten zu fliehen, und dass er ein Kraftfahrzeug ohne Einwilligung des Eigentümers gefahren habe.[257] Um das Strafmaß festzusetzen, sah sich der Richter wie üblich das Vorstrafenregister des Angeklagten an, aber auch einen Algorithmus zur Risikoeinschätzung, der Loomis ein hohes Rückfallrisiko attestierte. Weder der Angeklagte noch der Richter wusste, wie der Algorithmus das Risiko berechnet hatte: Der Algorithmus mit dem schönen Namen COMPAS (Correctional Offender Managing Profile for Alternative Sanctions) ist ein Geschäftsgeheimnis. Loomis ging in Berufung mit der Begründung, der Richter habe rechtsstaatliche Grundsätze verletzt, als er sich auf einen undurchsichtigen Algorithmus verließ, der möglicherweise Schwarze diskriminiere. Doch das Oberste Gericht von Wisconsin entschied gegen Loomis. Seine Begründung: Es hätte das gleiche Urteil unabhängig von dem Algorithmus verhängt, und geheime Algorithmen verstießen nicht gegen die Rechtsstaatlichkeit. Allerdings mahnte es gleichzeitig zur Vorsicht im Umgang mit solchen Programmen. In einer Schlagzeile der New York Times hieß es von Loomis »Durch den geheimen Algorithmus eines Softwareprogramms ins Gefängnis geschickt«.[258] Das war vielleicht ein wenig übertrieben, sprach aber ein grundsätzliches Problem an.

Ein Blackbox-Algorithmus ist ein Algorithmus, der nicht transparent ist, entweder weil er geheim gehalten wird oder weil er so kompliziert ist, dass ihn die Nutzer nicht verstehen können. Je nach Land verschieden, beeinflussen geheime Algorithmen das Leben vieler Bürger, indem sie unter anderem über Bewährung, Kaution, Strafmaß, Sozialhilfe, Kredite und Kreditwürdigkeit entscheiden. Wäre es angesichts ihrer mangelnden Transparenz, die unser intuitives Rechtsempfinden verletzt und unter Umständen mit rechtsstaatlichen Prinzipien nicht zu vereinbaren ist, nicht besser, sie ganz aus dem Gerichtssaal zu verbannen? Schließlich kann man Risikobewertungen auch durch transparentere Algorithmen bekommen. Bei ihnen lässt sich leichter feststellen, ob sie vertrauenswürdig sind und ob sie bestimmte Menschengruppen diskriminieren, was zur Folge hat, dass man sie leichter verbessern oder korrigieren kann, wenn sie versagen. Weder Angeklagte noch Richter sollten in der Frage, wie eine Risikoberechnung zustande kommt, im Dunkeln gelassen werden.

Blackbox-Justiz

Kriminelles Verhalten vorherzusagen ist schwierig, überraschend schwierig. Regelmäßig sagen Psychiater und Vertreter des Gesundheitswesens vor Gericht aus, wie wahrscheinlich es ist, dass ein Angeklagter in der weiteren Zukunft ein Gewaltverbrechen begehen wird. In einer Mitteilung an das Oberste Gericht der Vereinigten Staaten erklärte die American Psychiatric Association: »Nach bestem Wissen gehen wir davon aus, dass zwei von drei längerfristigen Vorhersagen von Psychiatern über Gewalttätigkeit in der weiteren Zukunft falsch sind.«[259] Wenn sie keine Gewalt vorhersagten, lägen sie immer noch in einem von zehn Fällen falsch. Trotz dieser ernüchternden Zahlen entschied der Oberste Gerichtshof, dass solche Gutachten vor Gericht zulässig seien, da sich die Gutachter »nicht immer irren – sondern nur in der überwiegenden Zahl der Fälle«.[260]

Neben Psychiatern hat man auch Richtern den Vorwurf der Unzuverlässigkeit gemacht. Eine berüchtigte israelische Studie kam in die Schlagzeilen, weil sie zu dem Schluss gelangte, Richter würden buchstäblich Bauchentscheidungen treffen. Am Anfang des Tages entschieden die Richter bei rund zwei Drittel der Anträge auf bedingte Entlassung positiv, ein Anteil, der im Laufe der Zeit auf fast null schrumpfte. Nachdem die Richter in einer Pause eine Mahlzeit oder einen Snack zu sich genommen hatten, betrug die Wahrscheinlichkeit für die nächsten Gefangenen, die an der Reihe waren, 66 Prozent, ein positives Urteil zu bekommen, aber diese Wahrscheinlichkeit ging ein zweites Mal in dem Maße gegen null, wie der Hunger der Richter wieder zunahm.[261] Nach der nächsten Essenspause wiederholte sich das Muster abermals. Doch die Autoren übersahen einen wichtigen Punkt: Die Reihenfolge der Gefangenen war nicht zufällig. Das Gericht versuchte alle Fälle aus einem Gefängnis vor einer Pause zu verhandeln, wobei nicht anwaltlich vertretene Gefangene, deren Aussichten schlechter waren als die der Gefangenen mit Anwälten, in der Regel zuletzt an der Reihe waren. Folglich ist die Geschichte von den irrationalen Richtern, die sich von ihren Hungergefühlen leiten lassen, ein Beispiel für eine Korrelation, die allzu rasch und ohne hinreichende Berücksichtigung anderer Faktoren als Kausalbeziehung interpretiert worden ist. Ungeachtet dessen sind auch Gutachter nur Menschen und können aus einer Vielzahl von Gründen zu falschen Urteilen gelangen. Seit fast einem Jahrhundert berichten Kriminologen, dass Arme, People of Color und andere vulnerable Bevölkerungsgruppen ungerecht zu Haftstrafen verurteilt werden.[262]

Hier kommt die KI ins Spiel. Kommerzielle Unternehmen warnen vor der Fehlbarkeit menschlicher Urteile und drängen uns, lieber der Software als Menschen zu vertrauen. Die Begründung erscheint einleuchtend. Zuerst könnten die Algorithmen dazu beitragen, die Entscheidungen von Richtern zu verbessern. Schließlich erzählt man uns ja, dass ein Algorithmus unparteiisch ist und seine Einschätzungen niemals eines leeren Magens wegen abändern würde. Später – mit größerer Rechenleistung ausgestattet – könnten die Blackboxes die Richter ablösen und in Windeseile Freisprüche oder auch Verurteilungen produzieren, denen die Dauer der Haftstrafe gleich beiliegt. In einem letzten Schritt könnte das Programm auch andere Aufgaben wie Zivilrechtsverfahren übernehmen, die jahrelange Überlastung der Gerichte beenden und Millionen Richter, Verteidiger und Staatsanwälte in den Vorruhestand schicken.

Nicht zuletzt würde die Blackbox-Justiz ein altes, hartnäckiges Problem lösen, über das sich selbst Juristen beklagen: Es gibt zu viele Anwälte. Eine Flut von schlechten Witzen über Rechtsanwälte zeugt davon:[263]

Frage: Warum hat der Hai den Anwalt nicht gefressen?

Antwort: Solidarität unter Kollegen.

Frage: Was sind fünf Anwälte auf dem Meeresboden?

Antwort: Ein guter Anfang.

Scherz beiseite, wir sind schon auf dem besten Weg zur Blackbox-Justiz. In den Vereinigten Staaten werden jedes Jahr mehr als zehn Millionen Menschen verhaftet. Nach der Verhaftung muss ein Richter zunächst entscheiden, ob der Angeklagte bis zum Prozess auf freien Fuß gesetzt wird oder ob er in Gewahrsam bleibt. Zunehmend verlassen sich Justiz und Polizei bei der Risikobewertung auf Blackbox-Systeme, um vorherzusagen, wie groß die Wahrscheinlichkeit ist, dass ein Angeklagter zu einem Gerichtstermin erscheint, irgendwann in Zukunft rückfällig wird oder ein Gewaltverbrechen begeht. Allein der COMPAS-Algorithmus wurde an US-Gerichten mehr als eine Million Mal verwendet, um Richter bei Entscheidungen über Bewährung oder Haftstrafen zu unterstützen.[264] Man kann schwer sagen, wie viele Urteile auf diese Weise tatsächlich beeinflusst wurden, aber ich vermute, dass nicht jeder Richter wagt, der scheinbar genauen Risikobewertung eines Algorithmus zu widersprechen. Ist dieses Vertrauen in die Blackbox gerechtfertigt? Kann ein Rückfall-Algorithmus tatsächlich eine bessere Einschätzung liefern als erfahrene Richter?

Das Prinzip der stabilen Welt lässt eher darauf schließen, dass die Antwort »Nein« ist. In der Regel treffen Richter ihre Entscheidungen unter den Bedingungen beträchtlicher Ungewissheit. In diesen Situationen ist es unwahrscheinlich, dass komplexe Algorithmen Erfolg haben. Einfache Algorithmen können sich hier als ebenso geeignet erweisen und haben den zusätzlichen Vorteil, transparent zu sein. Aber das ist eine Hypothese. Schauen wir uns die Fakten an.

Otto Normalverbraucher kann es genauso gut

Der COMPAS-Algorithmus verwendet bis zu 137 Merkmale eines Angeklagten und sein Vorstrafenregister, um vorherzusagen, ob der Angeklagte innerhalb der nächsten zwei Jahre ein Vergehen oder Verbrechen verüben wird. Wie exakt ist der Algorithmus? Um das herauszufinden, könnte man seine Vorhersagen mit denen von Rechtsexperten vergleichen, falls es eine solche Studie gäbe. Oder man legt die Latte niedriger und misst den Algorithmus an der Meinung normaler Menschen, die absolut keine Erfahrung in der Rechtsprechung haben. Eine solche Studie gibt es.[265] Die verantwortlichen Forscher warben über Amazon Mechanical Turk, einen Crowdsourcing Service, vierhundert Leute an. Auf dieser Plattform kann jeder etwas Geld für die Teilnahme an wissenschaftlichen Studien verdienen. Alle Teilnehmer erhielten kurze Profile von fünfzig echten Angeklagten (wobei sie nur sieben Merkmale wie Alter und Geschlecht der mehr als 130 von COMPAS verwendeten Merkmale enthielten) und sollten nun vorhersagen, welcher der Angeklagten in den folgenden zwei Jahren rückfällig werden würde oder nicht. Wir dürfen davon ausgehen, dass nur wenige der Teilnehmer besonders motiviert waren, viel Zeit auf die Fälle zu verwenden: Für alle fünfzig Vorhersagen bekamen sie lediglich einen Dollar, zuzüglich eines kleinen Bonus, wenn ihre Vorhersagen richtig waren. Infolgedessen haben wohl die meisten dieser Unterbezahlten ihre Aufgabe so rasch wie möglich erledigt. Die Ergebnisse verschlugen den Juristen und den Autoren der Studie die Sprache.[266] COMPAS hatte das Verhalten von 65 Prozent der Angeklagten richtig vorhergesagt und sich bei 35 Prozent geirrt (Fehlalarme und nicht erkannte Rückfälle); die Normalbürger, die so gut wie nichts über Rückfallkriminalität wussten, hatten fast ebenso häufig recht.[267] Und nimmt man stattdessen die Mehrheitsentscheidung von zwanzig dieser Leute, dann haben diese 67 Prozent richtig vorhergesagt. Das Ergebnis ist nicht auf COMPAS beschränkt. Eine Untersuchung dieses und acht weiterer Algorithmen zur Risikobewertung zeigt, dass die Genauigkeit aller neun zu wünschen übrig lässt.[268]

Halten wir einen Augenblick inne und vergegenwärtigen uns, was das bedeutet. Nehmen wir an, Sie stehen vor Gericht. Ein Blackbox-Algorithmus teilt dem Richter mit, bei Ihnen bestehe das große Risiko, dass Sie eine weitere Straftat verübten. Wird der Richter darauf hören? Die Wahrscheinlichkeit dürfte hoch sein. Nun stellen Sie sich vor, Ihrem Richter wird stattdessen gesagt, der größere Teil von zwanzig Menschen auf Amazon Mechanical Turk glaube, Sie stellten ein hohes Risiko dar. Welcher Richter würde auf Entscheidungen vertrauen, die von unqualifizierten Leuten in wenigen Sekunden online getroffen wurden? Obwohl wir gesehen haben, dass das kostspielige Risikobewertungswerkzeug keine besseren Ergebnisse erzielte als Laien, verleiht ihm sein Blackbox-Charakter eine mystische Aura von Macht. Er verhindert auch, dass Verantwortliche sich fragen, wie genau der Algorithmus eigentlich ist.

Transparente Justiz

Blackbox-Algorithmen haben eine leidenschaftliche Debatte ausgelöst, in der es um die Frage ging, ob sie bestimmte Gruppen wie Arme oder People of Color benachteiligen. Doch es gibt ein noch grundsätzlicheres Problem – die Transparenz. Ohne Transparenz lässt sich kaum feststellen, ob ein Algorithmus fair ist oder nicht. Beispielsweise versuchte ProPublica den COMPAS-Algorithmus zu rekonstruieren und gelangte zu dem Urteil, er sei ethnisch diskriminierend, während andere Forscher zu der entgegengesetzten Schlussfolgerung kamen.[269] Mangelnde Transparenz verträgt sich auch nicht mit der Vorstellung, die viele Menschen von Recht und Würde haben. Die meisten dieser Probleme ließen sich durch die Verwendung eines transparenten Algorithmus vermeiden.

Entscheidungslisten stellen eine Art von einfachen, transparenten Algorithmen dar, die seit Langem existieren. Der CORELS-Algorithmus benutzt maschinelles Lernen, um solche Listen aus den Daten früherer Fälle mit kristallklarer Logik zu erzeugen.[270] Nehmen wir an, Sie müssten vorhersagen, ob ein Angeklagter in den nächsten zwei Jahren wieder verhaftet wird. Die Entscheidungsliste sieht wie folgt aus: Wenn der Angeklagte zwischen 18 und 20 Jahre alt und männlich ist, dann sage Verhaftung voraus. Wenn der Angeklagte zwischen 21 und 23 ist und zwei bis drei frühere Straftaten aufweist (gleich welches Geschlecht), dann sage auch Verhaftung voraus. Wenn nicht, dann prüfe, ob der Angeklagte mehr als drei frühere Straftaten aufweist. Wenn ja, dann sage Verhaftung voraus. In allen anderen Fällen sage keine Verhaftung voraus (Abbildung 7.1).

WENN

Alter 18–20 Jahre und Geschlecht männlich

DANN sage Haft voraus (binnen 2 Jahren)

SONST WENN

Alter 21–23 Jahre und 2–3 Vorstrafen

DANN sage Haft voraus

SONST WENN

mehr als 3 Vorstrafen

DANN sage Haft voraus

SONST

sage keine HAFT voraus

ABBILDUNG 7.1. Ein transparenter Algorithmus für die Vorhersage, ob ein Angeklagter innerhalb der nächsten zwei Jahre verhaftet wird (von CORELS generiert). Die Kombination dieser vier Regeln bezeichnet man als Entscheidungsliste.

Nur Alter, Geschlecht und frühere Verurteilungen finden Eingang in die Entscheidungsliste. Daran ist nichts Geheimnisvolles, keine in einer Blackbox verborgene Kristallkugel. Die Liste zieht nur die wichtigsten Merkmale heraus und legt die Regeln genau fest. Trotz ihrer Einfachheit sagt die Entscheidungsliste mit nur drei Merkmalen Haftstrafen ebenso genau voraus wie COMPAS mit seinen bis zu 137 Merkmalen. Die Beobachtung, dass Blackbox-Algorithmen für die Vorhersage künftiger Haftstrafen nicht genauer sind als transparente und einfache Algorithmen, ist eher die Regel als die Ausnahme.[271]

Die Entscheidungsliste verdeutlicht, was ich mit Transparenz meine. Der Algorithmus wird nicht geheim gehalten und ist verständlich:

Ein Algorithmus ist für eine Nutzergruppe transparent, wenn sie ihn verstehen, erinnern, anderen beibringen und ausführen kann.

Wenn Sie die Entscheidungsliste betrachten, wissen Sie genau, wie die Vorhersage zustande kommt. Entscheidungslisten erhöhen die Transparenz, erleichtern eine Überprüfung auf potenzielle Diskriminierung, vermeiden die Kosten für geheime Algorithmen und entmystifizieren das Verfahren. Im vorliegenden Fall ist die einfache Liste ebenso gut oder schlecht wie der komplexe Algorithmus. Doch ein Richter, der gerne Algorithmen als Entscheidungshilfen in Anspruch nimmt, kann diese Listen zumindest leicht verwenden und ihre Grenzen verstehen.

Ein anderes transparentes Werkzeug ist unter dem Namen Public Safety Assessment (PSA – Bewertung der öffentlichen Sicherheit) bekannt. Es soll den Richtern bei der Entscheidung helfen, ob ein Angeklagter vor dem Prozess auf freien Fuß gesetzt werden kann. Um vorherzusagen, wie groß das Risiko ist, dass der Angeklagte nicht zum Prozess erscheint, braucht das Programm nur vier Merkmale (Abbildung 7.2). Bei den ersten drei Merkmalen bringt ein »Ja« jeweils einen Risikopunkt, beim letzten Merkmal – »früheres Nichterscheinen während der letzten beiden Jahre« zwei Risikopunkte; vier Risikopunkte werden fällig, wenn der Angeklagte innerhalb dieses Zeitraums zweimal oder öfter nicht zum Prozess erschienen ist. Angeklagte und Richter können unschwer erkennen, welche Merkmale berücksichtigt und wie sie gewichtet werden. Im Internet können sie dann nachsehen, wie die endgültige Risikobewertung berechnet wird.[272] Mit unterschiedlichen Zusammenstellungen von Merkmalen prognostiziert die PSA auch neue Straftaten, etwa ein Gewaltdelikt, vor dem Prozess des Angeklagten. Wie die Entscheidungsliste (aber anders als COMPAS) ist der Algorithmus nicht kommerziell.

Merkmale

Risikopunkte für »Ja«

Anhängige Klagen zur Zeit der Haft?

1

Frühere Verurteilung?

1

Früheres Nichterscheinen, älter als zwei Jahre?

1

Früheres Nichterscheinen während der letzten zwei Jahre?

einmal: 2
öfter: 4

ABBILDUNG 7.2: Public Safety Assessment (PSA) ist ein transparenter Algorithmus zur Risikobewertung. Mithilfe von vier Merkmalen wird das Risiko geschätzt, dass ein Angeklagter nicht zu seinem Gerichtstermin erscheint. Wenn die Antwort bei einer der vier Fragen »Ja« lautet, wird ihm die entsprechende Anzahl von Risikopunkten zugewiesen.

Die Logik der PSA ähnelt der des Zahlen-Sie-wie-Sie-fahren-Algorithmus (Abbildung 4.3): ein Punktsystem mit wenigen Merkmalen, die mit einfachen Zahlen bewertet werden. Wie die Telematik-Kfz-Versicherung ermöglicht transparente Risikobewertung den Angeklagten, ihr Verhalten anzupassen, beispielsweise indem sie darauf achten, keinen Gerichtstermin zu verpassen. Wenn der Algorithmus geheim bleibt, haben sie diese Möglichkeit nicht, ihr Verhalten zum Besseren zu verändern. Geschäftsgeheimnisse sind ein Grund, der die Kunden daran hindert, einen Algorithmus zu verstehen, aber nicht der einzige. Ein anderer Grund ist Komplexität. Selbst wenn ein Algorithmus veröffentlicht wird, kann er so komplex sein, dass Laien und Fachleute kaum erkennen können, wie eine Entscheidung getroffen oder eine Bewertung errechnet wird. Transparente Algorithmen sind nicht auf Entscheidungslisten oder Punktsysteme beschränkt; andere Möglichkeiten von psychologischer KI beschreibe ich in diesem Buch.[273]

Transparenz hat viele Tugenden. In Notfallsituationen ist es etwa wichtig, dass Mediziner, Feuerwehrleute und andere Helfer leicht erinnerbare Triage-Regeln haben, die sie rasch und effektiv ausführen können. Mit Transparenz lässt sich auch bestimmen, ob in einen Algorithmus Vorurteile wie Rassismus eingeflossen sind. Wir können auf einen Blick erkennen, dass weder die PSA noch die Entscheidungsliste oben das Merkmal der ethnischen Zugehörigkeit enthält. Allerdings können wir die Möglichkeit nicht gänzlich ausschließen, dass die anderen Merkmale, die sie berücksichtigen, mit der ethnischen Herkunft korreliert sind. Aber auch hier lässt sich dank der Transparenz leichter feststellen, ob dem so ist, etwa wenn eine der vier Fragen gewesen wäre, ob Sie am Kottbusser Tor in Berlin oder in einem anderen sozialen Brennpunkt wohnen. Doch wenn es mehr als hundert Merkmale sind, kann die ethnische Herkunft mit vielen von ihnen korrelieren, sodass es zu einer Herkulesaufgabe wird, einen verborgenen Bias zu erkennen.

Transparenz allein kann jedoch nicht garantieren, dass die resultierenden Bewertungen genauer sind als die der Blackbox-Algorithmen; in beiden Fällen wohnt den tatsächlichen Ergebnissen eine prinzipielle Ungewissheit inne. Bei der PSA stellen die Studien überwiegend fest, dass die Vorhersagen moderat bis gut ausfallen.[274] Wichtiger ist die Frage, ob die Urteile der Richter mit der Hilfe eines Algorithmus zur Risikobewertung tatsächlich besser sind als jene, zu denen sie ohne solche Hilfe gelangt wären, und wie sie im Vergleich zu anderen Instrumenten abschneiden. Als ich nach Antworten suchte, war das auffälligste Ergebnis der Mangel an Studien, die diese Fragen stellten.[275]

Predictive Policing

Predictive Policing (vorhersagebasierte Polizeiarbeit) ist als Patentlösung angepriesen und vom Time Magazine zu den besten 50 Erfindungen des Jahrs 2011 gezählt worden.[276] Big-Data-Unternehmen versprechen, dass ihre Algorithmen in der Lage seien, künftige Tatorte zu lokalisieren und Personen mit einem hohen Straffälligkeitsrisiko zu identifizieren. Dadurch würde die Polizeiarbeit objektiver und effizienter werden. Polizisten müssten nicht mehr auf Streife gehen, um unmittelbar zu beobachten, was vor sich geht, sondern könnten im Revier bequem am Schreibtisch sitzen und schauen, was das Programm sage. Chicago und Los Angeles gehörten zu den Ersten, die Programme kauften und der Öffentlichkeit als Prestigeprojekt präsentierten.[277]

2012 führte die Chicagoer Polizei Software ein, um zu bestimmen, wer wahrscheinlich Verursacher oder Opfer von Straftaten werden würde. Die Software bewertete die Menschen, indem sie eine Unzahl von Faktoren wie beispielsweise das Strafregister berücksichtigte. Das Motto lautete: »Wir wissen, wer sie sind.«[278] Durch dieses Wissen landeten binnen weniger Jahre rund 400 000 Personen mitsamt ihrer Risikobewertung auf einer Liste. Diese wurde weder einer unabhängigen Prüfung noch einer Erfolgskontrolle unterzogen. Acht Jahre später beerdigte die Chicagoer Polizei das Programm in aller Stille, nachdem Forscher von der RAND Corporation in einem Bericht zu einem vernichtenden Urteil gekommen waren: Es gebe keinen Beleg dafür, dass das Programm die Gewaltdelikte eingeschränkt hätte. Stattdessen lösten die undurchsichtigen inneren Prozesse der Software ein hohes Maß an Furcht und Misstrauen in der Öffentlichkeit aus.

Schon 2011 hatte die Polizei von Los Angeles die Operation LASER gestartet, um gewalttätige Wiederholungstäter und Gangmitglieder »mit laserartiger Präzision« ins Visier zu nehmen. Man malte sich aus, Polizisten würden so präzise wie hochqualifizierte Chirurgen arbeiten können, die mittels Lasertechnologie Tumoren entfernen.[279] Abermals wurden Menschen auf eine Liste gesetzt, und irgendwie kam es, dass 89 Prozent von ihnen nicht weiß waren, was darauf schließen ließ, dass die Software die ethnischen Vorurteile weißer Amerikaner widerspiegelte. Acht Jahre nach der Einführung von LASER veröffentlichte das Los Angeles Police Department einen eigenen niederschmetternden Bericht über die Unzuverlässigkeit der »laserartigen« Risikobewertungen und unzureichend ausgebildetes Bedienungspersonal. Das Programm wurde beendet.

Trotzdem unternehmen Firmen eine aggressive Marketingtour in der übrigen Welt und behaupten, ihre Software könne die Polizeiarbeit objektiv, transparent und effektiv machen. Und diese Verkaufsstrategie ist oft erfolgreich. Mit Stand Anfang 2020 befindet sich Software in Bayern, Berlin, Hessen und Nordrhein-Westfalen im Einsatz, in Niedersachsen und Sachsen wird sie erprobt.[280] In Deutschland verzichtet man auf die Erstellung von Personenlisten und versucht dagegen Ort und Zeit von Straftaten vorherzusagen. Nicht jeder nimmt diese Versprechen für bare Münze. Die Hamburger Polizei lehnte es ab, auf die Marketing-Behauptungen hin Predictive-Policing-Software zu kaufen. Stattdessen machte sie ihre Hausarbeit und analysierte, wie gut die Software wirklich ist. Die Polizeibehörde gelangte zu dem Schluss, dass Predictive Policing die überhöhten Erwartungen nicht erfüllen kann, und entschied sich gegen einen Erwerb der Software.[281]

Warum gelingt es Predictive Policing nicht, seine Versprechen einzulösen? Eine typische Antwort lautet, es seien mehr Daten erforderlich. Tatsächlich sind für die Vorhersage von Straftaten ebenso viele Informationen verfügbar wie für die Vorhersage von Rückfallquoten oder Grippeerkrankungen. Die Antwort betrifft vielmehr die Ungewissheit, mit der das kriminelle Verhalten von Menschen behaftet ist. Wer ein Verbrechen begeht und wo er es verübt, wird von zu vielen Faktoren bestimmt, und es ist nicht möglich, diese Faktoren anhand früherer Fälle zu identifizieren und künftiges Verhalten vorherzusagen. Die Daten könnten »schmutzig« sein, kontaminiert von ethnischen oder anderen Bias, die zu falschen Risikobewertungen und negativen Auswirkungen auf die Betroffenen führen. Die Fälle von Chicago und Los Angeles hatten den positiven Aspekt, dass Journalisten, zivilgesellschaftliche Organisationen und letztlich öffentliche Gremien in gemeinsamer Anstrengung den Abbruch dieses kommerziellen, pseudowissenschaftlichen Projekts erzwangen. In Hamburg wurde es sogar fallengelassen, bevor es je begonnen hatte.

Eine Alternative zu komplexen Blackbox-Algorithmen in diesen oder ähnlichen Situationen wäre die psychologische KI. Nehmen wir den Fall eines Serientäters, der während der letzten Wochen in einer Stadt sechs bewaffnete Raubüberfälle verübt hat. Wo soll die Polizei mit der Suche nach dem Täter beginnen? Die psychologische KI analysiert die Intuition von Fachleuten und verwandelt ihre Heuristiken in Algorithmen. Beispielsweise wissen Fachleute, dass die meisten Straftäter in dem Gebiet leben, in dem die Verbrechen stattfinden. Aus dieser Intuition wird die Kreis-Heuristik, die vorhersagt, dass der Straftäter innerhalb eines Kreises lebt, dessen Durchmesser durch den Abstand zwischen den beiden am weitesten voneinander entfernten Tatorten definiert wird. Auf diese Strategie gestützt, könnte die Polizei mit der Suche im Zentrum des Kreises beginnen und sich von dort aus nach außen arbeiten. Als Wissenschaftler die Kreis-Heuristik überprüften, stellte sich heraus, dass deren Vorhersagen ebenso gut oder sogar noch besser waren als die kommerziellen Blackbox-Algorithmen, vor allem wenn die Zahl der Serien-Straftaten kleiner als zehn war, was gewöhnlich der Fall ist.[282] Als anschließend Polizeibeamte systematisch in der Verwendung der Kreis-Heuristik unterwiesen wurden, übertrafen sie bei der Lokalisierung der Täter die komplexen Algorithmen.[283]

Wie bei der Vorhersage von Rückfällen kann die psychologische KI in Form von einfachen Regeln wie der Kreis-Heuristik transparente Alternativen zu den überkomplizierten und undurchsichtigen Algorithmen des geografischen Profilings bieten. In meiner eigenen Forschung habe ich festgestellt, dass einfache Heuristiken im Vergleich zu komplexen Algorithmen bei Vorhersagen über die Ergebnisse medizinischer, finanzieller und anderer ungewisser Vorgänge oft genauso gut oder besser abschneiden.[284] Mit solchen Heuristiken lassen sich Expertenentscheidungen verbessern, während sie Experten zugleich ermöglichen, ihre Logik zu verstehen.

Algorithmen können Diskriminierung verfestigen

Selbst ihre enthusiastischsten Anhänger geben im Allgemeinen zu, dass KI ein Bias-Problem hat. Diskriminierung nach Geschlecht oder ethnischer Zugehörigkeit wird von KI-Systemen berichtet, die von Polizeibehörden, Gerichten, Arbeitgebern, Wirtschaftsauskunfteien und anderen genutzt werden. Personalisierte Algorithmen boten weißen Männern die besser bezahlten Stellen an, und Googles Bildklassifikationssystem kam, wie erwähnt, in Verruf, weil es ein dunkelhäutiges Paar als »Gorillas« identifizierte. KI ist angeblich neutral, objektiv und datenbasiert, wie kann es da unfair gegenüber Frauen, People of Color oder anderen marginalisierten Gruppen sein?

Um die Frage zu beantworten, müssen wir verstehen, was Diskriminierung ist und was nicht. Nehmen wir die Wiener Philharmoniker, eines der besten Orchester der Welt. Ein Musikliebhaber kann es beim allerersten Akkord an seinem opulenten Klang erkennen. Doch auch ein Musikbanause könnte das schlicht mit den Augen statt den Ohren erkennen, aufgrund der geringen Zahl von Musikerinnen. Erst 1997 und unter enormem öffentlichem Druck gewährte man einer Frau, einer Harfenistin, die volle Mitgliedschaft (sie spielte schon seit Jahrzehnten bei geringer Gage im Orchester und wurde bald darauf pensioniert). Der Umstand, dass weltweit mehr Männer als Frauen von Orchestern engagiert wurden, ist an sich noch kein Beweis für Diskriminierung. Es könnte ja sein, dass sich unter den besten zur Verfügung stehenden Musikern und Musikerinnen mehr Männer befinden. Doch wenn Männer gegenüber Frauen, die genauso gut oder besser spielen, bevorzugt werden, ist das ein Beweis für Diskriminierung. Als man ein blindes Probespiel hinter Vorhängen einführte, sodass die Juroren das Geschlecht der Kandidaten nicht sehen konnten, wurde für jeden offensichtlich, dass die Orchester Frauen diskriminiert hatten. 2020 war der Anteil der Frauen in den weltweit besten Orchestern auf 40 bis 45 Prozent angewachsen. In den 1970er Jahren hatte ihr Anteil noch bei 5 bis 10 Prozent gelegen.[285]

Wie menschliche Juroren können auch Algorithmen Frauen, People of Color oder andere marginalisierte Gruppen diskriminieren. Das lässt sich relativ leicht feststellen, wenn der Algorithmus transparent ist. Betrachten wir den Zahlen-Sie-wie-Sie-fahren-Algorithmus (Abbildung 4.3). Weder Geschlecht noch ethnische Herkunft gehören zu den Merkmalen, die er berücksichtigt; daher gibt es keinen Beleg dafür, dass der Algorithmus diskriminiert. Das Fehlen von Informationen über Geschlecht oder ethnische Herkunft entspricht einem blinden Probespiel, bei dem diese Informationen ja auch nicht vorliegen. Doch wenn es andere Merkmale gibt, die mit Geschlecht oder Ethnie korrelieren, etwa Einkommen oder Wohngegend, kann Diskriminierung durch die Hintertür Einlass finden – obwohl auch das leichter überprüft werden kann, solange der Algorithmus transparent ist. Sind die Algorithmen jedoch geheim und verwenden sie eine Vielzahl von Merkmalen, wie es bei COMPAS der Fall ist, ist eine Voreingenommenheit schwerer zu entdecken. Die Verhinderung von Diskriminierung wäre ein guter Grund, um alle sensiblen Algorithmen transparent zu machen.

Algorithmen, deren mangelnde Transparenz struktureller Art ist, wie im Fall der tiefen künstlichen neuronalen Netze, werfen ein größeres Problem auf. Hier liegt der Grund der Diskriminierung nicht darin, dass Geschlecht oder Ethnie als Merkmal verwendet werden. Die Merkmale werden noch nicht einmal vom Programmierer bestimmt; das neuronale Netz findet sie heraus. Stattdessen können die Daten der Ursprung der Diskriminierung sein. Betrachten wir noch einmal die Philharmonieorchester. Nehmen wir an, ein Tech-Unternehmen trainiert ein tiefes neuronales Netzwerk darauf, die besten Mitglieder für ein Orchester zu finden. Es gibt die Profile von einhunderttausend Männern und Frauen ein, die sich in den letzten fünfzig Jahren um einen Platz in den besten Orchestern der Welt bemüht haben, und liefert außerdem die Information, ob sie eingestellt wurden oder nicht. Das Netz wird rasch entdecken, dass männlich zu sein ein starker Vorhersagefaktor ist, und den Bias der Vergangenheit reproduzieren.

Diesem Phänomen begegnen wir auch auf anderen Gebieten, wo Frauen bisher unterrepräsentiert waren. Beispielsweise hat Amazon mittels maschinellem Lernen einen Algorithmus konzipiert, der Bewerber, männlich oder weiblich, für Stellungen in der Softwareentwicklung und anderen Jobs der Digitalbranche auf der Grundlage ihrer Profile bewertet.[286] Man stellte sich vor, das System mit einigen hundert Profilen zu füttern und dann die fünf besten zu erhalten, die dann eingestellt würden. Zu ihrer Überraschung »mochte« die Maschine keine Frauen. Abermals befand sich der Bias in den Daten, der die Profile aller Bewerber der letzten zehn Jahre enthielt, wobei die Männer die weit überwiegende Mehrheit stellten. Als man die Vornamen aus den Bewerbungen entfernte, brachte das nicht viel; die KI fand andere Wege, etwa indem sie das Geschlecht aus einem Abschluss an einem reinen Frauencollege schloss.

Diskriminierung findet sich auch in Gesichtserkennungssystemen, die darauf trainiert sind, männliche und weibliche Gesichter zu unterscheiden. Unter anderem werden diese Systeme dazu verwendet, Straftäter auf Videoaufnahmen zu identifizieren; Irrtümer können zu einer strafrechtlichen Anklage führen. In einer Studie legte man drei kommerziellen Systemen von Microsoft, IBM und Face++ Porträtfotos von Männern und Frauen mit hellerer oder dunklerer Hautfarbe vor.[287] Klassifizierten die Systeme ein Gesicht als »männlich«, machten sie nur 0 bis 1 Prozent Fehler, wenn die Männer eine hellere Haut hatten. Hatten sie jedoch eine dunklere Hautfarbe, stieg die Fehlerquote – je nach System – auf 1 bis 12 Prozent. In den Fällen, in denen die Systeme ein Gesicht als »weiblich« klassifizierten, irrten sie sich in 2 bis 7 Prozent der Fälle, wenn die Frau eine hellere Haut hatte, die Fehlerrate lag jedoch bei 21 bis 35 Prozent, wenn sie dunkelhäutiger war. Jedes System machte mehr Fehler bei weiblichen als bei männlichen Gesichtern und mehr Fehler bei dunklerer als bei hellerer Haut.

Woher kommt der Bias? Er steckt bereits in den Bildern, die zum Training der Systeme verwendet wurden. Ungefähr die Hälfte der Fotos zeigte weiße Männer, der Rest überwiegend weiße Frauen, während Personen mit dunklerer Haut, besonders Frauen, selten vertreten waren.

Bald nach Veröffentlichung der Studie verbesserten die drei Unternehmen, die überprüft worden waren, ihre Systeme und verringerten den Bias. Doch selbst danach hatte das IBM-System immer noch eine Fehlerquote von 17 Prozent bei Frauen mit dunklerer Haut. IBM löste sein Diskriminierungsproblem sehr einfallsreich. Es zählte einfach nicht alle Fehler, sondern nur diejenigen, bei denen sich das System zu 99 Prozent sicher war, dass die Antwort richtig war. Jetzt konnte es eine Fehlerquote von nur 3,5 Prozent vermelden.[288] Noch interessanter ist allerdings der Umstand, dass die Studie keinerlei Einfluss auf Firmen hatte, die dort nicht namentlich erwähnt wurden, beispielsweise auf Amazon und Kairos, die weiterhin hohe Fehlerquoten bei dunkelhäutigeren Frauen verzeichneten, weil sie sie mit Männern verwechselten. Im Englischen sagt man »Naming is shaming«. Wenn Firmen nicht beim Namen genannt werden, unternehmen sie nichts.

Neuronale Netze können Diskriminierung verstärken

Verzerrte Daten sind der Kern der Diskriminierung, aber tiefe neuronale Netze können das Problem verschlimmern. In einem Fall wurde ein neuronales Netz mit Zehntausenden Bildern menschlicher Aktivitäten gefüttert und darauf trainiert, die Tätigkeiten und das Geschlecht der Porträtierten zu bestimmen.[289] Diese Bilder hatten einen typischen Gender-Bias: Sie zeigten mehr Männer bei Tätigkeiten im Freien – beispielsweise Autofahren und Schießen – und mehr Frauen an der Mikrowelle und beim Einkaufen. Als das Netz dann Geschlecht und Tätigkeiten an einem neuen umfangreichen Bildersatz bestimmen sollte, verstärkte sich der Bias. Als es sich bei der Tätigkeit beispielsweise um Kochen handelte, waren real 67 Prozent der Bilder solche von Frauen. Das Netz schloss jedoch, dass der Frauenanteil 84 Prozent betrage, das heißt, es irrte sich bei rund der Hälfte der kochenden Männer.

Wie kommt es dazu, dass ein Netz die Diskriminierung verstärkt? Hier gibt es eine überraschende Antwort. Forscher bewerten die Leistung eines Netzwerks nach der Zahl der richtigen Antworten, nicht nach dem Ausmaß der Diskriminierung. Tatsächlich kann das Netzwerk seine Performance erhöhen, indem es die Diskriminierung erhöht. Sagen wir, ein Netzwerk weiß nichts, abgesehen davon, dass zwei Drittel der Köche weiblich sind. Um die besten Ergebnisse zu erhalten, muss es annehmen, dass jeder am Herd eine Frau ist: Somit wären zwei Drittel der Antworten richtig. Das ergibt zugleich maximale Diskriminierung. Um diese zu vermeiden, könnte das Netz bei zwei Dritteln der Bilder nach dem Zufallsprinzip entscheiden, dass hier Köchinnen zu sehen sind und dass es sich in einem Drittel der Fälle um männliche Köche handelt. In diesem Fall wären aber nur 56 Prozent der Antworten richtig.[290] Im Allgemeinen gilt, wenn es bereits Diskriminierung in den Daten gibt, führt deren Verstärkung zu besseren Ergebnissen als der Versuch, »fair« zu sein.

KI steht nicht allein mit seinem Diskriminierungs-Problem. Die Belegschaft in den Tech-Unternehmen, die jeden Aspekt unseres Lebens umkrempeln wollen, ist überwiegend männlich. Die Zeitschrift Wired berichtete, dass auf führenden Maschinenlernkonferenzen nur 12 Prozent der Beitragenden Frauen waren und dass der Frauenanteil bei Googles Maschinenlernforschern nur zehn Prozent beträgt.[291] Das ist ein Schritt rückwärts. Erinnern wir uns, Anfang der 1980er Jahre waren fast 40 Prozent der Informatikabsolventen Frauen. Dr. Timnit Gebru, leitende Forscherin bei Google und Mitautorin der obigen Studie, gehörte zu den 1,6 Prozent der Google-Mitarbeiter, die Women of Color sind. In einer neuen Studie untersuchte sie Googles Sprachmodelle, die versuchen, sinnvoll wirkende Texte und Gespräche zu produzieren. Sie zeigte, dass diese Gefahr laufen, die rassistische und sexistische Sprache im Internet zu reproduzieren, mit der sie trainiert werden.[292] Außerdem verbraucht dieses Training enorme Rechenleistung, was einen beträchtlichen Anstieg an Kohlendioxidemissionen bewirkt. All diese Aktivitäten nützen im Wesentlichen den finanziell gut gestellten Organisationen, während die Klimaveränderung zuerst die ärmeren Teile der Bevölkerung trifft. Als Googles Führungsriege den Bericht zu Gesicht bekam, beschloss sie, ihn zu zensieren, und entließ Gebru. Tausende von Google-Mitarbeitern und Unterstützern aus akademischen und zivilgesellschaftlichen Organisationen unterzeichneten einen Protestbrief, in dem sie kein Blatt vor den Mund nahmen: »Dr. Gebru gehört zu den wenigen Menschen, die sich von innen gegen das unethische und undemokratische Eindringen mächtiger und diskriminierender Technologien in unseren Alltag stemmen.«[293]

Uninformierte Einwilligung

Im Gesundheitswesen bezeichnet der Begriff »informierte Einwilligung« eine ideale Interaktion zwischen Ärzten und Patienten. Die Patienten werden auf verständliche Weise über die Behandlungsoptionen informiert, einschließlich ihrer Vor- und Nachteile, und gestatten dann den Ärzten, ihre bevorzugte Behandlungsform durchzuführen. Informierte Einwilligung umfasst mehr als die Unterzeichnung eines Formblatts oder das Anklicken von »Einverstanden«. Sie ist eine gemeinsame Entscheidungsfindung. In der zweiten Hälfte des 20. Jahrhunderts breitete sich dieses Ideal aus und löste die frühere Bevormundung ab, die vorsah, dass Ärzte entschieden und Patienten sich fügten – wenn ihnen denn überhaupt gesagt wurde, was mit ihnen gemacht werden sollte.[294] Informierte Einwilligung geht Hand in Hand mit menschlicher Würde und aufgeklärtem Bürgertum.

Die Verträge in Krankenhäusern sind Sonderfälle von Verträgen über Allgemeine Geschäftsbedingungen, auch als Nutzungsbedingungen bekannt. Wenn Sie sich ein Auto leihen, unterschreiben Sie auch einen Vertrag, der die Rechte und Pflichten jeder Partei festlegt. Um eine informierte Einwilligung zu ermöglichen, muss die Sprache verständlich, klar und knapp sein. Das von mir geleitete Harding-Zentrum für Risikokompetenz gehört zu den Organisationen, die dazu beitragen, dass Informationen über Risiken verständlich und wissenschaftlich abgesichert sind. Tatsächlich kann man feststellen, dass sich die Informationen, die von medizinischen Institutionen und anderen Organisationen geliefert werden, von Jahrzehnt zu Jahrzehnt verbessern.[295]

Doch im 21. Jahrhundert gibt es entschlossene Versuche, diese positive Entwicklung durch Online-Verträge wie Vereinbarungen über Nutzungsbedingungen und Vertraulichkeitsklauseln umzukehren. Haben Sie jemals versucht zu lesen, womit Sie sich bei einem Online-Vertrag einverstanden erklären? Ständig werden wir daran erinnert, die Allgemeinen Geschäftsbedingungen zu lesen, aber das ist leichter gesagt als getan. Manche Webseiten verlangen von Ihnen zum Beispiel Sign-in-Wrap-Vereinbarungen. Anders als Clickwrap-Verträge, bei denen Nutzer »Ich stimme zu« anklicken müssen, heißt es in den Sign-in-Wraps einfach, dass sie sich durch die Anmeldung mit dem Vertrag einverstanden erklären. Selbst wenn die Leser sich die Zeit nehmen würden, diese rechtlich verbindlichen Verträge zu studieren, könnten sie dann verstehen, auf was sie sich einlassen?

30 Tage im Jahr Datenschutzhinweise lesen

Im Gesundheitswesen lautet eine Faustregel, dass Einverständniserklärungen höchstens auf dem Niveau der achten Klasse abgefasst sein dürfen. Eine Analyse der 500 meistbesuchten US-Webseiten des Jahres 2018 – wie Amazon, Airbnb und Uber – ergab, dass das durchschnittlich Sign-in-Wrap auf dem Niveau der »fünfzehnten Klasse« geschrieben war, also in der Sprache wissenschaftlicher Zeitschriften. In 70 Prozent dieser Verträge war der durchschnittliche Satz länger als fünfundzwanzig Wörter.[296] Die Autoren der Studie schätzten, dass praktisch alle Verträge, genauer: 498 von 500, für Konsumenten wahrscheinlich unverständlich waren. Es hatte den Anschein, als seien die Verträge absichtlich so verfasst worden, dass die wenigen, die versuchen, sie zu lesen, schnell wieder aufgeben. Außerdem sind die Datenschutzerklärungen – die gesetzlich vorgeschrieben sind, wenn Nutzerdaten gesammelt werden – zu lang und zu zahlreich. Um eine durchschnittliche Datenschutzerklärung zu lesen, braucht man ungefähr 10 Minuten. Um alle Datenschutzerklärungen zu lesen, auf die man in einem Jahr stößt, benötigt man nach Schätzungen zweier Professoren der Carnegie Mellon University 30 volle Arbeitstage.[297] Mehr noch, es wird berichtet, dass einige Dienste sich über den Willen vorsichtiger Nutzer hinwegsetzen, das heißt, dass sie die Einstellung »Do not Track« (Nicht nachverfolgen) einfach ignorieren und ihnen ohne ihr Wissen weiterhin folgen.[298]

Wenn wir uns online einloggen, betreten wir das Land der uninformierten Einwilligung. Gleichzeitig machen uns die Gerichte haftbar, ob wir die AGB gelesen haben oder nicht. Das heißt, der Gesetzgeber erwartet von Konsumenten, dass sie Verträge lesen, verpflichtet die Anbieter aber nicht, diese verständlich zu formulieren.

Im Gesundheitswesen können Patienten »Nein« zu einer Behandlung sagen; im Internet können den Nutzern die Dienstleistungen verweigert werden, wenn sie die Bedingungen nicht annehmen. Wenn Sie sich nicht einverstanden erklären, dass Ihr intelligentes Bett Minute für Minute Ihre Daten – Bewegungen, Stellung, Herzfrequenz, Geräusche und andere Audiosignale – an Dritte überträgt, deren Identität nicht offenbart wird, wird Ihnen mitgeteilt, dass das Unternehmen weder Ihre Sicherheit garantieren noch Ihnen die gewünschten Leistungen und Dienste liefern kann. Sie fragen sich vielleicht, warum man keine intelligenten Betten, Thermostate, Kühlschränke und Fernseher besitzen kann, ohne dass diese persönliche Informationen an unbekannte Dritte schicken?

Nutzern informierte Einwilligung zu gewähren würde sich nachteilig auf den Profit auswirken. Das erklärt, warum viele Tech-Unternehmen wenig Lust verspüren, in verständlichen Worten zu erklären, was sie tun. Und es sind nicht nur Tech-Unternehmen, fast jeder, der im Internet Geschäfte macht, verdient an persönlichen Informationen.

Der One-Pager

Nur langsam macht die Gesetzgebung Anstalten, die Bürger vor diesem auf Undurchsichtigkeit, Täuschung und Verwirrung angelegten Wirtschaftszweig zu schützen. Dieses Zögern ist überraschend, denn geeignete Regulierung kann durchaus greifen. Nehmen wir die Praxis der überlangen und undurchsichtigen AGB und Datenschutzerklärungen. 1999 brauchte man nur zwei Minuten, um Googles Datenschutzerklärungen zu lesen. 2018 war die Lesezeit auf 30 Minuten angewachsen. Doch in diesem Jahr trat die Datenschutz-Grundverordnung der Europäischen Union in Kraft, woraufhin Google mit einer neuen Datenschutzerklärung reagierte, die man nicht nur in der Hälfte der Zeit lesen konnte, sondern die auch kürzer und verständlicher war.

Während meiner Mitwirkung im Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz gingen wir noch einen Schritt weiter und schlugen vor, den One-Pager zur Regel zu machen.[299] Die AGB sollten auf einer einzigen Seite mit maximal 500 Wörtern dargelegt werden (um kleine Schriftgrößen zu vermeiden) und die Sprache für Durchschnittsmenschen verständlich sein. Die Erklärung muss offenlegen, welche persönlichen Informationen gespeichert werden, an welche Dritte sie weitergegeben werden und wer unsere Daten, Bilder und Videos besitzt. Bislang sind einige wenige Unternehmen dem Vorschlag gefolgt und haben One-Pager eingeführt. Das Zeitalter der uninformierten Einwilligung lässt sich jedoch nur durch wirkliche Entschlossenheit auf Seiten des Gesetzgebers beenden. Um transparente One-Pager durchzusetzen, müssten Verträge, die diesen Bedingungen nicht genügen, von Gerichten als ungültig erachtet und die Urheber mit Geldstrafen belegt werden.

Warum verwenden wir Blackbox-Algorithmen, wenn wir es nicht müssen?

Im Sachverständigenrat erörterten wir viele wichtige Fragen. Sollten Verbraucher das Recht haben zu erfahren, warum ihnen ein Kredit verwehrt wird oder warum sie nicht zu einem Bewerbungsgespräch eingeladen werden? Sollten Wirtschaftsauskunfteien gezwungen sein, die Merkmale und Gewichte ihrer Algorithmen öffentlich preiszugeben – statt nur gegenüber Datenschutzbeauftragten? Sollte der Schutz von Geschäftsgeheimnissen Vorrang vor dem Recht der Bürger haben, die Bewertung ihrer Kreditwürdigkeit zu verstehen? Obwohl solche ethischen Fragen im Vordergrund standen, wurde ein Aspekt, wie ich rasch merkte, als gegeben hingenommen: dass komplexe Blackbox-Algorithmen notwendig sind. Die Vorstellung, dass transparente Regeln das Gleiche leisten könnten, war den meisten Regierungsvertretern völlig fremd.

Der Glaube an Komplexität und Undurchsichtigkeit

2018 veranstalteten das Analytics-Software-Unternehmen FICO, Google und verschiedene Universitäten einen prestigeträchtigen Wettbewerb mit dem Titel Explainable Machine Learning Challenge, in dem es also um erklärbares Maschinenlernen ging. Mit den Daten Tausender von Individuen einschließlich ihrer Kreditgeschichte – von FICO bereitgestellt – sollten die Teilnehmer ein kompliziertes Blackbox-Modell zur Vorhersage von Kreditausfällen entwickeln und die Blackbox erklären.[300] Wettbewerbe zwischen Algorithmen sind nichts Neues, aber dieses Projekt war eine Innovation, weil es die Erklärungsbedürftigkeit von komplexen Blackbox-Modellen ernst nahm. Trotzdem setzte der Wettbewerb noch stillschweigend voraus, dass die Vorhersage von Kreditausfällen komplexe Modelle benötige. Nur eines der teilnehmenden Teams, eine Forschungsgruppe der Duke University, entschied sich für einen radikal anderen Ansatz. Sie entwickelte und überprüfte Software, die verständlich ist und den Nutzern durch Visualisierungen ermöglicht, mit den Kreditfaktoren zu spielen und zu erkennen, wie diese die Entscheidungen über Darlehensanträge beeinflussen. Die von ihr entwickelte KI war nicht nur transparent, sondern sagte Kreditausfälle ebenso genau vorher wie neuronale Netze und andere komplexe Blackbox-Modelle. Das Team gewann den FICO Recognition Award, weil es »mit einem vollkommen transparenten, globalen Modell und einem nutzerfreundlichen Dashboard alle Erwartungen übertraf«.[301]

Der Wettbewerb belegt den traditionellen, aber falschen Glauben an zwei Überzeugungen:

Glaube an Komplexität: Komplexe Probleme brauchen immer komplexe Lösungen.

Glaube an Undurchsichtigkeit: Die genauesten Algorithmen müssen prinzipiell unverständlich sein.

Man verbinde diese beiden Überzeugungen, und man erhält den Glauben an das Genauigkeits-Transparenz-Dilemma: Je genauer der Algorithmus, desto weniger transparent wird er. Dieses Dilemma hält man weithin – und fälschlicherweise – für unumgänglich.[302] Es trifft auf wohldefinierte Spiele und andere stabile Situationen zu, aber nicht auf ungewisse Bedingungen. Wie das Siegerteam des Wettbewerbs zeigte, kann verständliche KI bei der Vorhersage von Kreditausfällen ebenso genau sein wie Blackbox-KI. Das allgemeine Prinzip lautet also:[303]

Transparenz schließt Genauigkeit nicht aus: Bei Ungewissheit sind transparente Algorithmen oft ebenso präzise wie Blackbox-Algorithmen.

Trotzdem bevölkern Blackbox-Algorithmen Gerichte und andere Orte, an denen Entscheidungen von großer Tragweite getroffen werden. Unternehmen nutzen diesen bedingungslosen Glauben an Komplexität und Undurchsichtigkeit aus. Ihre Vertreter klopfen an die Türen von Gerichtsgebäuden und Ministerien, genau wie Pharmareferenten Ärzte überreden, ihre Produkte Patienten zu empfehlen. Organisationen, die frei verfügbare und transparente Produkte zur Risikobewertung entwickeln, haben in der Regel nicht die Mittel für kostspielige Werbung. Beispielsweise ist die Entscheidungsliste für die Vorhersage der Rückfallwahrscheinlichkeit in Abbildung 7.1 frei erhältlich und wenig bekannt, die Softwarelizenz von COMPAS dagegen kostspielig und ein Verkaufsschlager. Darüber hinaus gibt es noch einen Grund für die Bevorzugung von Blackboxes: defensive Entscheidungsfindung. Wenn Sie als Richter geneigt sind, einem Angeklagten Bewährung zu geben, der Algorithmus aber das Risiko eines Rückfalls hoch einstuft, ändern Sie vielleicht Ihre Meinung, um auf der sicheren Seite zu sein: Sonst befänden Sie sich in Erklärungsnot, wenn der Angeklagte einen Zeugen bedrohte oder eine andere Straftat beginge.

»Weniger ist mehr« ist der Schlüssel zur erklärbaren KI

Der Glaube an Komplexität und Undurchsichtigkeit ist tief verwurzelt und hat schon prominente Wissenschaftler, Führungskräfte aus Finanz und Wirtschaft, hohe Militärs und viele andere in die Irre geführt. In den Vereinigten Staaten hat man beispielsweise in dem Projekt der DARPA (Defense Advanced Research Projects Agency) über erklärbare KI (XAI) angenommen, dass Verständlichkeit grundsätzlich zu Lasten der Genauigkeit gehe.[304] Aufgrund dieses Missverständnisses verwendet die DARPA immer noch komplexe Blackbox-Algorithmen und versucht deren Arbeitsweise in einfachen, aber nicht unbedingt richtigen Worten zu erläutern. Wenn beispielsweise erklärt wird, wie ein tiefes neuronales Netz Kreditausfälle vorhersagt oder ein Objekt als Panzer klassifiziert, so hat das unter Umständen wenig mit der tatsächlichen Funktionsweise eines neuronalen Netzes zu tun. Diese Erklärungen sind bestenfalls vage Vermutungen und schlimmstenfalls falsch.

Die echte Alternative besteht darin, komplexe Algorithmen durch transparente zu ersetzen, wann immer es geht. Diese Lösung stützt sich auf den empirischen Befund, dass einfache, transparente Regeln für Vorhersagen bei Ungewissheit im Vergleich mit Blackbox-Algorithmen ebenso gut oder besser abschneiden. Ich habe das oft genug selbst erlebt.[305]

Wenn Sie im Handel arbeiten, wissen Sie, wie wichtig es ist, vorhersagen zu können, welche Kunden innerhalb eines bestimmten Zeitrahmens wieder bei Ihnen kaufen werden. Viele Händler haben Datenbanken mit Zehntausenden von Kunden. Da wäre es teuer, ihnen allen Flyer oder Kataloge zu schicken, besonders wenn einige wahrscheinlich nie wieder etwas kaufen werden. In einer Studie anhand von 35 Händlern zeigte sich, dass eine einfache Regel, die erfahrene Manager verwenden – die sogenannte Hiatus-Heuristik –, neue Käufe von Kunden besser vorhersagte als komplexe Maschinenlern-Methoden und raffinierte Marketingmodelle.[306] Die Hiatus-Heuristik ist eine Form von psychologischer KI. Wie die oben beschriebene Heuristik für die Vorhersage der Grippe stützt sie sich auf nur einen einzigen Datenpunkt, den letzten Kauf: Wenn ein Kunde innerhalb der letzten neun Monate etwas gekauft hat, wird er wahrscheinlich auch in Zukunft kaufen, sonst nicht. (Die Anzahl der Monate kann von Branche zu Branche variieren.) Diese Regel ist transparent und lässt sich leicht erklären, sodass sich die Notwendigkeit erübrigt, komplizierte Methoden in einfachen Worten zu erklären, die nicht unbedingt richtig sind.

Hier liegt der Schlüssel zu einem neuen Verständnis der erklärbaren KI: routinemäßig zu überprüfen, ob transparente Algorithmen in einer bestimmten Situation ebenso gut wie komplexe Algorithmen funktionieren, und wenn ja, mit den einfacheren Werkzeugen zu arbeiten. Das ist die wahre Zukunft der erklärbaren KI.

Einfach zählen

Transparente Algorithmen lassen sich in mehrere Familien unterteilen. Die »Ein guter Grund«-Familie besteht, wie der Name sagt, aus Algorithmen, die ihre Vorhersage auf einen einzigen, aber aussagekräftigen Grund stützen.[307] Wie wir im Fall der Grippevorhersage gesehen haben, kann das zu besseren Vorhersagen führen als mittels der Big-Data-Analytik. Eine zweite Familie besteht aus Algorithmen, die nur einige wenige Gründe verwenden, ihnen aber unterschiedliche, wenn auch einfache Gewichte geben, so der Zahlen-Sie-wie-Sie-fahren-Algorithmus in Abbildung 4.3 und der PSA. Eine dritte Familie besteht aus kurzen Entscheidungslisten wie derjenigen für die Vorhersage, ob ein Angeklagter rückfällig wird. Beim Maschinenlernen gibt es solche Entscheidungslisten schon lange.[308] Im Folgenden beschreibe ich eine weitere Familie, die sogenannte Strichliste (Tally), die einfach die Gründe für und gegen ein mögliches Ereignis zählt.[309] Alle diese Regeln entsprechen der psychologischen KI, die, wie die menschliche Psychologie, besonders geeignet ist, Vorhersagen unter ungewissen Bedingungen zu treffen.

Die Schlüssel zum Weißen Haus

Am 8. November 2016 gab es nicht wenige Menschen auf dem Globus, die ihren Augen nicht trauen mochten. Umfragen, Wahlbörsen und Big-Data-Analytik hatten Hillary Clintons Sieg mit großem Vorsprung vorausgesagt. »Wenn Sie an Big-Data-Analytik glauben, sollten Sie sich jetzt auf Hillary Clintons Präsidentschaft einstellen«, erklärte der Kolumnist Jon Markman in Forbes.[310]

Am Ende erlitt Big Data eine Bruchlandung. Zugegeben ist die richtige Prognose, wer die Schlüssel zum Weißen Haus bekommt, leichter gesagt als gemacht. Sie ähnelt weniger einer Lotterie, bei der wir wissen, wie wahrscheinlich Gewinn oder Verlust ist, als der ungewissen Vorhersage des Verlaufs einer Grippe oder einer anderen Virusinfektion. Der Statistiker Nate Silver und sein Team von der Nachrichtenwebseite FiveThirtyEight hatten Obamas Siege richtig vorhergesagt, aber irrten sich bei Trumps Sieg in den Vorwahlen und attestierten in ihrer Wahlprognose Clinton eine 71,4-prozentige Siegchance. Zwei Wochen vor der Wahl, als er Clinton mit 85 Prozent vorne sah, erörterte Silver eingehend, in welchem Maße die Wahrscheinlichkeit von den zugrunde liegenden Annahmen abhängt. Wenn sein Modell nur Daten seit 2000 berücksichtigte, und nicht seit 1972, stiegen Clintons Aussichten auf 95 Prozent. Wenn es eine Normalverteilung der Stimmen voraussetzte (ein Konzept, das auf den Mathematiker Carl Friedrich Gauß zurückgeht; siehe Abbildung 3.1) statt dicker Enden (fat tails) – ein Begriff, der in Nassim Nicholas Talebs Buch Schwarzer Schwan eine zentrale Rolle spielt –, wäre Clinton dadurch auf 87 Prozent gekommen, und bei der Annahme, dass die Ergebnisse der Einzelstaaten nicht miteinander korrelierten, wäre ihre Gewinnchance auf 98,2 Prozent gestiegen.[311] Silvers wertvolle Überlegungen führen uns eine häufig vergessene Erkenntnis vor Augen: Big Data spricht nicht für sich, vielmehr sind die Ergebnisse von den zugrunde liegenden Annahmen abhängig. Mehr Daten und mehr Rechenleistung sind keine Garantie für die Wahrheit. Deshalb ist statistisches Denken so wichtig.

Silvers Erörterung offenbart noch einen weiteren interessanten Punkt: Sie beschäftigt sich mit den Gründen für oder gegen statistische Modelle, nicht mit den konkreten Gründen, warum Menschen gegen Clinton und für Trump wählen könnten. Sie verzichtet auf psychologische, politische oder wirtschaftliche Theorien. Die Alternative ist, mit der Psychologie der Wählermotive zu beginnen. Genau das hat Allan Lichtman getan.

Lichtman, ein angesehener Geschichtsprofessor, war eine der wenigen abweichenden Stimmen von der überwältigenden Mehrheit der Experten, die einen klaren Sieg von Clinton vorhersagten. Er prognostizierte, Trump würde gewinnen. Es war nicht das erste Mal, dass er richtiglag; er hatte alle Wahlen seit 1984 richtig vorhergesagt.[312] Seine Methode stützt sich weder auf die Analyse von Big Data, noch liefert sie scheinbar exakte Wahrscheinlichkeiten für den Sieg. Sie sagt einfach vorher, wer gewinnen wird. Das System heißt »Schlüssel zum Weißen Haus« und beruht auf einer historischen Analyse der Gründe, warum Amerikaner so wählen, wie sie es eben tun.

Ein Schlüssel ist ein Grund, der für Wähler zählt. Es gibt dreizehn solche Gründe, alle in Gestalt einer Aussage, die mit »Ja« oder »Nein« beantwortet werden kann. Ein »Ja« begünstigt die Wahl oder Wiederwahl eines Kandidaten der amtierenden Partei, ein »Nein« nicht.

Schlüssel 1: Mandat der amtierenden Partei. Nach der Zwischenwahl hat die regierende Partei mehr Sitze im Repräsentantenhaus als vorher.

Schlüssel 2: Nominierungswettbewerb. Es gibt in der regierenden Partei bei der Nominierung des Kandidaten keinen ernsthaften Wettbewerb.

Schlüssel 3: Amtsausübung. Der Kandidat der regierenden Partei ist der aktuelle Präsident.

Schlüssel 4: Drittpartei. Es gibt keine nennenswerte Kampagne einer Drittpartei oder eines parteilosen Kandidaten.

Schlüssel 5: Kurzfristige Wirtschaftslage. Die Wirtschaft befindet sich während der Wahlkampagne nicht in Rezession.

Schlüssel 6: Langfristige Wirtschaftslage. Reales jährliches Wirtschaftswachstum pro Kopf während der Amtszeit ist gleich oder höher als das mittlere Wachstum während der beiden vorhergehenden Amtszeiten.

Schlüssel 7: Politikwechsel. Die amtierende Regierung hat größere Veränderungen in der nationalen Politik bewirkt.

Schlüssel 8: Soziale Unruhe. Es hat während der Amtszeit keine längere soziale Unruhe gegeben.

Schlüssel 9: Skandal. Die amtierende Regierung ist in keinen größeren Skandal verwickelt gewesen.

Schlüssel 10: Außenpolitischer oder militärischer Misserfolg. Die amtierende Regierung ist nicht von einem größeren Misserfolg in der Außen- oder Militärpolitik betroffen.

Schlüssel 11: Außenpolitischer oder militärischer Erfolg. Die amtierende Regierung erzielt einen größeren Erfolg in der Außen- oder Militärpolitik.

Schlüssel 12: Charisma. Der Kandidat der regierenden Partei ist charismatisch oder ein Nationalheld.

Schlüssel 13: Charisma des Herausforderers. Der Kandidat der herausfordernden Partei ist weder charismatisch noch ein Nationalheld.

Vielleicht ist Ihnen etwas Merkwürdiges aufgefallen. Fast alle Schlüssel betreffen die amtierende Partei und ihren Kandidaten, jedoch nur ein einziger (der letzte) den Herausforderer. Einige der Schlüssel erfordern kein Urteil – zum Beispiel die Frage, ob der Kandidat der amtierenden Partei der aktuelle Präsident ist –, andere, so das Thema Charisma, schon. Dieses Problem löste Lichtman, indem er die wenigen charismatischen Präsidenten wie Dwight Eisenhower und John F. Kennedy definierte und dann vor der Wahl ein »Ja« oder »Nein« setzte. Im Fall von Clinton und Trump ordnete er weder sie noch ihn als charismatisch ein.

Die Frage lautet: Wie werden die Schlüssel miteinander verknüpft, sodass sie eine Prognose ergeben? Der erste Reflex vieler Datenwissenschaftler würde wohl darin bestehen, wie beim Online-Dating oder Kredit-Scoring ein Punktesystem zu entwickeln, in dem jeder Schlüssel ein »optimales« Gewicht erhält. Doch es gibt nicht genügend Präsidentschaftswahlen für ein breite Datenbasis. Außerdem wird die Aufgabe durch unberechenbares Wahlverhalten noch erschwert. Stattdessen entwickelte Lichtman einen transparenten Algorithmus, der einfach die Neins zählt:

Wenn sechs oder mehr Schlüssel negativ (»Nein«) sind, wird der Herausforderer gewinnen.

Diese Abzählregel ist extrem einfach. Ende September 2016, Wochen vor der Wahl, kam Lichtman zu dem Schluss, dass die Schlüssel sich »gesetzt« hätten, und nahm die Zählung vor.[313] Sechs Schlüssel sprachen gegen Hillary Clinton, die Kandidatin der regierenden Partei.

Schlüssel 1: Die Demokraten erlitten eine krachende Niederlage in den Zwischenwahlen.

Schlüssel 3: Der aktuelle Präsident war kein Kandidat.

Schlüssel 4: Es gab eine nennenswerte Kampagne einer Drittpartei, der Libertären Partei mit Gary Johnson, der nach den Prognosen mindestens 5 Prozent erhalten sollte.

Schlüssel 7: Es gab in Obamas zweiter Amtszeit keinen größeren Politikwechsel.

Schlüssel 11: Obama hatte keinen durchschlagenden außenpolitischen Erfolg.

Schlüssel 12: Hillary Clinton ist nicht charismatisch im Vergleich zu, sagen wir, Franklin Roosevelt.

Sechs negative Merkmale bedeuteten, dass die Prognose für den Sieg von Trump sprach. Sechs ist die erforderliche Mindestzahl, das heißt, der Ausgang der Wahl war eng und sicherlich nicht leicht vorherzusagen. Allerdings ist eine Einschränkung angebracht. Die Regel soll vorhersagen, wer die absolute Stimmenmehrheit erringt, was Trump nicht gelang. Aber kein Vorhersagesystem ist vollkommen, und Lichtmans Strichliste kam dem Endergebnis näher als alle Umfragen, Prognosemärkte und Big-Data-Analytik.[314]

Die Schlüssel zum Weißen Haus sind transparent. Dank der Transparenz können wir die Theorie erkennen, die den Prognosen zugrunde liegt. Und sie beruhen tatsächlich auf einer Theorie, im Gegensatz zu den typischen Maschinenlernverfahren, in denen es nur darum geht, die beste Prognose zu erhalten, egal wie. Wie erwähnt, betreffen die meisten Schlüssel die regierende Partei und ihren Kandidaten. Es geht um Wirtschaft, soziale Unruhen, außenpolitische Erfolge, Skandale und politische Erneuerung. Das heißt, wenn die Menschen den Eindruck haben, dem Land sei es in der zurückliegenden Amtszeit gut gegangen, wird der Kandidat der regierenden Partei gewählt. Wenn ein Herausforderer wie Trump gewinnt, hat der Sieg wenig mit seiner Persönlichkeit zu tun, sondern beruht einzig auf dem Eindruck, den die regierende Partei in der letzten Amtszeit bei den Wählern hinterlassen hat, und auf dem, was diese von dem Kandidaten der Partei erwarten.

Viele Menschen waren am Wahltag wie vor den Kopf geschlagen und fragten sich, was um alles in der Welt die Amerikaner dazu bewogen hatte, einen Mann zu wählen, der unter anderem Frauen, Muslime und den Papst beleidigt hatte. Die radikale Logik hinter der Strichliste lässt darauf schließen, dass das die falsche Frage ist. Die amerikanischen Wähler haben nicht für Trump gewählt; sie haben gegen Obama und Clinton gewählt. Vergessen Sie Fernsehdebatten, Spendensammlungen und Werbebudgets. Glauben Sie nicht, dass Wahlkampfleiter und Berater großen Einfluss auf das Ergebnis hätten. Wenn die Theorie, auf der die Schlüssel basieren, richtig ist, gibt es eine gute Nachricht für die politischen Parteien: Konzentriert euch auf das Regieren, nicht auf teure Werbung und Wahlkampfstrategien.

Gesucht: Das Recht auf Transparenz beim Scoring

In einer Blackbox-Gesellschaft benutzen die Mächtigen die Software häufig dazu, das Verhalten der anderen besser vorherzusagen und zu manipulieren, ohne ihre Algorithmen offenzulegen. Warum wird bestimmten Menschen Bewährung oder Kredit gewährt und anderen nicht? Warum führt uns YouTubes Empfehlungssystem zu extremeren Videos und Fake News?[315] Das charakteristische Merkmal von Blackbox-Gesellschaften ist nicht der Mangel an Transparenz, sondern ihre Asymmetrie, die wie ein Einwegspiegel funktioniert.[316] Blackbox-Gesellschaften gibt es seit unvordenklichen Zeiten. Jahrhundertelang konnten die einfachen Leute in Europa nicht lesen. Für sie waren die Bibel und andere schriftliche Quellen Blackboxes, die auf Latein oder Griechisch verfasst waren und nur von den Gebildeten aus wohlhabenderen Schichten verstanden wurden. Mithilfe der von Johannes Gutenberg erfundenen Druckerpresse öffneten Übersetzer wie Martin Luther die Blackbox. Dank dieses technologischen Fortschritts wurden Bücher und Übersetzungen allmählich allen zugänglich gemacht. So konnten Menschen leichter lesen lernen und sich selbst davon überzeugen, was in der Bibel stand. Gutenbergs Erfindung verringerte die Ungleichheit zwischen Priestern und Laien, zwischen Eingeweihten und Gefolgsleuten. Als sich das Internet in den 1990er Jahren ausbreitete, malten sich viele Ärzte eine ähnliche Revolution aus: »Das Internet kann uns helfen, die Ungleichheit zwischen Arzt und Patient, zwischen dem Unfehlbaren und dem Uninformierten aufzuheben.«[317] Vielleicht brauchen wir einen neuen Gutenberg, der die Blackboxes öffnet und das Verhalten der Menschen verändert.

Einer unserer Vorschläge im Sachverständigenrat für Verbraucherfragen lautete, alle Blackboxes, die zum Scoring von Menschen verwendet werden und schwerwiegende Konsequenzen in ihrem Leben haben, für die Allgemeinheit transparent zu machen und einer Qualitätskontrolle zu unterwerfen.[318] Schwerwiegende Konsequenzen drohen unter anderem bei Gesundheits-Scoring, Kredit-Scoring, Bewertung der Rückfallwahrscheinlichkeit und Predictive Policing. Der Vorschlag betrifft Algorithmen, die den Menschen aufgezwungen werden, und nicht solche, die freiwillig gewählt werden und der Unterhaltung oder der persönlichen Entwicklung dienen wie Videospiele oder Liebesalgorithmen. Alle Merkmale eines Algorithmus sowie seine Logik (etwa Entscheidungslisten oder Punktsysteme, Abbildung 7.1 und 7.2) sollten offengelegt werden.

Als wir den Vorschlag mit internationalen Wirtschaftsauskunfteien erörterten, erhoben sie berechtigte Einwände. Der erste war, ihre Algorithmen seien Geschäftsgeheimnisse. Doch genau darum geht es in dem Vorschlag: das Gesetz zu ändern und an dieser kritischen Stelle den Rechten der Menschen Vorrang vor dem wirtschaftlichen Profit einzuräumen. Im Übrigen haben Telematik- und Gesundheitsversicherer ihre Scoring-Algorithmen bereits vollkommen offengelegt, und es scheint ihnen nicht zu schaden. Der nächste Einwand lautete, die Konsumenten würden den Quellcode (das Programm des Algorithmus) nicht verstehen, daher blieben sie genauso schlau wie vorher. Aber wir forderten sie nicht auf, den Quellcode transparent zu machen, mit dem die meisten Verbraucher tatsächlich wenig anfangen könnten, sondern die Merkmale und die Logik des Algorithmus offenzulegen. Wenn die Konsumenten die Merkmale kennen würden, könnten sie beispielsweise herausfinden, warum sie hohe Zinsen für einen Kredit zahlen müssen. Der Grund könnte einfach sein, dass sie in einem Wohnblock wohnen, in dem einige Mieter ihre Kredite nicht rechtzeitig bedienen. Das nennt man Geo-Scoring.

Als Nächstes brachten die Unternehmen vor, es gebe keine Möglichkeit, tiefe neuronale Netze transparent zu machen. Das ist zwar richtig, aber wir stellten fest, dass kommerzielle Scoring-Systeme für Kredite, Krankenversicherungen, Telematik-Versicherungen und Rückfallwahrscheinlichkeit selten, wenn überhaupt, mit neuronalen Netzen arbeiten. Ein letzter Einwand lautete schließlich, Nutzer könnten, wenn sie die Merkmale kennen würden, ihr Verhalten verändern und den Algorithmus austricksen. Doch genau das ist eines der bekundeten Ziele des Kredit-Scorings, Gesundheits-Scorings oder Telematik-Scorings: Menschen zu gesünderem oder finanziell vernünftigerem Verhalten zu veranlassen. Wenn Verbraucher zum Beispiel herausfinden, dass sie einen niedrigen Kredit-Score haben, weil sie zu viele Kreditkarten besitzen, können sie etwas dagegen tun. Austricksen wird nur dann zum Problem, wenn Algorithmen Ersatzmerkmale anstelle echter Merkmale verwenden, das heißt, wenn beispielsweise ein Krankenversicherer Kunden Bonuspunkte für die Mitgliedschaft in einem Fitnessstudio gibt, ohne zu prüfen, ob sie dort auch wirklich trainieren.

In der Europäischen Union markiert die Datenschutz-Grundverordnung (DSGVO) den Beginn einer neuen Ära im Datenschutzrecht. Sie verlangt, dass »aussagekräftige Informationen über die involvierte Logik« bei einer automatisierten Entscheidungsfindung geliefert werden und dass die betroffene Person »das Recht [hat], nicht einer ausschließlich auf einer automatisierten Verarbeitung […] beruhenden Entscheidung unterworfen zu werden«, die sich »rechtlich« oder »in ähnlicher Weise erheblich« nachteilig auf sie auswirkt.[319] Doch in dem Augenblick, da am Ende der Kette ein menschlicher Entscheidungsträger – ein Richter oder Polizist zum Beispiel – in Erscheinung tritt, gelten diese Bestimmungen nicht mehr. Grundsätzlich bleibt die DSGVO sehr abstrakt, was zeigt, dass sie ein Problem erkannt, aber nicht gelöst hat. Inzwischen haben sich Hunderte von Mathematikern zu Wort gemeldet und verlangt, dass alle Arbeiten am Predictive Policing eingestellt werden, um möglichen Machtmissbrauch zu verhindern.[320] Bürger haben gegen die Geheimhaltungspolitik der Schufa und anderer Auskunfteien protestiert und für alle Betroffenen das Recht verlangt, Einsicht in die Logik zu bekommen, der die Algorithmen folgen, wenn sie unser Verhalten vorhersagen und bewerten. Regierungsbehörden werden aufgerufen, sich eingehender über die Motivation zu informieren, die diesen Algorithmen zugrunde liegt, und etwas gegen den fortwährenden Mangel an Qualitätskontrollen zu unternehmen.

Geheimniskrämerei und Mystifizierung sind ein Aspekt der »Blackbox«. Doch der Begriff hat eine doppelte Bedeutung, er bezeichnet auch ein Aufzeichnungsgerät. Im nächsten Kapitel beschäftigen wir uns mit der anderen Seite der Blackbox.

8

SCHLAFWANDELND IN DIE ÜBERWACHUNG

Es ist an der Zeit, dass wir für Datenschutz bezahlen, dass wir die Dienste unterstützen, die wir schätzen, und diejenigen meiden, die kostenlos sind, aber uns – die Nutzer und unsere Aufmerksamkeit – als ihr Produkt verkaufen.

ETHAN ZUCKERMAN, ERFINDER DER POP-UP-WERBUNG.[321]

Ich stelle mir den künftigen Smart-Kühlschrank vor, wie er in meiner Küche steht, meine Verhaltensweise und Gewohnheiten aufzeichnet, und in meiner Neigung, aus der Milchtüte zu trinken und mir die Hände nicht zu waschen, den Keim meiner schwerkriminellen Karriere erkennt.

EDWARD SNOWDEN[322]

Eine beliebte Folge der britischen Fernsehserie Black Mirror mit dem Titel »Abgestürzt« spielt in einer künftigen Welt, in der alle Menschen intelligente Kontaktlinsen tragen, die sich auf jede Person fokussieren, die in Sicht ist, egal, ob auf einer Party oder in der U-Bahn. Die Linsen informieren den Träger augenblicklich über die Namen und die Sozial-Scores der anderen. Ähnlich wie Amazon-Produkte hat jeder einen Score von 1 bis 5. Ganz gleich, was Sie tun, Ihr Verhalten wird von anderen eingestuft: In einem Restaurant bewertet der Kellner Sie, und Sie bewerten den Kellner; bei der Arbeit bewertet Ihr Chef Sie, und Sie bewerten Ihren Chef; in einem Taxi bewertet der Fahrer Sie, und Sie bewerten den Fahrer; Sie müssen einfach einen Score in Ihr Smartphone tippen und dieses auf die betreffenden Person richten. In dieser Zukunft lebt Lacy, eine attraktive junge Frau, die in einen besseren Stadtteil umziehen möchte. Ihr Score liegt bei 4,2, zu niedrig für eine erschwingliche Wohnung in dieser Gegend, für die sie mindestens 4,5 bräuchte. Eifrig übt Lacy ihr Lächeln vor dem Spiegel. Sie tut alles, um anderen Leuten zu gefallen und ihr Punktekonto aufzufüllen. Allmählich dreht sich Lacys Leben nur noch um ihren Score. Sie lässt sich von der Bewertung anderer fernsteuern, um in eine Wohngegend zu ziehen, die andere als wünschenswert eingestuft haben. Trotzdem nehmen ihre Bemühungen, wie der Titel verrät, kein gutes Ende.

Viele Zuschauer, die »Abgestürzt« gesehen haben, sind entsetzt von der Vision einer Welt, in der nur eines zählt: der Score, den man hat. Doch dieselben Leute, die so abwehrend reagieren, betreiben, ohne weiter darüber nachzudenken, verschiedenste Formen des Scorings. Sie bewerten Autovermieter, Restaurants, Ärzte, Krankenhäuser, Hotels, Steuerberater und verteilen Likes auf Posts und Herzen auf Bilder. Scores sind zur Hartwährung für Vertrauenswürdigkeit geworden, ganz ähnlich wie in Lacys Fall. Brillencomputer, die aufzeichnen, was ihre Träger sehen und hören, gibt es bereits, und sie verändern, ähnlich wie Sicherheitskameras, wie Menschen sich in der Öffentlichkeit verhalten, mit dem Ergebnis, dass sozialverträgliches Verhalten zunimmt.[323] Ohne Schwierigkeiten ließen sich diese Brillen so programmieren, dass sie die Namen und Scores aller Menschen in der Umgebung der Träger einblenden würden. Wäre es nicht praktisch, augenblicklich zu sehen, wie vertrauenswürdig jemand ist, statt es selbst auf die harte Tour herausfinden zu müssen?

Sozialkredit-Systeme

Kredit-Scores – wie der Schufa-Wert in Deutschland und der FICO-Score in den Vereinigten Staaten – versuchen Ihre Kreditwürdigkeit zu messen, das heißt zu bestimmen, wie wahrscheinlich es ist, dass Sie Ihre Schulden rechtzeitig begleichen. Der Schufa-Score ist eine Zahl zwischen 0 und 100 Prozent und wird unter anderem durch Ihr Zahlungsverhalten, laufende Kredite und Alter bestimmt. Auch die Kredit-Scores Ihrer Nachbarn könnten eine Rolle spielen; wenn Ihr Nachbar mit seinen Kreditzahlungen im Verzug ist, kann Ihr Score heruntergestuft werden. Fast jeder hat einen Score. Banken, Telefongesellschaften und Vermieter legen anhand Ihres Scores fest, ob man Ihnen einen Kredit, einen Telefonvertrag, eine Stellung oder eine Wohnung geben kann. Wenn Sie ein Paar Schuhe bei einem Online-Shop bestellen, merken Sie vermutlich gar nicht, dass Ihr Kredit-Score abgefragt wird, noch während Sie den Kauf mit einigen Klicks abschließen. Überall auf dem Globus werden Online-Käufer diesen Kredit-Checks unterzogen. Das Ergebnis kann die Zahlungsoptionen beeinflussen, die man Ihnen einräumt. Sie werden noch nicht einmal sehen, welche Optionen man Ihnen verweigert.

Sozialkredit-Scores versuchen, Ihre Vertrauenswürdigkeit in jeder Hinsicht zu messen, nicht nur Ihre finanzielle Ehrlichkeit. Sie sind wie Schufa-Scores, aber nehmen alle Daten auf, die über Sie gesammelt werden können. Dazu gehören Strafzettel wegen Geschwindigkeitsüberschreitung, polizeiliches Führungszeugnis, Arbeitseinsatz, ehrenamtliche Tätigkeiten, Vernachlässigung von familiären Pflichten, politische Äußerungen in den sozialen Medien, die Webseiten, die Sie aufsuchen, und Ihr gesamter digitaler Fußabdruck. Wenn Sie bei Rot über die Straße gehen, verlieren Sie Punkte; mehrere Besuche bei Ihren alten Eltern holen Sie aus dem Minus wieder heraus. Diesen Status können Sie wiederum verlieren, wenn Sie sich zu lange mit Videospielen amüsieren; Elternsendungen ansehen oder Fremdsprachen lernen kommt dagegen Ihrem Punktekonto zugute. Wenn Sie Online-Freunde mit niedrigen Scores haben, kann das Punktabzug für Sie bedeuten. Am stärksten wird Ihr Verhalten durch dieses System beeinflusst, wenn Ihr Sozialkredit-Score veröffentlicht wird, so wie die Scores der Menschen in »Abgestürzt« oder die Zahl der Likes und Herzen in den sozialen Medien, die jeder sehen kann. Menschen mit einem niedrigen Score sind möglicherweise beschämt und fragen sich besorgt, was andere von ihnen denken. Sobald Sie sich Sorgen machen, haben Sie den Köder schon geschluckt.

»Abgestürzt« ist Sciencefiction, aber der Sozialkredit-Score nicht. Dem Beispiel Chinas folgend, haben verschiedene Staaten in Asien, Südamerika und Afrika – unter anderem Thailand, Myanmar, Vietnam, Venezuela und Tansania – Sozialkredit-Systeme für Einzelpersonen und Unternehmen eingeführt oder ihre Absicht bekundet, es zu tun.[324] Neben öffentlicher Bloßstellung gibt es auch Anreize und Strafen. Personen mit hohen Punktwerten bekommen Privilegien, etwa billigere Kredite und kostenlose Gesundheitschecks, während Tausende von Menschen mit niedrigen Scores keine Flugzeuge und Hochgeschwindigkeitszüge benutzen und ihre Kinder nicht auf die besten Schulen schicken dürfen. Menschen fangen an, auf ihren Social-Media-Accounts anderen die Freundschaft wegen deren niedriger Scores zu kündigen. In Kontaktanzeigen werben junge Männer und Frauen nicht nur mit Alter, Gewicht und Interessen, sondern auch mit ihren Sozialkredit-Scores. Niemand wird dazu gezwungen, aber eine Anzeige ohne Score kann Argwohn erregen. In einer Online-Erhebung an Teilnehmern chinesischer Sozialkredit-Systeme gaben 94 Prozent der Befragten an, sie hätten ihr Verhalten verändert, um ihren Sozialkredit-Score positiv zu beeinflussen – unter anderem hielten sie sich an die Verkehrsregeln, verbrachten weniger Zeit mit Online-Spielen, meldeten sich freiwillig zu gemeinnützigen Tätigkeiten, teilten Online-Inhalte anderer Art und nutzten mobile Zahlungs-Apps. 50 Prozent sagten, sie hätten ihren Score schon mit Verwandten und Freunden geteilt.[325] Was angemessenes Verhalten ist, wird von Regierungen und Tech-Unternehmen bestimmt – anders als in der Welt von »Abgestürzt«, wo jeder den Score von jedem anderen verbessern oder verschlechtern kann.

Die chinesische Gesellschaft ist in einer konfuzianischen Version des Kollektivismus verwurzelt, in der das »Gemeinwohl« Vorrang vor den Rechten des Einzelnen hat. Sie blickt auf eine lange Geschichte sozialer Kontrolle zurück, die mit Maos Kulturrevolution ihren höchsten Bekanntheitsgrad erreichte. Die digitale Massenüberwachung begann mit den Olympischen Spielen 2008 in Peking, weil die chinesische Führung terroristische Angriffe auf Teilnehmer und Besucher befürchtete, und wurde in Reaktion auf den Xinjiang-Konflikt mit separatistischen Gruppen aufgerüstet. China bemüht sich auch, die Probleme in den Griff zu bekommen, die entstehen, weil große Teile der Bevölkerung aus ländlichen Gebieten in die Ballungszentren abwandern. Dank der digitalen Technologie kann jetzt rund um die Uhr überwacht werden. Man möchte das moralische Verhalten der Gesellschaft verbessern, die Korruption ausmerzen und eine Kultur der »Aufrichtigkeit« und »Harmonie« schaffen. Umfragen lassen darauf schließen, dass die überwiegende Mehrheit der chinesischen Bürger dieses System befürwortet, vor allem die gebildeteren Schichten.[326] Viele glauben, es stelle eine echte Alternative zur Demokratie dar, da es Aufrichtigkeit, Harmonie und wirtschaftliches Wachstum für alle fördere.

Wie Kredit-Scoring haben Sozialkredit-Systeme eine Doppelfunktion: die Menschen zu beschützen und ihr Verhalten zu beeinflussen. Wirtschaftsauskunfteien bieten ihre Dienste Unternehmen an, um sie vor betrügerischen Kunden zu bewahren, die ihre Rechnungen nicht bezahlen werden; andernfalls müssten ehrliche Kunden höhere Preise zahlen, um die Betrügereien anderer auszugleichen. Dank des Kredit-Scorings zahlen mehr Kunden ihre Rechnung rechtzeitig, legen sich nicht zu viele Kreditkarten zu und geben nicht mehr Geld aus, als sie sich leisten können. Mit ähnlichen Begründungen rechtfertigen Regierungen Sozialkredit-Systeme: Sie würden Bürger vor egoistischen Trittbrettfahrern, Straftätern und Terroristen schützen. Um Bestrafung zu vermeiden – am Kauf von Flugtickets gehindert zu werden oder das eigene Gesicht samt Adresse auf elektronischen Anzeigetafeln in der Innenstadt zu sehen, weil man bei Rot über eine Kreuzung gefahren ist –, halten sich immer mehr Bürger an Gesetze und soziale Normen, was wiederum die soziale Stabilität stärkt.

In der westlichen Presse werden diese Systeme häufig als »Orwell’sche« Projekte bezeichnet, was nicht ganz richtig ist. Sozialkredit-Systeme entspringen eher dem Geist von B. F. Skinners Jenseits von Freiheit und Würde. Der Harvard-Psychologe erklärte die Freiheit zu unserem größten Problem: Sie erlaube Menschen, andere und deren Umwelt auszubeuten. Stattdessen schlug er als Lösung ein System strenger Verhaltenskontrolle vor, das gerechtes und verantwortliches Sozialverhalten belohnt. Hätte Skinner noch die Entstehung von Sozialkredit-Systemen miterlebt, hätte er wahrscheinlich mit großer Freude zur Kenntnis genommen, wie seine Methoden zur Verhaltensänderung weltweit bei mehr als eine Milliarde Menschen angewendet werden. Der Unterschied liegt darin, dass nach Skinners Theorie positive Verstärkung allein, ohne Bestrafung, ausreicht, soziales Verhalten zu fördern. Abgesehen davon stellt das digitale Zeitalter die erforderliche Technologie bereit, um seine Vision in Wirklichkeit zu verwandeln.

Sozial-Scoring im Verborgenen

Sozialkredit-Scores, die mit Zuckerbrot und Peitsche verknüpft sind, stehen in den Schlagzeilen westlicher Länder, in erster Linie, weil man sie für unvereinbar mit dem Ideal von Demokratie und ihrer Wertschätzung von Freiheit und Privatsphäre hält. Doch die westlichen Einstellungen zu Privatheit scheinen sich in Richtung der chinesischen Auffassung zu verschieben, da wir uns immer mehr dem anpassen, was die digitale Technologie zu bieten hat. Und es geschieht rascher, als wir uns eingestehen mögen. Heute gilt Deutschland als das Land des Datenschutzes und der Privatsphäre. Im Laufe seiner Geschichte hat es bitter erfahren müssen, welchen Wert die Privatsphäre hat, erst in der NS-Zeit und dann in der Deutschen Demokratischen Republik, unter Regimen, die ihre Bürger rigoros überwachten, kontrollierten und unterdrückten. Wer in diesen Zeiten mit den Schultern zuckte und sagte: »Ich habe nichts zu verbergen«, arrangierte sich mit den Herrschern des jeweiligen Systems. Die deutsche Geschichte ist der Anlass, warum der erste Artikel im Grundgesetz ausdrücklich die Würde des Menschen hervorhebt.

Angesichts ihrer Vergangenheit sollte man denken, die Deutschen seien sich einig in der Entschlossenheit, jede Form der Massenüberwachung abzulehnen, vor allem ein Sozialkredit-System zur Verhaltensänderung. Doch sie scheinen ihre Meinung zu ändern. 2018 hielten nur 9 Prozent der Deutschen die Einführung eines Sozialkredit-Systems für eine wünschenswerte Zukunft.[327] 2019 war die Zahl schon auf 20 Prozent gestiegen.[328] Ähnliche Zustimmung wurde aus Österreich berichtet, besonders bei der politischen Rechten.[329] Selbst die Deutschen scheinen sich an die Tatsache zu gewöhnen, dass ihre Handys, intelligenten Fernseher und Autos bereits ihre Gewohnheiten überwachen – warum dann nicht vom Staat noch ein paar Bonuspunkte für angemessenes Verhalten mitnehmen?

Kreditinstitute, Gesundheitsversicherer, Autoversicherer, Payback, Google, Amazon, Microsoft, Facebook, IBM, Apple und alle anderen, von denen Sie aufgefordert werden, Cookies zu akzeptieren, sammeln Daten über Sie. Das mag Ihnen nicht gravierend erscheinen, weil die Daten nicht zu einem einzigen Kredit-Score zusammengefasst werden. Doch stellen Sie sich jetzt einen Datenmakler vor, der die Daten aus Tausenden von Quellen sammelt und für jede Person zu einem Profil zusammenstellt, das zur Berechnung eines Sozialkredit-Scores verwendet werden kann. Das ist kein Hirngespinst; solche Firmen gibt es bereits. Datenmakler wie Acxiom und Oracle Data Cloud werben mit diesen Dienstleistungen und arbeiten daran, für jeden Bürger ein umfassendes Profil zu anzulegen. In den USA hat Acxiom Gesundheitsdaten über 250 Millionen Konsumenten gesammelt, die Rezepte, Krankengeschichte und Daten von Kliniken, Labors und Krankenversicherern umfassen.[330] Dazu gehören weiterhin polizeiliche Führungszeugnisse, Wählerdaten, Einkäufe in Hunderttausenden von Geschäften und Apotheken, Echtzeit-Positionsdaten von mobilen Apps und von Zehntausenden Sensoren, die in Einkaufszentren, Kinos, Hochschulen und auf Flughäfen installiert sind. Selbst Stubenhocker entgehen der Überwachung nicht: Acxiom sammelt Sekunde für Sekunde die Daten des Fernsehkonsums und alles andere, was Ihr Smart-Fernseher sonst noch über Sie aufzeichnet. Persönliche Profile werden an Banken, Versicherer, Kreditkartenausgeber und Regierungen verkauft – auch Ihre E-Mail-Adresse, Telefonnummer, IP-Adresse und Postanschrift. Acxiom behauptet, es habe Daten von mehr als 700 Millionen Menschen weltweit gesammelt – darunter 44 Millionen in Deutschland – und besitze zu jedem Individuum bis zu 3000 Datenpunkte. Nicht alles, was da gesammelt wird, stimmt auch, wie die Journalisten am eigenen Leib erfahren haben. Dennoch hat Facebook Daten über seine Nutzer samt all diesen Fehlern gekauft.

In der Öffentlichkeit wird Facebook häufig als der Schurke gebrandmarkt, der von seinen Nutzern Profile anfertigt, doch Datenbroker gehen noch viel dreister zu Werke. Wir müssen über die gesamte Datenmaklerbranche reden, nicht nur über Facebook und seine Apps wie Messenger, WhatsApp und Instagram. Heimliche Profile werden auch von anderen Organisationen angelegt, bei denen wir es nie vermuten würden. Absolventen großer US-amerikanischer Universitäten entdeckten zu ihrer Überraschung, dass ihre Alma Mater geheime Dossiers über sie angefertigt hatte, teilweise mehr als hundert Seiten umfassend und alles enthaltend von Eheschließung und Scheidung bis zum Finanzstaus, aufgeteilt nach liquiden und illiquiden Vermögenswerten, um eine Basis für ihre Spendenbitten zu haben.[331]

Unternehmen wie Acxiom verwenden die gleiche Technologie, die Chinas Sozialkredit-System möglich macht. Doch sie sammeln die Daten so verstohlen wie möglich, während China wenigstens kein Geheimnis daraus macht. Ob offen oder versteckt, Tech-Unternehmen und staatliche Organisationen bauen gemeinsam an einer Welt der totalen Überwachung. Beobachtet zu werden wird unsere Zukunft sein – es sei denn, die Bürger, die Gesetzgeber und die Gerichte greifen ein, um dem Scoring der Bevölkerung Einhalt zu gebieten.

Die Privatsphäre ist keinen Cent wert

Alle Bürger haben das Recht, dass ihre Privatsphäre vor Eingriffen von Staat, Unternehmen und Individuen geschützt ist. Dazu gehört das Recht, sich zurückzuziehen, seinen persönlichen Raum zu schützen und seine Intimsphäre zu bewahren. Nicht in jeder Kultur ist die Privatsphäre ein Grundrecht, sie war es auch in der westlichen Geschichte nicht durchgängig. Im Prinzip ist sie ein Produkt des 19. und 20. Jahrhunderts. Als etwa in den 1870er Jahren die Postkarte eingeführt wurde, waren die Menschen moralisch entrüstet, weil sie glaubten, sie habe den Zweck, das Ausspionieren der privaten Korrespondenz zu erleichtern. In den 1980er Jahren gingen Hunderttausende zornige Deutsche auf die Straße und protestierten gegen eine staatliche Volkszählung, in der private Daten wie Geburtsdatum, Geschlecht, Personen- und Bildungsstand abgefragt wurden. Amerikanern hat man beigebracht, ihre Sozialversicherungsnummer sorgfältig zu bewahren, weil sonst jemand in ihrem Namen ein Bankkonto eröffnen oder einen Kredit beantragen könnte.

Die meisten Bewohner der westlichen Welt reagieren mit Entrüstung, wenn sie von der Erosion der Privatsphäre durch Sozialkredit-Systeme in anderen Ländern hören. Verächtlich weisen die Medien darauf hin, wie nützlich diese Systeme für Inquisition, KGB und Stasi gewesen wären. Wie häufig wohnt jedoch auch diesem Abscheu ein Paradox inne. Dieselben Leute, die über die Sozialkredit-Systeme klagen, sind oft bereit, ihre persönlichen Daten ohne Wimpernzucken allen möglichen Wirtschaftsunternehmen zu überlassen: was sie kaufen, wo und mit wem sie ihre Tage verbringen, welche Webseiten sie besuchen, ob sie ihre Rechnungen rechtzeitig bezahlen und wann und zu welchem Zweck sie einen Arzt aufsuchen. Die Diskrepanz zwischen Bekenntnissen zur Privatsphäre und tatsächlichem Verhalten hat einen Namen:

Privatsphären-Paradox: Dieselbe Person, die behauptet, sich um die Privatsphäre so sorgen, ist nicht bereit, einen Cent für sie zu bezahlen. Stattdessen gibt sie ihre privaten Daten auf sozialen Medien und anderen Plattformen preis, ohne einen Gedanken daran zu verschwenden.

Der Begriff Privatsphären-Paradox wurde ursprünglich in einer Studie verwendet, in der US-amerikanische Studierende erklärten, sie wollten, dass ihre privaten Daten privat blieben. Trotzdem posteten sie diese auf Facebook.[332] Offenbar war den Studierenden nicht klar, dass Facebook ein öffentlicher Raum ist, in dem Eltern und künftige Arbeitgeber die Einträge lesen können. Doch das Privatsphären-Paradox ist noch viel allgemeinerer Natur; es besteht selbst dann, wenn die Nutzer sich bewusst sind, dass sie überwacht und dass ihre Daten gesammelt werden. In Deutschland sind sich die Menschen stärker als sonst irgendwo in Europa bewusst, dass kostenlose Internetdienstleister ihre Daten registrieren und analysieren.[333] Mehr als drei Viertel geben an, sie machten sich im digitalen Zeitalter Sorgen um ihre Privatsphäre.[334] Wenn ihnen ihre Privatsphäre am Herzen liegt und sie zugleich wissen, was mit ihren Daten passiert, dann müssten sie bereit sein, eine Gebühr für die Dienstleistungen zu bezahlen, wie sie es bei Netflix, Rundfunk, Fernsehen und anderen Dienstleistern machen, statt mit ihren Daten zu bezahlen. Wie viel sind Privatsphäre und Datenschutz wert?

2019 führte ich zusammen mit dem Versicherer ERGO eine Umfrage durch, in der wir einer repräsentativen Stichprobe von 3 200 Menschen in Deutschland die Frage stellten: Was halten Sie für die größte Gefahr der Digitalisierung? Die Hälfte der Befragten (51 Prozent) gab den Verlust der Privatsphäre an, das heißt, die Tatsache, dass ihre persönlichen Daten gesammelt und Wirtschaftsunternehmen und dem Staat zugänglich gemacht würden.[335] Dann fragten wir: Wenn Sie soziale Medien – Facebook, WhatsApp, Instagram und all die anderen – dafür bezahlen könnten, dass sie Ihre persönlichen Daten nicht sammeln und weitergeben, wie viel wären Sie dafür im Monat auszugeben bereit?

Hier ist die ernüchternde Wahrheit:

Nichts   75 Prozent

Bis zu 5 Euro   18 Prozent

6 bis 10 Euro   5 Prozent

Mehr als 10 Euro   2 Prozent

Ich war überrascht. Drei Viertel waren nicht bereit, auch nur einen Cent zu bezahlen! Wenn Privatsphäre wirklich die größte Sorge dieser Menschen war, warum war sie ihnen dann nicht das Geringste wert? Schließlich brauchen die Unternehmen, die die sozialen Netzwerke betreiben, irgendeine Einnahmequelle. Man könnte meinen, die jungen Leute seien wahrscheinlich die zahlungsunwilligsten Nutzer. Aber dem war nicht so. Die mangelnde Bereitschaft, mit einer Gebühr statt mit den persönlichen Daten zu bezahlen, war in allen Altersgruppen ähnlich, von 18 bis zu über 65 Jahren. Nur sieben Prozent waren geneigt, sechs Euro oder mehr zu bezahlen. Zunächst dachte ich, das Privatsphären-Paradox sei, aus was für Gründen auch immer, ein spezifisch deutsches Phänomen. Ist es aber nicht.

In einer anderen Studie wurden Teilnehmer aus 16 Ländern und Regionen gefragt, ob sie um ihre Privatsphäre besorgt seien. Im Durchschnitt sagten 83 Prozent, sie seien etwas oder sehr besorgt. Am geringsten war die Sorge in den Niederlanden, dort bejahten nur 66 Prozent die Frage, aber es war immerhin noch die Mehrheit. Am höchsten war die Besorgnis in China, Mexiko und Taiwan, wo mehr als 90 Prozent Bedenken äußerten. Dann wurden dieselben Leute gefragt, ob sie bereit seien, mindestens einen Dollar pro Monat zu bezahlen, um den Schutz ihrer persönlichen Daten in allen sozialen Medien zu sichern. Im Durchschnitt gab weniger als ein Drittel an, das sei ihnen den Preis wert. In den Vereinigten Staaten machten sich beispielsweise 85 Prozent Sorgen um ihre Privatsphäre, aber nur 28 Prozent waren bereit, einen Dollar für den Datenschutz zu bezahlen. Die Zahlungswilligkeit schwankte stark zwischen Ländern und Regionen (Abbildung 8.1). Befragte in den Vereinigten Arabischen Emiraten, Brasilien, Mexiko und China waren eher bereit, einen Dollar zu bezahlen, als die Teilnehmer in Deutschland, Australien, Kanada, Neuseeland und den Niederlanden. Alles in allem scheint das Privatsphäre-Paradox in Europa, den Vereinigten Staaten und den Commonwealth-Ländern besonders ausgeprägt zu sein.

ABBILDUNG 8.1: Das Privatsphären-Paradox nach Ländern/Regionen. Prozentsatz der über 18-Jährigen, die bereit sind, 1 Dollar im Monat zu bezahlen, damit die sozialen Medien ihre Daten nicht weitergeben. Zahlen basieren auf Norton LifeLock, Cyber Safety Insights Report: Global Results. Die Studie umfasste 16 000 Erwachsene (Alter 18+), 2019.

Warum sagten so viele Befragte, sie seien besorgt um ihre Privatsphäre, und sträubten sich gleichzeitig dagegen, auch nur einen winzigen Betrag zu bezahlen? Wenn man sie das fragte, lautete eine typische Antwort: »Ich habe nichts zu verbergen.« Aber warum machten sie sich dann überhaupt Sorgen um ihre Privatsphäre? Und wie bereitwillig würde jemand von uns sein Smartphone einem Fremden auf der Straße überlassen, damit er seine Inhalte herunterladen könnte? Denn das ist im Grunde genau das, was Google, Facebook und andere tun, ohne uns zu fragen – das ist der Handel, den wir mit ihnen abschließen, wenn wir mit unseren Daten statt mit einer Gebühr bezahlen. Sie denken vielleicht, Sie seien nur einer von den Millionen Nutzern und deshalb ohne Interesse für den Rest der Welt. Doch etliche Unternehmen oder Organisationen könnten versuchen herauszufinden, ob Sie zu Depressionen neigen und mühelos zu beeinflussen sind, ob Sie schwanger und leicht zum Kauf von Schwangerschaftsprodukten zu bewegen sind, ob Sie als unentschlossener Wähler leicht zu beeinflussen sind, ob Sie eine Affäre haben und mit wem, was Ihr Chef und Ihre Kollegen von Ihnen denken und ob Sie unter einer schwerwiegenden Erkrankung leiden. Diese Daten können von großem Interesse für Firmen, Krankenversicherungen, politische Parteien, Privatdetektive, Arbeitgeber und viele andere sein. Außerdem senden Ihr Smartphone und Ihr smartes Auto Minute für Minute Informationen über Ihren Aufenthaltsort, auch wenn Sie sie gar nicht aktiv benutzen. Der Zugang zu dieser Information könnte auch andere Personengruppen anlocken, zum Beispiel Einbrecher, die wissen möchten, ob Sie zu Hause sind, oder Stalker, die herausfinden möchten, wo Sie sich befinden. Das Geschäft von Stalkern – andere, häufig ehemalige Partner, zu verfolgen, zu beobachten, zu belästigen, um ihnen Angst einzujagen oder Schaden zuzufügen – ist sehr viel einfacher geworden. Tatsächlich haben soziale Medien und Überwachungs-Apps auf Handys ein Paradies für Stalker geschaffen. So berichtete ein weibliches Opfer: »Mein Verfolger scheint wie durch Zauberei zu wissen, wo ich bin.«[336] Das sind nur einige wenige einer Vielzahl von Gründen, warum es in unserem ureigenen Interesse liegt, ein gewisses Maß an Privatsphäre aufrechtzuerhalten.

Die beiden Besonderheiten der Digitaltechnologie – Bequemlichkeit und Überwachung – befinden sich im Konflikt mit der Privatsphäre. Viele Menschen fühlen sich ausgeliefert und wissen keinen Ausweg. Anderen ist die unmittelbare Bequemlichkeit wichtiger als der langfristige Verlust ihrer Privatsphäre. Trotzdem ist es bemerkenswert, dass die meisten nicht bereit sind, auch nur einen Euro zu bezahlen, um ihre Privatsphäre zurückzugewinnen. Vielleicht sind manche auch der Meinung, die Social-Media-Unternehmen würden sich nicht an eine solche Vereinbarung halten oder ihre Daten würden auch von anderen Organisationen gesammelt. Was immer die Gründe sein mögen, es könnte gut sein, dass das Privatsphären-Paradox nur ein kurzes Zwischenspiel der Geschichte bleiben wird. Vielleicht wird man eines Tages in der Überwachung nur ein natürliches Nebenprodukt der Bequemlichkeit sehen – nichts, worüber man sich Gedanken machen müsste.

Neusprech: Alles Private ist Diebstahl

In Orwells 1984 heißt die höchste Kunst der Gedankenkontrolle »Neusprech« (Newspeak). Neusprech ist eine neue Sprache, die bestimmt, was man denken und was man nicht denken kann. Es hat die Aufgabe, die Weltsicht einer Ideologie auszudrücken und anders zu denken undenkbar zu machen. Das bewerkstelligt Neusprech, indem es die Bedeutung von Begriffen verändert oder sogar umkehrt, sodass sie für ihr Gegenteil stehen. In Neusprech ist Krieg Frieden, Freiheit Sklaverei und Unwissenheit Stärke. Es könnte gut sein, dass das Privatsphären-Paradox auf ähnliche Weise gelöst wird. Alles Private ist Diebstahl. Überwachung ist Teilen und Heilen.[337]

Wenn Nutzer mit ihren Daten statt mit ihrem Geld bezahlen, kann die Weigerung, persönliche Informationen preiszugeben, durchaus als Diebstahl angesehen werden. Dieses Geschäftsmodell durchlöchert die Privatsphäre der Nutzer, um mit ihren Daten Geld zu verdienen. Facebook ist ein besonders schönes Beispiel. Es begann mit einer Verletzung der Privatsphäre.

Hot Or Not war eine im Jahr 2000 ins Leben gerufene Webseite, auf der Nutzer die Attraktivität von Frauen und Männern anhand einer Skala von 1 bis 10 bewerten konnten. Im Vorbeigehen Urteile über das Aussehen von Frauen abzugeben oder hinter ihnen herzupfeifen ist eine alte Unart, doch jetzt konnten wenigstens beide Seiten einander bewerten. Schon bald verwandelte sich Hot Or Not in verschiedene Partnerbörsen und regte das Entstehen der ersten Social-Media-Seiten an.[338] Auch YouTube verdankte ihm seine Entstehung und war ursprünglich als Video-Version von Hot Or Not gedacht, auf der man Videos von sich selbst hochladen konnte, es bekam aber nicht genügend Videomaterial zusammen. Hätte damals TikTok schon existiert, das es leicht macht, Selfie-Videos zu drehen, wäre aus YouTube vielleicht die größte Dating-Plattform geworden.

Hot Or Not diente auch als Vorlage für die erste Version von Facebook, die Mark Zuckerberg 2003 als Student in Harvard entwickelte. Es nannte sich FaceMash und zeigte Fotos von Studentinnen. Zuckerberg hatte die Webseiten von Harvards Studentenwohnheimen gehackt, um sich Bilder von den »face books« zu beschaffen, den ursprünglich auf Papier gedruckten Verzeichnissen mit Fotos der Bewohnerinnen von Harvards Studentenwohnheimen. Ohne die Frauen oder Heime um Erlaubnis zu fragen, hatte er die Fotos paarweise gepostet und die Nutzer gefragt, welche »heißer« sei. Die Harvard University schaltete die Seite rasch ab, weil sie gegen das Recht auf Privatsphäre und Urheberrecht verstieß. Ein Jahr später wurde die erste Version dessen, was heute Facebook heißt, für Harvard-Studierende eingerichtet und hat sich seither im Eiltempo über den ganzen Erdball ausgebreitet.

Seit diesem ersten Verstoß hat Facebook zahlreiche weitere Angriffe auf die Privatsphäre seiner Nutzer unternommen, um ihre Daten zu Geld zu machen. 2007 führte Facebook beispielsweise Beacon ein, ein Programm, das es Werbekunden ermöglichte, Nutzern auf ihrem Weg durchs Internet zu folgen und deren Käufe auf der persönlichen Freundesliste zu veröffentlichen. Nach massiven Protesten entschuldigte sich Zuckerberg. Zwei Jahre später brachte Facebook die Bürgerrechtler gegen sich auf, als es die Privatsphäre-Einstellungen seiner Nutzer ohne Warnung und ohne diese um Einverständnis zu fragen so abänderte, dass deren persönliche Posts öffentlich zugänglich wurden. Den Protesten hielt Zuckerberg entgegen, die Erfolgsgeschichte der sozialen Medien bringe es mit sich, dass man keine Privatsphäre mehr erwarten könne.[339] Er mag tatsächlich recht damit haben, aber er meinte dabei nur die Nutzer. Facebook-Manager schirmen dagegen ihr Privatleben mit allen Mitteln ab, und ihre Angestellten müssen in der Regel eine Vertraulichkeitsverpflichtung unterschreiben, bei deren Bruch ihnen schwerwiegende juristische Konsequenzen drohen. Das Geschäftsmodell der Überwachungsbranche sieht vor, dass nur die Nutzer ihre Privatsphäre preisgeben, nicht jedoch die Manager und die echten Kunden der Digitalkonzerne. Das ist der Deal, schlicht und einfach.

Seither haben sich die Verstöße gegen das Recht auf Privatsphäre fortgesetzt und werden von den vielen Nutzern geduldet, für die Facebook die wichtigste Bühne ihres Soziallebens ist. 2018 haben der Observer und die New York Times aufgedeckt, dass Cambridge Analytica, eine politische Beratungsfirma, sich persönliche Daten von Millionen Facebook-Accounts besorgt hatte und heimlich dazu benutzte, politische Anzeigen zu entwerfen, die auf die ahnungslosen Nutzer zugeschnitten waren. Facebook wusste seit 2015 von diesem Problem, unternahm aber wenig, um es zu beheben. Stattdessen drohte das Tech-Unternehmen der Eigentümerin des Observer, der Guardian Media Group, mit rechtlichen Schritten, falls der Observer den Skandal veröffentliche.[340] Erst nach einer weiteren Welle öffentlicher Empörung versprach Facebook, die Menge der Daten, die es an Dritte weitergab, zu reduzieren und es den Nutzern zu erleichtern, ihre Privatsphäre-Einstellungen zu kontrollieren. Auf diesen Skandal hin gingen Hashtags viral, die die Löschung von Facebook-Accounts forderten. Doch sie verpufften fast wirkungslos: Einen Monat später verkündete Facebook, die Zahl seiner Mitglieder sei weiter gewachsen.

Facebook sammelt unter anderem Daten über Herzfrequenz und Eisprung mithilfe von Apps und versucht, aus Posts zu schließen, ob sich junge Leute gestresst, abgelehnt, überfordert, ängstlich, nutzlos oder als Versager fühlen.[341] Das alles, weil man glaubt, es ermögliche seinen Kunden, die Nutzer mit gezielten Anzeigen im richtigen Augenblick zu beeinflussen. Das erinnert mich an frühere Zeiten, etwa im Frankreich des 16. Jahrhunderts, als die Nachbarn alles über einen wissen wollten und auf jedes Knacken der Treppenstufen achteten. Unter solchen Bedingungen war wenig Raum für Privatsphäre, und der wenige, der verblieb, ließ sich leicht mit Klatsch füllen. Jeder beobachtete und kontrollierte jeden anderen rund um die Uhr. Damals waren Menschen wie Sie und ich Untertanen absoluter Herrscher, der einzigen Personen, die nicht ständig öffentlicher Kontrolle unterworfen waren (zumindest waren sie von der Masse durch dicke Mauern getrennt). Diese Herrscher legten die Bedingungen für das Leben gewöhnlicher Menschen fest und boten als Gegenleistung Schutz und andere Dienste. Heute sind die Tech-Unternehmen der neue Adel, der uns die Bedingungen diktiert, und zwar in solcher Länge und einer kaum verständlichen Sprache, dass den modernen Untertanen nichts anderes bleibt, als zu klicken und zu akzeptieren. Diese Bedingungen schließen die Rechte an ihren persönlichen Daten, Fotos, Videos und anderen Produkten ein. Wie Wikipedia uns vor Augen führt, gibt es eine Alternative zu dieser autokratischen Version des Internets.

Zahlen Sie mit Ihrem Geld, nicht Ihrer Privatsphäre

Einigen Menschen kam der Aufbruch in das digitale Zeitalter wie die Französische Revolution von 1789 vor, nur ohne das Blut. Anderen wie das Jahr 1989, als die Bevölkerung der DDR ein Regime stürzte, das die Medien kontrollierte und seine Bürger überwachte. Zwanzig Jahre später, als eine Welle von Demonstrationen den Nahen Osten und Nordafrika überzog, begannen die sozialen Medien tatsächlich eine wichtige Rolle bei der Koordination der öffentlichen Proteste zu spielen. Der Arabische Frühling entfachte eine neue Begeisterung über die befreienden Kräfte des Internets. Jeder kann alles wissen. Geheimnis ist ein Wort, das der Vergangenheit angehört. Für alle Menschen ist ungehinderter Zugang zum Wissen möglich. Die Welt wird wie die Wissenschaft in ihrer idealen Form sein, anders als Politik und Marketing, frei von Zensur und Profitinteressen – oder sogar noch freier als die Wissenschaft, in der eine Handvoll von Verlagen völlig überhöhte Gebühren für den offenen Zugriff auf Artikel verlangt. Es gab einmal eine Zeit, da war das Internet der große Traum von Freiheit, Gleichheit und Brüderlichkeit.

Mit Mitte zwanzig hatten Sergey Brin und Larry Page, die jungen Gründer von Google, eine ähnliche Vision. Wie im ersten Kapitel erwähnt, kritisierten sie 1998 andere Suchmaschinen, die sich mit Werbung finanzierten, weil Werbeeinnahmen die Reihenfolge der Einträge verzerren. In ihren eigenen Worten: »Werbefinanzierte Suchmaschinen werden sich immer eher von den Wünschen der Werbekunden als von den Bedürfnissen der Konsumenten leiten lassen.« Daher sei die Existenz einer »konkurrenzfähigen Suchmaschine, die transparent und wissenschaftlich ausgerichtet ist, von entscheidender Bedeutung«.[342] Als die Dot-com-Krise Silicon Valley im Jahr 2000 heimsuchte, viele Start-ups aufgeben mussten und Googles Webseite immer gefragter wurde, setzten die wichtigsten Risikokapitalgeber die Gründer von Google unter Druck.[343] Schließlich knickten Brin und Page ein, vollzogen eine Kehrtwende um 180 Grad und entwickelten ein Geschäftsmodell, dessen Algorithmen heute zu den bestgehüteten Geheimnissen in der Welt gehören. Gemäß der christlichen Terminologie könnte man diese Hinwendung zu einem werbefinanzierten Geschäftsmodell die »Erbsünde« des Internets nennen.[344] Aber nicht Brin und Page, sondern die Nutzer wurden aus dem Paradies des Wissens vertrieben und zu Objekten der Überwachung gemacht. Im Paradies wurde dafür Platz für Googles neue Kunden geschaffen, die Unternehmen, die für gezielte, personalisierte Anzeigen zahlen.

Überwachungskapitalismus

Eine Dienstleistung im Tausch für persönliche Daten statt für Geld zu liefern, ist eine neue Wirtschaftsform, der sogenannte Überwachungskapitalismus.[345] Er wurde von Google perfektioniert und von Facebook und anderen nachgeahmt. Daten über Nutzer werden gesammelt und Profile angelegt, die Werbekunden ermöglichen, jene Nutzer gezielt anzusprechen, die am ehesten geneigt sind, die Anzeige anzuklicken und schließlich einen Kauf zu tätigen. Der Werbekunde bezahlt die Plattform für jeden Klick, Seitenaufruf oder Kaufabschluss eines Nutzers. Dieses Geschäftsmodell kann nur funktionieren, wenn man insgeheim in die Privatsphäre der Menschen eindringt, wobei dies umso besser gelingt, je rücksichtsloser das Eindringen ist. Anders als der Industriekapitalismus, der physische Güter herstellt und vertreibt, sammelt und analysiert der Überwachungskapitalismus persönliche Daten. Dabei müssen wir unbedingt verstehen, dass der Überwachungskapitalismus keine unvermeidliche Konsequenz einer smarten Welt ist. Es ist ein neues Geschäftsmodell, von Menschen erfunden, um Profit zu machen. Eine smarte Welt eröffnet zwar ungesehene Möglichkeiten zur Überwachung, wäre aber ohne diese wesentlich gesünder für die Gesellschaft.

Wie sind wir dahin gelangt? Nehmen wir das Symbol des Überwachungskapitalismus, den »Cookie«, jenes Codestückchen, das zwischen Ihrem Computer und Servern der Tech-Unternehmen Informationen austauscht. Mithilfe von sogenannten Drittanbieter-Cookies können Unternehmen das langfristige Surfverhalten der Nutzer nachverfolgen und protokollieren, zum Beispiel festhalten, auf welchen Webseiten sie gewesen sind und wann. Als die Cookies in den 1990er Jahren entwickelt wurden, machte man sich ernsthafte Sorgen um den Datenschutz. So hat die US-Regierung im Jahr 2000 Cookies von allen Regierungswebseiten verbannt, und im Jahr 2001 beriet der Kongress über Gesetzesvorlagen, die auch eine Regulierung der Cookies vorsahen.[346]

Doch dann geschah etwas Unerwartetes. Mit dem Terroranschlag vom 11. September veränderte sich alles. Die Angst vor Terrorismus veranlasste die Politik, die Datenschutzbedenken den Sicherheitsbedürfnissen zu opfern. Plötzlich entwickelten die Regierungen großes Interesse an der digitalen Überwachungstechnologie. Auf Betreiben der US-Regierung wurde der Patriot Act verabschiedet, ein Gesetz, das die Bürgerrechte einschränkte. Großbritannien, Frankreich und Deutschland zogen mit ähnlicher Gesetzgebung nach. Das Programm Total Information Aware-ness (Totale Informationskenntnis) und nachfolgende Programme erlaubten den US-Internetunternehmen, die Daten ihrer Nutzer mit wenigen Einschränkungen zu sammeln, und verpflichteten sie im Gegenzug, die Daten auf Verlangen an die Regierung weiterzuleiten. Offiziell dienten diese Maßnahmen dazu, ausländische Terroristen zu entdecken und zu identifizieren, bevor sie einen Anschlag verüben konnten. Die Angst vor Terrorismus führte zu einer nie dagewesenen Zusammenarbeit zwischen Google und den US-Geheimdiensten, vor allem mit der NSA. Später arbeitete Google für den Präsidentschaftswahlkampf von Obama, indem es unentschlossene Wähler identifizierte, die bei den Wahlen von 2008 und 2012 dazu bewegt werden sollten, für Obama zu stimmen – eine Zusammenarbeit, die das Band zwischen Industrie und Regierung noch enger knüpfte. 2016 verließen zweiundzwanzig ehemalige Mitarbeiter des Weißen Hauses die Regierungsmannschaft, um für Google zu arbeiten, während einunddreißig Führungskräfte von Google sich dem Weißen Haus oder Beratungsgremien der Regierung anschlossen. Weitere fünfundzwanzig leitende Mitarbeiter der Geheimdienste oder des Pentagons wechselten zu Google, und drei Google-Manager übernahmen Posten im Verteidigungsministerium.[347] Der Albtraum von 11. September ermöglichte und beschleunigte den Aufstieg des Überwachungskapitalismus.

Angst vor Terrorismus war auch der Grund, warum nicht wenige Bürger bereit waren, den Vorrang von Überwachung durch Staat und Wirtschaft vor Privatsphäre und Freiheit zu akzeptieren. Immer häufiger tauchten Überwachungskameras an Gebäuden und in Straßen auf. Wenn man im Westen von staatlicher Überwachung hört, denkt man automatisch an China. Doch in den USA kommen rund 15 Videoüberwachungskameras auf 100 Einwohner, das sind etwas mehr als in China und rund doppelt so viele wie in europäischen Ländern – Großbritannien und Deutschland zum Beispiel –, die aber aufholen.[348] Als schließlich herauskam, dass die NSA heimlich die Telefongespräche von Millionen Amerikanern nebst ihren persönlichen Daten von Facebook, Google und anderen Hightech-Firmen gesammelt hatte, rechtfertigte die Regierung diesen Eingriff in das Privatleben ihrer Bürger mit der Erklärung, sie schütze sie auf diese Weise vor Terroristen.

Darin liegt eine tiefe Ironie. Es gibt wenig Anhaltspunkte dafür, dass Massenüberwachung mehr terroristische Angriffe verhindert hätte als die traditionelle Terrorismusabwehr in der Zeit davor. Beispielsweise stellte sich heraus, dass die Behauptung der US-Regierung, dank der Überwachung seien 54 terroristische Anschlagspläne durchkreuzt worden, ins Reich der Fake News gehörte.[349] Eine genaue Analyse von 225 durch al-Qaida und andere terroristische Gruppen angeworbenen Personen, die in den Vereinigten Staaten wegen terroristischer Straftaten angeklagt wurden, ergab, dass sie praktisch alle durch traditionelle Ermittlungsmethoden gefasst wurden, etwa durch Verwertung von Tipps aus dem Umfeld der Täter. Massenüberwachung scheint höchstens in ein bis zwei Prozent der Fälle eine Rolle gespielt zu haben.[350] Ganz ähnlich haben auch, wie bereits gezeigt, die Massenüberwachung am Berliner Bahnhof Südkreuz sowie die Predictive-Policing-Algorithmen die Versprechen nicht erfüllt, die in ihrem Namen gemacht wurden. Diese Ergebnisse entsprechen dem Prinzip der stabilen Welt: Die Bekämpfung des Terrorismus ist kein wohldefiniertes Problem, das sich mühelos mit Big Data lösen ließe. Trotz fehlender Beweise für den Nutzen der Massenüberwachung ergriffen dennoch weltweit Regierungen im Schulterschluss mit privatwirtschaftlichen Unternehmen die Gelegenheit beim Schopf und etablierten, was euphemistisch »Sammelerhebung« genannt wird.

Dieser kurze Bericht darüber, wie wir in die staatliche und wirtschaftliche Überwachung gerutscht sind, macht eines deutlich:[351] Es hätte zu keiner der beiden Überwachungsformen kommen müssen.

Zahlen Sie für Dienstleistungen

Nicht nur Ihre Privatsphäre wird vom Überwachungskapitalismus angegriffen, sondern auch Ihre Zeit. Ein Tech-Unternehmen kann mehr Geld von Werbekunden verlangen, wenn die Menschen länger auf seiner Seite verweilen. Daher greifen seine Ingenieure tief in die Trickkiste, um die Nutzer, junge wie alte, möglichst lange auf ihren Seiten zu festzuhalten (siehe dazu das nächste Kapitel). Mit dem Ergebnis, dass Sie Stunden Ihres Lebens in einem Zustand ständiger Ablenkung und Störung durch Anzeigen und Benachrichtigungen verbringen. In einer Studie hieß es scherzhaft, die Aufmerksamkeitsspanne des durchschnittlichen Nutzers nehme konstant ab und sei bereits kürzer als die eines Goldfisches.[352] Spaß beiseite, aber immer mehr Menschen berichten, dass sie Schwierigkeiten hätten, sich länger als ein paar Minuten zu konzentrieren. Dies ist eine gefährliche Entwicklung – stellen Sie sich Lehrer und Richter vor, die außerstande sind, ihre Aufmerksamkeit zu fokussieren – von Chirurgen und Piloten gar nicht zu reden. Beispielsweise sagten 78 Prozent von 439 US-Kardiotechnikern, die die Herz-Lungen-Maschinen während der Operationen am offenen Herzen bedienen, dass Texten, Surfen und Posten während der Arbeit ein Sicherheitsrisiko für den Patienten darstellen. Gleichzeitig berichtete ein Drittel von ihnen, sie hätten beobachtet, wie sich andere Kardiotechniker während einer Bypass-Operation durch ihr Handy hätten ablenken lassen.[353] Darüber hinaus scheinen die psychologischen Tricks, die eingesetzt werden, um Nutzer von Likes abhängig zu machen, für einige Teenager bedenkliche psychische Konsequenzen zu haben. Seit die Smartphones 2007 auf den Markt gekommen sind, haben depressive Symptome, selbstverletzendes Verhalten und ernsthafte Selbstmordgedanken zugenommen, und gleichzeitig haben Selbstakzeptanz und Selbstvertrauen abgenommen. Dies sind jedoch Korrelationen, nicht notwendigerweise Ursachen. Studien berichten, dass Digital Natives ängstlicher als frühere Generationen seien und sich bei Gesprächen von Angesicht zu Angesicht weniger wohl fühlten.[354]

Was können wir gegen diese Entwicklung unternehmen? Ein vielbeachteter Vorschlag ist die sogenannte »Datenwürde« (data dignity), in deren Namen die Social-Media-Unternehmen aufgefordert werden, die Nutzer für ihre Daten zu bezahlen.[355] Das liefe auf eine Minimallösung hinaus, die weder die Überwachung noch den Verlust an Privatsphäre, Zeit und Aufmerksamkeitsspanne wettmachen könnte. Andererseits würde sie zumindest ein gewisses Maß an Fairness bringen. Wie viel Entschädigung könnte der einzelne Nutzer realistisch erwarten? Ich habe mit Leuten gesprochen, die den Wert ihrer Daten auf mindestens hundert Euro im Jahr taxierten, und das sei folglich die Summe, die Facebook ihnen schulde. Machen wir einmal eine schnelle Überschlagsrechnung.[356] Facebook hat rund 2,7 Milliarden monatlich aktive Nutzer.[357] 2019 lagen seine Einnahmen bei 70 Milliarden Dollar, und der Gewinn (die Nettoeinnahmen) betrug 18,48 Milliarden Dollar.[358] Wenn Facebook die Hälfte des Gewinns an seine Nutzer abführte, wie viel bekäme jeder Einzelne? Die Antwort lautet: 9,24 Milliarden Dollar geteilt durch 2,7 Milliarden Nutzer, was ungefähr 3,40 Dollar pro Jahr oder 28 Cent pro Monat ergibt. Mit anderen Worten, sie bekämen pro Person etwa einen Cent pro Tag und wären damit die am schlechtesten bezahlten Arbeiter der Welt. Das ist eine sehr grobe Überschlagsrechnung, aber selbst wenn man sie verfeinern würde, käme dabei nicht viel mehr heraus. Mit anderen Worten, wenn wir uns für unsere Daten bezahlen ließen, liefe es auf ein lausiges Geschäft hinaus.

Was ist die Alternative? Nach meiner Meinung hilft nur ein radikaler Schnitt. Das Geschäftsmodell der Überwachung kann nur beendet werden, wenn die Tech-Unternehmen eine Gebühr für ihre Dienste erheben. Das wäre der Schlüssel, die Privatsphäre zu retten und einer Zukunft mit kommerzieller Überwachung zu entgehen, die leicht in eine staatliche Überwachung abgleiten könnte. Nehmen Sie als Beispiel das Postsystem. Wenn die Post zum Geschäftsmodell des Überwachungskapitalismus übergehen würde, müssten Sie keine Gebühren mehr bezahlen, um Ihre Post zu verschicken; die Beförderung wäre kostenlos. Im Gegenzug würde die Post, um Geld zu verdienen, alle Ihre Briefe offen oder insgeheim lesen und den Inhalt an interessierte Dritte verkaufen. Um Ihre Privatsphäre zu bewahren, müssen Sie mit Geld statt mit persönlichen Daten bezahlen. Im Gegenzug wären die Social-Media-Plattformen verpflichtet, überprüfbar zu gewährleisten, dass unsere Nutzung nicht nachverfolgt wird. Diese Lösung würde die ganze Schadenskette unterbrechen, von der Überwachung über den Verlust von Zeit und Aufmerksamkeit bis hin zu den psychischen Problemen, unter denen unsere Kinder leiden.

Um das zu erreichen, bedarf es einer strengen Gesetzgebung, die den Überwachungskapitalismus zügelt, und der allgemeinen Bereitschaft, eine kleine Gebühr zu bezahlen. Wie viel wäre das? Machen wir eine weitere Überschlagsrechnung, um zu einer groben Schätzung zu kommen. Wie viel müssten Nutzer an Facebook zahlen, um das Unternehmen für die verlorenen Einnahmen zu entschädigen? Facebook verdient den größten Teil seines Geldes mit der Werbung. Seien wir großzügig und ersetzen Facebook seine gesamten Einnahmen. 70 Milliarden geteilt durch 2,7 Milliarden Nutzer würde rund 26 Dollar pro Jahr ergeben oder ungefähr 2 Dollar im Monat. Von den 47 Milliarden Dollar Ausgaben, die Facebook 2019 hatte, könnte dann ein Teil entfallen, da es nicht mehr notwendig wäre, die persönlichen Daten der Nutzer zu sammeln, zu speichern und zu analysieren. In diesem Fall würde Facebook entweder einen größeren Gewinn erwirtschaften, oder man könnte die Gebühr weiter verringern. Auch wenn einige Nutzer vielleicht kündigten, blieben die meisten vermutlich bei der Plattform. Diese grobe Berechnung zeigt, dass das Modell Zahl-mit-deinem-Geld eine realistische Alternative sein könnte.[359]

Pauschalgebühren wären nicht die einzige Wahl. Auch Mikrozahlungen sind eine Möglichkeit. Mozilla und andere Unternehmen haben ein Förderungsprogramm von 100 Millionen Euro ausgelobt, um den Traum von einem Internet ohne Werbung zu verwirklichen. Das würde auch dem endlosen Wettrüsten zwischen den Programmen zur Anzeigenblockierung und den Gegenmaßnahmen der Werbekunden – beispielsweise Anzeigen, die als Nachrichten getarnt sind – ein Ende bereiten.[360]

Um diese Veränderung durchzusetzen, müssen Regierungen bereit sein, sich den Lobbyisten der Social-Media-Unternehmen und ihrer Kunden zu widersetzen und mit entschlossenen Maßnahmen gegen die Datenschutzpraktiken und Geschäftsmodelle der Internetbranche vorzugehen. Das betrifft nicht nur Social-Media-Anbieter, sondern alle Unternehmen, die es auf unsere Daten abgesehen haben. Das Recht zur Ablehnung von Cookies reicht nicht aus; viele Unternehmen unterlaufen dies, indem sie die Ablehnung zu einer zeitraubenden Prozedur machen, bewusst darauf angelegt, die Nutzer zu nerven. Wenn man bei jeder Ablehnung eine Reihe von Klicks und Scrolls absolvieren muss, dann gibt man schließlich auf und erklärt mit einem einzigen Klick das Einverständnis. Gleichzeitig dürfen wir das wachsende Maß an Überwachung und deren psychische Konsequenzen nicht einfach so hinnehmen. Es ist wichtig zu begreifen, dass das Zahlen mit Daten der Kern des Problems ist. Diesen Schritt zu tun wird ebenso schwierig sein, da wir doch jetzt an kostenlose Dienstleistungen gewöhnt sind und es uns widerstrebt, für Datenschutz zu zahlen. Es ist an der Zeit, aufzuwachen und zu handeln. Wir können die sozialen Medien auch ohne solche negative Konsequenzen genießen.

Die Vermarktung unserer Aufmerksamkeit begann mit dem Geschäftsmodell von Google und wurde durch viele konkurrierende Social-Media-Plattformen verstärkt. Das Modell Zahl-mit-deinem-Geld würde damit Schluss machen. Allerdings ist diese Maßnahme kein Allheilmittel. Sie könnte wenig gegen eine verwandte Überwachungsbranche ausrichten, die sich in unserer Offline-Welt etabliert hat. Unser Verhalten wird jetzt von fast jedem Produkt aufgezeichnet, das mit der Vorsilbe »smart« oder »intelligent« versehen ist. Haben Sie sich jemals gefragt, warum Ihre neue Matratze oder Ihr neuer Fernseher eine Datenschutzerklärung braucht?

Schlafwandelnd in die Überwachung

Schlafwandeln oder Somnambulismus ist eine Mischung aus Schlafen und Wachen. Schlafwandler gehen mit offenen Augen. Wenn sie weit entfernt von ihrem Bett aufwachen, sind sie in der Regel überrascht und desorientiert: Wie sind sie dort hingelangt? Schlafwandeln in die Überwachung heißt, dass wir uns mit offenen Augen aus Freiheit und Privatsphäre entfernen und beim Aufwachen nicht fassen können, wie wir dorthin gelangt sind. Für einige fing alles in ihrem Kinderzimmer an.

Intelligente Puppen

Mattels Barbie war der Comicstrip-Figur Lilli aus der Bild-Zeitung nachempfunden, einer kecken, exhibitionistischen Blondine mit Pferdeschwanz, einem Sexsymbol, das die Wünsche der männlichen Bild-Leser bediente. Wie Lilli hatte die erste Version von Barbie unrealistisch lange, dünne Beine und eine Wespentaille; der Version von 1963 lag sogar ein Buch bei, das den Titel How to Lose Weight (Wie man abnimmt) trug und auch die passende Empfehlung hatte: »Hör auf zu essen«.[361] Barbie vertiefte also das Gefühl vieler weiblicher Teenager, ihr Körper sei unattraktiv und zu dick. 1992 erschien die zweite Version von Barbie auf dem Markt, die Sätze sprechen konnte wie: »Mathe ist schwer. Gehen wir shoppen.«[362] Diese Weisheiten bestärkten die Mädchen in der Überzeugung, sie könnten in Mathe nicht mit den Jungen mithalten, und werteten sie zu reinen Konsumenten ab. 2015 kam die dritte Version auf den Markt, die Hello Barbie hieß, aber bald »Abhör-Barbie« genannt wurde. Diese interaktive Barbie kann auf Sorgen, Hoffnung und Gefühle antworten, die Kinder ihrer Puppe anvertrauen. Doch ohne ihr Wissen zeichnet die Puppe ihre intimen Mitteilungen auf und schickt sie über das Netz auf einen Server, wo sie analysiert werden. Diese Gespräche werden an Dritte verkauft, unter anderem auch an die Eltern, die wählen können, ob sie die Audioaufzeichnungen täglich oder wöchentlich erhalten wollen.[363] Hello Barbie bekam den Big Brother Award, weil sie den Eltern ermöglicht, ihre Kinder auszuspionieren.[364] Man kann sich vorstellen, wie ein Kind sich fühlt, wenn es schließlich herausbekommt, dass seine geliebte Puppe – mitsamt seinen Eltern – es belauscht und verraten hat.

Aber vielleicht kommt es auch zu einem grundsätzlichen Wandel. Vielleicht fühlen sich Kinder gar nicht mehr verraten, weil sie die ständige Überwachung als gegeben hinnehmen und das Konzept von privatem Raum und privater Zeit gar nicht ausbilden. In dieser möglichen Zukunft passen Kinder ihre Gefühle den Möglichkeiten der Technologie an. Spiel ist Überwachung. Überwachung ist Sicherheit.

Abhören ist ein Übergriff. Die Natur des kindlichen Gesprächs zu verändern ein anderer. Seit jeher sprechen Kinder mit ihren Puppen und Stofftieren, statten sie mit Persönlichkeiten aus, knüpfen enge Beziehungen zu ihnen, bauen sie in ihre Rollenspiele und Gespräche ein. Jetzt bringen die Algorithmen in Hello Barbie das Gespräch auf Produkte, die vermarktet werden sollen: Popkultur, andere Barbie-Produkte, die neuesten Filme, Musiker. Ohne die Möglichkeit, ihre eigene Vorstellungskraft und Kreativität frei zu entfalten, werden die Kinder vermutlich verlieren, was sie bis dahin entwickelt haben. Sie müssen sich den begrenzten Möglichkeiten der Technologie anpassen – und den Werten der Unternehmen, die alles inszenieren: der Mode, dem Wunsch, schlank zu sein, und einer längst überlebten Auffassung von der Rolle der Frau im Leben.

Intelligente Häuser

Bei einer Sitzung im Berliner Bundesministerium der Justiz und für Verbraucherschutz hatten wir eine Klausurtagung mit zwei Männern in Kapuzenjacken, deren Lebenslauf eine faszinierende Berufskombination aufwies: Beide waren sie Hacker und Professoren für Internettechnologie. Sie waren gekommen, um Stellung zu Fragen der Internetsicherheit zu nehmen und Vorschläge abzugeben, was das Recht hier tun kann. Am Ende des Treffens fragte ich sie, was sie für die größte Gefahr der kommerziellen Digitalwelt hielten. Ihre Antwort kam wie aus der Pistole geschossen: Smart Homes.

Intelligente Häuser (smart homes) sind das bekannteste Produkt des Internets der Dinge. Ein intelligentes Haus enthält Apparate und Geräte wie Kühlschränke und Kaffeemaschinen, die miteinander vernetzt und ans Internet angeschlossen sind. Dank dieser Technologie können Sie die Kaffeemaschine mit dem Smartphone einschalten, bevor Sie aus dem Bett klettern, Ihren digitalen Assistenten fragen, wie spät es ist, oder mit dem Fernseher ins Internet gelangen. Wenn Sie im Urlaub sind, erlauben Ihnen intelligente Alarmsysteme, Tag und Nacht zu überprüfen, ob sich irgendeine verdächtig aussehende Person um Ihr Haus herumschleicht. Durch die Verbindung mit dem Internet kann Ihr Fernseher oder Kühlschrank Minute für Minute Daten über Ihre Handlungen an seinen Hersteller, etwa Samsung, schicken. In naher Zukunft kann es durchaus sein, dass auf der Oberfläche Ihres Kühlschranks oder an den Wänden personalisierte Werbung erscheint.

Intelligente Häuser werden als Sicherheitssysteme angepriesen, daher war die Antwort der Hacker einigermaßen überraschend. Warum glaubten sie, dass diese ein so großes Sicherheitsrisiko darstellten? Sie befürchteten, intelligente Häuser könnten fatale Sicherheitslücken aufweisen. Selbst scheinbar harmlose Objekte wie intelligente Glühlampen, Stromzähler und Alarmsysteme können von Hackern als Eintrittspforten genutzt werden. Wenn die von Ihnen vorgenommene Programmierung vorsieht, dass die Glühlampe angeht und die Alarmanlage sich ausschaltet, wenn Sie zu Hause sind, kann ein Hacker, der Zugriff auf die Glühlampe hat, diese auf »zu Hause« schalten und damit das Alarmsystem außer Gefecht setzen. Intelligente Glühlampen, Kühlschränke, Fernseher, Sicherheitskameras und andere Geräte sind kaum gegen Hacker geschützt; sonst wären sie unverhältnismäßig kostspielig. Da sie massengefertigt sind, braucht sich ein Hacker nur ein einziges solches Gerät zu kaufen, dessen Schwachstellen herauszufinden und kann diese Kenntnisse dann gegen alle nutzen, die das Produkt besitzen.[365]

In einer Studie entwickelten 50 Experten für Sicherheit, Cyber-Sicherheit, Terrorismusbekämpfung und Sozialwissenschaften 24 Szenarien für Sicherheitspannen, die durch die intelligenten Geräte verursacht werden könnten.[366] Das für das wahrscheinlichste erachtete Szenario ist die Erpressung. Mit Ransomware können sich Kriminelle in die Geräte hacken und beispielsweise Webcams dazu benutzen, die Opfer aufzunehmen und zu erpressen. So haben sich Forscher der University of Michigan in Samsungs Smart-Things-Plattform gehackt, was ihnen ermöglichte, die Glühlampen unter ihre Kontrolle zu bringen, ihren eigenen PIN-Code in das Schloss der Vordertür einzuprogrammieren und die Tür zu öffnen.[367] Die Wissenschaftler gelangten zu dem Schluss, es gebe so viele Schwachstellen in intelligenten Häusern, dass sie sich unmöglich alle auf einmal beheben lassen.

Ein weiteres als sehr realistisch eingeschätztes Szenario betrifft Sexualstraftaten. Über intelligente Geräte kann ein möglicher Sexualtäter Informationen über die Gewohnheiten und Aufenthaltsorte des prospektiven Opfers sammeln, sodass er weiß, wann er zuschlagen kann. Zu diesem Szenario gehört auch, dass er sich in Geräte wie Webcams oder Fernseher hackt, um die sexuellen Aktivitäten der Bewohner zu beobachten und aufzuzeichnen. In einem apokalyptischen Szenario, das in dem Roman Blackout beschworen wird, werden intelligente Stromzähler gehackt, woraufhin es zu einem Stromausfall kommt.[368] Infolgedessen werden die Nahrungsmittel knapp, die Menschen kämpfen um Benzin, Aufstände brechen aus, Smartphones können nicht mehr aufgeladen werden und Kernkraftwerke laufen auf Notstromaggregaten, bis die Kernschmelze beginnt und radioaktive Wolken entweichen. Blackout ist Sciencefiction, aber Häuser mit intelligenten Stromzählern sind Realität. Die Fukushima-Katastrophe hat gezeigt, was ein Ausfall der Notkühlsysteme in Kernkraftwerken bewirken kann.

Um ihre Dienstleistungen liefern zu können, müssen intelligente Häuser die Bewohner überwachen. Dabei ermöglicht die Technologie ein nie dagewesenes Maß an Überwachung, das sich oft als nützlich erweist, etwa wenn Eltern die Atmung ihres Babys auf dem Smartphone überprüfen können oder später die Möglichkeit haben nachzuverfolgen, wo sich ihre Teenager aufhalten. Doch es gibt einen unmerklichen Übergang von nützlicher Überwachung zu weniger wünschenswerten Formen. Dieselben Apps, denen Eltern verdanken, dass sie jederzeit wissen, wo sich ihre Teenager befinden, können zu Apps umfunktioniert werden, mit denen die Besitzer herausfinden können, wo sich ihre Ex-Partner im Augenblick befinden. Wenn man alles mit allem vernetzt, wird die Welt sehr viel bequemer, aber auch sehr viel angreifbarer.

Allerdings sind sich nur wenige Käufer von intelligenten Häusern darüber im Klaren, dass sie sich zusammen mit der Bequemlichkeit auch Überwachung gekauft haben. In einer Umfrage, die ich durchführte, war sich nur einer von sieben Befragten bewusst, dass ein intelligenter Fernseher aufzeichnet, was immer Sie sagen. Das lässt sich relativ leicht herausfinden. »Bitte denken Sie daran, dass Ihre sprachlichen Äußerungen über persönliche oder andere sensible Inhalte zu den Daten gehören werden, die registriert und an Dritte weitergegeben werden«, kann man in Samsungs Datenschutzerklärung nachlesen.[369] Und wenn Sie zum Personenkreis von besonderem Interesse für Geheimdienste gehören, kann man Sie mithilfe Ihres intelligenten Fernsehers beobachten, selbst wenn Sie das Gerät abgeschaltet haben. Dazu meinte der frühere CIA-Direktor Michael Hayden: »Im Grunde genommen will man, dass wir die Möglichkeit haben, diese Abhörvorrichtung einzuschalten, damit wir erfahren können, was die Zielperson für Absichten hat. Das ist eine unschätzbare Fähigkeit.«[370]

Dabei hatte man das intelligente Haus ursprünglich nicht entwickelt, um seinen Bewohnern nachzuspionieren. 1991 hatte der Informatiker Mark Weiser von dem intelligenten Haus als Teil einer vollkommen intelligenten Welt geträumt, wo alle Dinge aus winzigen Computern bestehen, von der Kleidung bis zu den Küchengeräten.[371] Alle diese Rechner sollten als unsichtbare Diener überall anwesend sein. Gemäß seinem Traum sollte sich das Internet mit dem Stoff vernetzen, aus dem die Alltagswelt besteht, und es auf diese Weise von speziellen Geräten wie PCs und Smartphones befreien. Die Menschen ihrerseits bräuchten dann nicht mehr den ganzen Tag in fensterlosen Büros vor Computerbildschirmen zu sitzen. Weiser berücksichtigte zwar, dass übereifrige Politiker und Marketingstrategen diese Technologie missbräuchlich einsetzen könnten, glaubte aber, dass kryptografische Techniken die privaten Daten vor unberechtigten Zugriffen schützen würden. Weiser hatte eine klare Vorstellung von der Zukunft der Technologie, konnte aber ihre Vereinnahmung durch den später erfundenen Überwachungskapitalismus nicht vorhersehen. Noch konnte er dessen Pakt mit den staatlichen Organen ahnen.

Überwachung und Manipulation kommen jedoch auch in anderen, mehr oder weniger subtilen Formen vor.

Big Nudging

Sozialkredit-Systeme beeinflussen Menschen mit Zuckerbrot und Peitsche: Wenn Belohnungen nicht wirken, wird unerwünschtes Verhalten bestraft. Doch es gibt eine subtilere Art, Menschen zu beeinflussen. Nudging, die versteckte Manipulation, ist ein Kontrollsystem, das weder Zuckerbrot noch Peitsche braucht, sondern sich stattdessen der Psychologie bedient, um Menschen zu veranlassen, sich in der gewünschten Weise zu verhalten.[372] Big Nudging ist die Kombination von Big Data (oder Digitaltechnologie im Allgemeinen) mit Nudging. Man sucht nach Schwachpunkten der Menschen, um diese dann in großem Maßstab zu beeinflussen.

Nehmen wir an, das Top-Management eines Tech-Unternehmens befürchtet, ein politischer Kandidat könnte die Branche regulieren und das Unternehmen zwingen, Steuern wie alle anderen zu zahlen. Das Management sähe es natürlich lieber, dass die Menschen einen anderen Kandidaten wählten, der sich gegen die Regulierung entscheidet. Aber es kann weder mit Zuckerbrot und Peitsche arbeiten noch alle Stimmen kaufen. Was bleibt ihm dann? Big Nudging ist die Antwort: einen Ansatzpunkt im Verhalten der Menschen zu entdecken, der ihnen erlaubt, sie so zu beeinflussen, dass sie von sich aus den Favoriten des Managements wählen. Hier ein Beispiel:[373]

Klick-Drang: Vielen Menschen fehlt eine Klick-Hemmung. Infolgedessen erfolgen rund 90 Prozent aller Klicks auf der ersten Seite eines Suchresultats, und die Hälfte von diesen gilt den ersten beiden Einträgen.

Die nächste Frage lautet: Wie lässt sich der Drang zum Klicken ausnutzen? Das Unternehmen kann den Seitenrang-Algorithmus seiner Suchmaschine so abändern, dass die positiven Berichte über den favorisierten Kandidaten eher auf der ersten Seite erscheinen und die negativen auf späteren Seiten – und umgekehrt bei dem Kandidaten, den das Unternehmen ablehnt. Die überwiegende Mehrheit der Nutzer, die kaum über die erste Seite hinausgelangen, wird infolgedessen mit höherer Wahrscheinlichkeit bei den positiven Berichten über den favorisierten Kandidaten landen und die negativen Berichte gar nicht lesen. Das wird nicht ohne Einfluss auf die Meinung der Nutzer bleiben, sodass sie wiederum eher für diesen Kandidaten stimmen werden. Es besteht keine Notwendigkeit, einen einzigen Wähler zu überreden, zu bestechen oder zu zwingen.

Aber wird es klappen? Nicht bei Wählern, die sich bereits eine Meinung gebildet haben, aber die Unentschlossenen könnte es durchaus beeinflussen. Bei vielen Wahlen, die knapp ausgehen, könnte dies die entscheidende Wählergruppe sein.

Der Psychologe Robert Epstein – Sie erinnern sich: der Mann, der zu einer Verabredung mit einer Frau ging, die das Bild einer anderen Frau gepostet hatte, außerdem auch zufällig Skinners letzter Doktorand – beschloss, den Gedanken zu testen.[374] Er wies nach, dass die Manipulation in Laborexperimenten Erfolg hatte. Aber gilt das auch für die Wirklichkeit?

Wahlen in Indien sind mit mehr als 800 Millionen potenziellen Wählern die umfangreichsten demokratischen Wahlen der Welt. 2014 bewarben sich drei Kandidaten um das Amt des Premierministers: Narendra Modi, Arvid Kejriwal und Rahul Gandhi. Modi ist vor allem als Hindu-Nationalist bekannt, Kejriwal als Antikorruptionskämpfer und Gandhi als Einiger des Landes, der sich dem Abbau kastenbedingter und religiöser Spannungen widmet. Kurz vor den Wahlen warb Epstein 2150 unentschlossene Wähler in ganz Indien an. Er setzte sie vor Computer, wo sie sich mithilfe einer Internet-Suchmaschine über die Kandidaten informieren konnten. Die Webseiten waren manipuliert worden: Für eine Gruppe von Wählern tauchten auf der ersten Seite mehr positive Texte über Modi und auf den späteren Seiten mehr negative Texte auf. In den anderen Gruppen wurde für die beiden verbliebenen Kandidaten genauso verfahren.

Die Manipulation blieb fast unbemerkt; 99,5 Prozent der Teilnehmer nahmen sie nicht wahr. Dennoch war sie erfolgreich. Epstein berichtete, dass die manipulierten Suchmaschinen die Präferenzen der unentschlossenen Wähler um rund 20 Prozent verändern konnten. Wie viel ist das absolut? Stellen Sie sich einhundert Wähler vor, zehn von ihnen sind unentschlossen. Ohne Manipulation der Suchmaschine würde die Hälfte dieser Zehn schließlich für Ihren Wunschkandidaten stimmen.[375] Nach der Manipulation würde die Zahl von fünf auf sechs klettern, das heißt, ein absoluter Zuwachs um einen Prozentpunkt. Wären mehr Wähler unentschlossen, würde der Effekt größer. Ein Prozentpunkt ist nicht viel, aber er könnte bei einem engen Wahlausgang den Ausschlag geben.

Angesichts dieser Möglichkeit kann man sich kaum vorstellen, dass die Besitzer von Suchmaschinen nicht versucht wären, in wichtigen Wahlen von ihrer Macht Gebrauch zu machen. Schließlich wäre der Eingriff kaum zu entdecken, weil die Algorithmen für das Seitenranking streng geheim sind. In Ländern wie Deutschland, in denen die große Mehrheit der Einwohner ein und dieselbe Suchmaschine benutzt, könnte ein einziges Unternehmen die Wahl entscheiden.

Big Nudging, kleine Wirkung

Wie kann man Menschen überhaupt zum Wählen animieren? Für Big Nudging muss man wieder einen psychologischen Bias entdecken und ihn nutzen. Nehmen wir die US-Kongresswahlen von 2010. Am Wahltag erhielten 61 Millionen Facebook-Nutzer eine Nachricht, die sie aufforderte, wählen zu gehen, und einen Link zu örtlichen Wahllokalen. Die Erinnerung blieb vollkommen wirkungslos.[376] Erst als den Nutzern zusätzlich sechs Bilder von engen Facebook-Freunden gezeigt wurden, die bereits gewählt hatten (oder es zumindest sagten), wuchs die Wahlbereitschaft um 0,39 Prozentpunkte. Das ist wiederum nicht viel, und doch schätzten die Autoren, dass bei so vielen Millionen Nutzern rund 60 000 Menschen mehr zur Urne gingen. Und wenn diese Nutzer dann ihre besten Freunde motivieren, kann der Schneeballeffekt noch einmal viele andere Wähler mobilisieren. Wieder hat man von einer psychologischen Neigung Gebrauch gemacht:

Imitation: Tu das, was deine besten Freunde tun.

Tatsächlich waren die vertrauten Gesichter von Freunden, die erklärten, sie hätten gewählt, von ausschlaggebender Bedeutung. Die Studie belegt deutlich, wie notwendig psychologische Kenntnisse sind, damit die Technologie ihre Wirkung entfalten kann. Diese Methode lässt sich für das Allgemeinwohl einsetzen, indem man beispielsweise die Teilnahme an politischen Entscheidungsprozessen verstärkt. Doch Big Nudging kann auch jemand nutzen, der das Wahlergebnis zugunsten eines bestimmten Kandidaten beeinflussen möchte. Hätte Facebook nur Wähler angesprochen, die eher geneigt waren, für eine bestimmte Partei zu stimmen, hätte das Unternehmen die Wahlbeteiligung für diese Partei erhöht.

Diese Studie löste viel Besorgnis aus. Man befürchtete, Facebook und andere Internet-Unternehmen könnten ihre angeblich beispiellose Macht dazu nutzen, Wählerstimmen zu beeinflussen oder zu fabrizieren.[377] Gleichzeitig belegte die Studie abermals, dass Big Nudging, wie die Wahlwerbung auch, Wähler nur geringfügig für oder gegen politische Kandidaten manipulieren kann.[378] Doch bei knappen Wahlausgängen in Winner-take-all-Systemen wie den US-Präsidentschaftswahlen von 2016 und 2020 können selbst kleine Effekte entscheiden, wer gewinnt. Wenn kleine Effekte durch große Zahlen verstärkt werden, gewinnen sie an Kraft.

Kann Facebook Ihre Gefühle manipulieren?

Forbes berichtete über eine Studie von Facebook und der Cornell University, nach der das Unternehmen in der Lage sei, Ihre Stimmung durch Manipulation Ihres Newsfeeds positiv oder negativ zu beeinflussen.[379] Mehr als 689 000 Facebook-Nutzer nahmen unwissentlich an diesem Massenexperiment zum Thema »emotionale Ansteckung« teil. Für einige von ihnen filterten die Forscher eine Anzahl Posts in ihrem Newsfeed aus, die positive Emotionen aufwiesen; für andere ließen sie Posts aus, die negative Gefühle enthielten. Dann lasen sie die nachfolgenden Posts der Nutzer und zählten die Wörter mit positivem und negativem Inhalt. Nutzer, die weniger positive Wörter sahen, posteten anschließend Nachrichten mit weniger positiven Wörtern, und diejenigen, die Nachrichten mit weniger negativen Wörtern erblickten, posteten Mitteilungen mit weniger negativen Wörtern. Der Guardian und viele andere seriöse Zeitungen berichteten, Facebook habe ein Mittel entdeckt, uns glücklicher und trauriger zu machen. Erstaunen und Bestürzung bestimmten die nachfolgende leidenschaftliche Debatte.[380] Viele waren erbost, weil Facebook ihren Newsfeed manipuliert und sie wie Laborratten behandelt hatte. Dabei hatten sie sich mit solchen Experimenten einverstanden erklärt, als sie Facebooks Datenschutzerklärung mit einem Klick ungelesen zustimmten. Schließlich liegt es in Facebooks Interesse, Methoden zur Manipulation der Gefühle seiner Nutzer zu entwickeln, damit seine Werbekunden Nutzer erreichen können, die in der passenden Stimmung sind. Einige Produkte lassen sich eher Menschen verkaufen, die sich traurig und verletzlich fühlen, andere sprechen eher Menschen an, die sich in einer glücklichen Verfassung befinden.

In der Debatte wurde aber weitgehend eine wichtige Frage übersehen: Wie groß ist der Effekt überhaupt? Reduzierte man die positiven Posts im Newsfeed, ging der Prozentsatz positiver Posts in den Status-Updates der Nutzer um 0,1 Prozentpunkte zurück, von durchschnittlichen 5,2 Prozent auf 5,1 Prozent positive Wörter, und der Rückgang negativer Wörter war noch geringer, lediglich 0,04 Punkte. Mehr hat die Studie eigentlich nicht gezeigt. Außerdem ist nicht klar, ob die winzige Veränderung tatsächlich, wie behauptet, auf emotionale Ansteckung zurückzuführen ist. Wenn Facebook den positiven Post herausfiltert, den mir Max geschickt hat, habe ich keinen Anlass, ihm mit positiven Worten zu antworten. Daraus alleine können schon weniger positive Wörter resultieren – ohne dass eine emotionale Ansteckung im Spiel ist.

Was verraten uns diese Experimente über die Fähigkeit des britischen Unternehmens Cambridge Analytica, Wahlen zu beeinflussen? Aus den Experimenten kann man schließen, dass der Effekt geringer war, als Alexander Nix, der ehemalige CEO, vollmundig behauptet hatte. Der US-Senator Ted Cruz hatte mehr als 5 Millionen Dollar an Cambridge Analytica für die Beeinflussung der Wähler bezahlt; und russische Hacker versuchten, Trump 2016 zum Wahlsieg zu verhelfen. Trotz aller Versprechen der Unternehmen, mit Big Nudging Wähler umstimmen zu können, gibt es einen stichhaltigen Grund, an dem Ausmaß dieser Effekte zu zweifeln. Das Prinzip der stabilen Welt legt den Schluss nahe, dass in einer ungewissen Welt, in der Wähler vielfältigen Einflüssen unterworfen sind, Vorhersagen mit Big Data nur begrenzten Erfolg haben können und dass anschließende Versuche, durch Big Nudging Wähler zu manipulieren, relativ wenig ausrichten. Die oben berichtete experimentelle Evidenz bestätigt diese These. Trotzdem bleibt Anlass zur Sorge, denn auch geringfügige Effekte von Big Nudging können bei knappen Wahlergebnissen den Ausschlag geben.

Meine Schlussfolgerung lautet, dass Big Nudging die Öffentlichkeit tatsächlich unmerklich manipulieren kann. Aber dieser Effekt wird von Tech-Unternehmen übertrieben, um politische Parteien und andere Interessenten zum Kauf ihrer Dienstleistungen zu bewegen. Die wirksameren Instrumente zur Verhaltenskontrolle von Menschen sind das Zuckerbrot und die Peitsche von Sozialkredit-Systemen in Verbindung mit pausenloser Überwachung und deren Rechtfertigung durch den Staat mit der Erklärung, es diente dem Schutz der Bürger. Die versteckten Versuche, unsere Verhaltensweisen und Gefühle durch Big Nudging zu manipulieren, und die offenen Versuche, sie durch Sozialkredit-Systeme zu beeinflussen, zeigen einmal mehr, wie wichtig es ist, dass wir uns die Kontrolle über die Technologie nicht aus den Händen nehmen lassen.

Blick in die Zukunft

In den frühen Tagen des Internets zeigte eine Karikatur des New Yorker einen Hund, der vor einem Computer saß: »Im Internet weiß niemand, dass du ein Hund bist.« Damals war das ein Witz. Zwanzig Jahre später saß Edward Snowden an dem Computer eines Beratungsunternehmens der NSA und war in der Lage, die E-Mails eines Fremden zu lesen, seine Telefongespräche zu belauschen und ihn zu beobachten, wie er vor seinem Computer saß und ein Kleinkind auf dem Schoß hielt.[381] Die Spionagesoftware heißt XKeyscore und ermöglicht die fast unbegrenzte Überwachung jeder Person an jedem Ort. Erinnern Sie sich an das Foto, das Facebook-CEO Zuckerberg postete, um Instagrams Sprung auf 500 Millionen Nutzer zu feiern? Im Hintergrund zeigt es seinen Laptop mit überklebter Kamera. Die Zeiten, als Hunde unerkannt ins Internet gehen konnten, sind lange vorbei.

In dem Buch Jenseits von Freiheit und Würde vertritt Skinner die Auffassung, dass Freiheit nicht die Lösung, sondern das Problem sei. Die Menschen seien frei, ihre Angestellten auszubeuten, die Umwelt zu zerstören und Kriege zu führen. Statt die Freiheit zu preisen, sollten wir lieber gerechtes, umweltfreundliches und friedliches Verhalten belohnen, damit schädliches Verhalten noch nicht einmal gelernt wird. Skinner glaubte ehrlich, die Welt lasse sich nur durch strenge Verhaltenskontrolle verbessern. Wie wir im nächsten Kapitel sehen werden, haben Social-Media-Unternehmen diese Techniken übernommen, allerdings mit einer anderen Motivation. Skinners Techniken dienen nun dazu, die Menschen an die Apps zu fesseln und das Bedürfnis zu wecken, möglichst rasch zu ihnen zurückzukehren. Der Schutz der Umwelt spielt kaum noch eine Rolle. Ganz im Gegenteil, das Internet und die riesigen Server und Datenzentren, die es versorgen, machen 3 bis 4 Prozent der weltweiten Treibhausemissionen aus, was in etwa dem Ausstoß der gesamten Luftfahrtbranche entspricht und zu ansteigenden Temperaturen, erhöhten Windgeschwindigkeiten und Großflächenbränden beiträgt.

Wohin führt uns diese Invasion der Privatsphäre? Beginnen wir mit zwei besonderen Merkmalen, die unsere Zukunft prägen könnten. Erstens ist da die fehlerbehaftete Ideologie des technologischen Solutionismus, nach der jedes soziale Problem ein Defekt ist, der durch Technologie behoben werden muss. Beispielsweise haben Führungskräfte von Tech-Unternehmen vorgeschlagen, dem Übel der Fake News und Hassreden mit der Entwicklung neuer KI-Tools zu begegnen.[382] Zweitens arbeiten Internetbranche und Staat enger zusammen, als die meisten von uns denken. Wenn wir diese beiden Merkmale miteinander verbinden, bekommen wir vielleicht eine Ahnung davon, was passieren könnte (Abbildung 8.2).

Als ich als Sachverständiger für das Bundesministerium der Justiz und für Verbraucherschutz Experten interviewte, schälte sich ein mögliches Szenario heraus – wobei wir natürlich nicht vergessen dürfen, dass alle Aussagen über die Zukunft immer unsicher sind. Das Szenario besteht aus drei Phasen.

ABBILDUNG 8.2: Eine künstlerische Darstellung der Evolution vom Homo sapiens zum Homo digitalis, wie er sich schlafwandelnd in die digitale Überwachung begibt. © iStock by Getty Images

Phase eins: China bekennt sich offen zur Überwachung, der Westen betreibt sie geheim

Beginnen wir mit den größten Datenprojekten der Welt, die gemeinsam von Regierungen und Hightech-Unternehmen durchgeführt werden, dem Sozialkredit-System in China und Aadhaar in Indien. Aadhaar erfasst in einer Datenbank Indiens 1,3 Milliarden Bürger, einschließlich demografischer und biometrischer Informationen wie dem Irisscan.[383] Beide Programme sammeln Daten, um ihre Bürger zu schützen und ihr Verhalten zu kontrollieren. In einer ersten Phase, die gegenwärtig stattfindet, entwickeln und testen China, Indien und andere Staaten mithilfe ihrer Technologieunternehmen die Software und Hardware und können sich dabei auf eine bemerkenswerte öffentliche Akzeptanz stützen. Das Bewusstsein, dass man von einem »digitalen Auge« beobachtet wird, verändert das Verhalten, verringert die Neigung zu Gewalttätigkeit, verstärkt moralisches Handeln und erhöht die Wirtschaftsleistung. Die erfolgreiche Nachverfolgung Infizierter während der Corona-Pandemie in China stellte den Nutzen der strengen Überwachung unter Beweis und bot dem Staat eine willkommene Gelegenheit, den Ausbau der Technologie zu beschleunigen. Das Vertrauen in die Regierung und der erzieherische Effekt der Überwachung sind groß. Beispielsweise billigten 80 Prozent der Chinesen in einer anonymen Online-Befragung die Sozialkredit-Systeme, während sie nur von einem Prozent abgelehnt wurden (der Rest war unentschieden).[384]

In der ersten Phase schenken die meisten Bewohner der westlichen Welt diesen Vorgängen wenig Aufmerksamkeit und halten sie für ein »chinesisches Problem«. Nur wenige scheinen zu bemerken oder wollen zur Kenntnis nehmen, dass sich ähnliche Entwicklungen im Westen abzeichnen – und das, obwohl Edward Snowden enthüllt hat, dass die US-Regierung heimlich mit Apple, Facebook, Google, Microsoft und anderen Internet-Unternehmen nationale und globale Überwachungsprogramme betreibt. Überwachung bedeutet nicht, dass jemand persönlich Ihre Nachrichten liest oder Ihre Telefonanrufe abhört, obwohl auch das passieren kann, sondern dass Ihre Metadaten aufgezeichnet werden. Minute für Minute wird festgehalten, welche Webseiten Sie angesehen haben, wo Sie waren, wo Sie die Nacht verbracht haben, mit wem und wie lange – Ihr vollständiger digitaler Fußabdruck. Als Snowden das ganze damals unbekannte Ausmaß der staatlichen Überwachung in den Vereinigten Staaten enthüllte, verschloss die Mehrheit der Amerikaner die Augen davor und begrüßte stattdessen, dass man ihn wegen Landesverrats vor Gericht bringen wollte.[385] In Großbritannien entwickelte der britische Geheimdienst Government Communications Headquarter (GCHQ) ein ähnliches Programm zur Massenüberwachung mit dem Codenamen KARMA Police, das alle Online-Aktivitäten der Bürger erfasste – Instant Messaging, E-Mails, Skype-Anrufe, Telefongespräche, Besuche auf Pornoseiten, Social Media, Chat-Foren und so fort.[386] GCHQ hackte auch die Computernetze europäischer Unternehmen und des größten SIM-Karten-Herstellers der Welt, Gemalto, indem er heimlich die Entschlüsselungscodes stahl, welche die Privatsphäre der Mobilfunkkommunikation schützen.

Alles in allem geht der Informationsaustausch zwischen Regierungen und Tech-Unternehmen in zwei Richtungen: Direkte Anweisungen an Tech-Unternehmen werden vor der Öffentlichkeit geheim gehalten, und die »vorgelagerte« (upstream) Datenerfassung wird vor den überwachten Unternehmen geheim gehalten.[387] Das PRISM-Programm ermöglichte der NSA, Google, Facebook, Microsoft, Skype und andere Unternehmen aufzufordern, ihnen Nutzerdaten wie E-Mails, Fotos, Video- und Audio-Chats auszuhändigen. Die vorgelagerte Datenerfassung ist ein noch tieferer Eingriff und wird von der NSA-Abteilung Special Sources Operations vorgenommen, die weltweit geheime Abhörvorrichtungen in Unternehmensniederlassungen installierte. Wie das funktioniert? Stellen Sie sich vor, Sie öffnen einen Browser, geben Suchbegriffe ein und tippen auf Enter. Dann wird Ihre Frage nicht mehr direkt an jenen Server geschickt, sondern auf dem Weg dorthin durch geheime Server geleitet, die man überall in großen Telekommunikationsgesellschaften von Ländern installiert hat, die mit den Vereinigten Staaten verbündet sind. Die Programme auf diesen Servern fertigen eine Kopie der eintreffenden Daten an und durchsuchen sie nach verdächtigen Schlüsselwörtern. Wenn Sie beispielsweise wissen möchten, was es mit XKeyscore auf sich hat, und dieses Wort in Ihre Suchmaschine eingeben, werden Sie wahrscheinlich aussortiert, woraufhin ein Algorithmus entscheidet, welches Malware-Programm der NSA gegen Sie einzusetzen ist. Die Schadsoftware kann auf alle Ihre Daten zugreifen, nicht nur die Metadaten, und wird mit der von Ihnen angeforderten Webseite auf Ihren Computer geschickt.[388] All das dauert weniger als eine Sekunde, ohne dass Sie das Geringste merken.

Diese Aktionen sind unter höchster Geheimhaltung durchgeführt worden. In keinem Fall hatte die Öffentlichkeit die geringste Chance, ihre Meinung zu den Vorgängen zu äußern. Der Massenüberwachung gab man den harmlosen Namen »Sammelerhebung«, was wieder an Neusprech erinnert. Die chinesische Regierung dagegen hat kein Geheimnis aus ihrem Überwachungssystem gemacht. Auch westliche Staaten sind bereit, den Überwachungskapitalismus zu dulden, und ziehen gelegentlich sogar Nutzen aus ihm, indem sie auf die Daten einer ausgewählten Gruppe von ungeheuer reichen Unternehmen zugreifen, die das Internet beherrschen und Konkurrenten aufkaufen, statt einen wettbewerbsbestimmten Markt zu schaffen. Die Demokratien haben es versäumt, die Konzentration von zu viel Macht und zu vielen Daten in zu wenigen Händen zu verhindern. Als Twitter Präsident Trumps Konto sperrte, hielten viele diesen Schritt für überfällig, während andere sich besorgt zeigten und eine unerlaubte Zensur darin sahen. Das eigentliche Problem ist, dass Twitter und ähnliche Unternehmen praktisch allein über die – einst auf absolute Monarchien beschränkte – Macht verfügen zu entscheiden, wer sprechen darf und wer stumm bleiben muss.

In dieser ersten Phase werden die Bewohner der westlichen Welt durch das Zahl-mit-deinen-Daten-Geschäftsmodell an die Überwachung durch Tech-Unternehmen gewöhnt. Der ursprüngliche Traum von einem Internet, das alle Menschen miteinander verbindet und ihren Horizont erweitert, wird von der personalisierten Werbung, nicht der Werbung an sich, begraben. So dirigieren uns die Algorithmen manipulativ in Filterblasen, in denen wir immer mehr von den immer gleichen, nicht voneinander abweichenden Standpunkten sehen. Wenn Sie in Israel leben und die aktuelle israelische Politik unterstützen, werden Sie auf Instagram wahrscheinlich Videos von Raketenwerfern der Hamas neben Krankenhäusern erblicken. Sind Sie hingegen für die palästinensische Sache, sehen Sie stattdessen eher Berichte über einen israelischen Scharfschützen, der im Gazastreifen palästinensische Kinder ermordete.[389] Auf jeder Seite ist es schwierig, sich die Dinge bewusst zu machen, die man nicht sieht. Personalisierung verstärkt die politische Polarisierung. Und es sind nicht nur die sozialen Medien; praktisch jede Organisation, von akademischen Institutionen über Wohltätigkeitsorganisationen bis hin zu Online-Shops, verwendet heut Cookies, um Daten über Internetbesucher zu sammeln.

Gleichzeitig verändert die Überwachung das Verhalten. Die technologisch versierten Nutzer können die Überwachung umgehen und ins Darknet abtauchen. Die weniger versierten Bürger überlegen sich zweimal, welche Webseiten sie ansehen, was sie posten und was sie sagen. Googles früherer CEO Eric Schmidt meinte zu diesem Thema: »Wenn es etwas gibt, von dem Sie wünschen, dass niemand es weiß, sollten Sie es lieber gar nicht erst tun.«[390] Dieser paternalistische Ratschlag hätte auch von manchem autoritären Regime kommen können.

Phase zwei: Sozialkredit-Systeme stärken weltweit autokratische Systeme

In der zweiten Phase ist das Sozialkredit-System in China bereits flächendeckend eingeführt. Kommerzielle Systeme wie Sesame Credit und staatliche Systeme sind zu einem einzigen übergreifenden System verschmolzen. China wird nun die Hardware und Software in andere Staaten mit ähnlichen regulatorischen Interessen exportieren, die inzwischen erkannt haben, dass es eine effiziente Alternative zur Demokratie gibt, nämlich ein autokratisches System, das dank KI reibungslos funktioniert. In Verbindung mit strengen Umweltgesetzen für Einzelpersonen und Unternehmen versetzt das Sozialkredit-System Regierungen in die Lage, die Produktion der erneuerbaren Energie rasch auszubauen, die Treibhausgasemissionen zu reduzieren und Großstädte zu bauen, in denen alle Taxis und Busse mit Elektrizität fahren.[391] Es verspricht, die wirtschaftliche Ineffizienz früherer autokratischer Regime wie kommunistischer Systeme und Diktaturen hinter sich zu lassen. Nehmen wir Afrika, wo die Kommunistische Partei Chinas seit den 1960er Jahren revolutionäre und antikolonialistische Bewegungen fördert. Der Westen macht China gerne zum Vorwurf, es unterstütze afrikanische Machthaber, doch westliche Unternehmen und Regierungen haben selbst Millionen für den Zugang zu Bodenschätzen und politischer Loyalität bezahlt. Am Ende werden Länder in Afrika, aber auch in Asien und Südamerika mithilfe chinesischer Kredite Sozialkredit-Systeme einrichten, was dann China wiederum ermöglichen wird, die Regeln festzulegen und Zugriff auf die Daten dieser Staaten zu bekommen.[392] Vielleicht werden auch einige Länder in Europa – zum Beispiel Ungarn und Polen – diese Möglichkeit nutzen.

Außerdem wird China seine »Große Firewall« exportieren, die Software, die das Internet eines Landes von dem anderer Länder isoliert und so bestimmt, was die Menschen in dem Land sehen und teilen können. Tech-Unternehmen werden sich darum reißen, einen Anteil an den Aufträgen zum Bau Großer Firewalls rund um den Globus zu bekommen, wie bereits geschehen, als Cisco China half, seine Große Firewall aus amerikanischen »Bausteinen« zu errichten.[393] Oder wie Yahoo!, einst die angesagte Tech-Firma, ein chinesisches Tochterunternehmen gründete, das Reporter ohne Grenzen als »chinesische Hilfspolizei« bezeichnete.[394] Als Google seine chinesische Suchmaschine einrichtete, unterwarf es sich dem Willen der chinesischen Regierung und hinderte chinesische Bürger daran, auf verbotene Informationen zuzugreifen. Wenn man beispielweise auf Google.cn den Suchbegriff »Tiananmen Square« – Platz des Himmlischen Friedens – eingab, bekam man viele Touristenfotos zu sehen, aber keine Panzer.[395] Angeblich hat Facebook Zensur-Tools entwickelt, die verhindern, dass Posts in den Newsfeeds von Nutzern in bestimmten Ländern erscheinen, damit das Unternehmen wieder Zugang zum chinesischen Markt erhält.[396] In der zweiten Phase werden die Tech-Unternehmen weiterhin der staatlichen Überwachung Vorschub leisten. Es ist von ihnen nicht zu erwarten, dass sie ihre Nutzer vor der Zensur schützen.

In dieser zweiten Phase wird die Öffentlichkeit vielleicht Gefallen daran finden, dass die Firewall sie vor Terroristen, Betrügern, Pädophilen und anderen Gefahren der Außenwelt schützt. Die Menschen werden weiterhin die Möglichkeit haben, über politische Probleme, Politiker und Korruption zu diskutieren, wenn sie denn davon erfahren. Die Firewall hat nicht das vorrangige Ziel, Informationen auszuschließen, sondern sie soll in Verbindung mit dem Sozialkredit-System die Entstehung von Gruppensolidarität gegen die Regierung verhindern. Die Rekrutierung von Freiwilligen durch Terrororganisationen, aber auch durch Bewegungen wie Occupy oder Fridays for Future wird dann, zumindest im Internet, Geschichte sein.

Die Menschen werden eine Bequemlichkeit nie dagewesenen Ausmaßes genießen – eine einzige App, eine weit verbesserte Form von WeChat, die eine vollkommen mobile Lebensweise erlaubt. Zahlungen für Strom und Wasser, geschäftliche Transaktionen, Arzttermine, Unterhaltung, Selfies und das gesamte soziale Leben lassen sich damit abwickeln. Außerdem liefert diese App die Daten für den individuellen Sozialkredit-Score. Personen mit hohen Punktwerten erhalten leichteren Zugang zu Krediten, Upgrades von Flugtickets, raschere Visabewilligungen und bevorzugte Behandlung in Krankenhäusern. Der Sozialkredit-Score ist auch zur gültigen Währung des sozialen Lebens geworden. Die Menschen posten ihren Score auf ihren Dating-Profilen und verbringen weniger Zeit damit, Blogs mit politischen Meinungsäußerungen zu lesen, die nicht von der Mehrheit geteilt werden, Videospiele zu spielen, Pornoseiten aufzusuchen und sich auf andere Weise zu zerstreuen, weil sich das negativ auf ihren Score auswirkt. Wer sich nicht anpasst, isoliert sich selbst und wird von Dienstleistungen ausgeschlossen. Menschen mit hohem Score werden jenen mit niedrigem Score die Freundschaft kündigen, denn der Umgang mit ihnen zieht den eigenen Score nach unten. Im Gegensatz dazu sind die Leute mit den höchsten Scores die neuen Promis, von allen bewundert. Jeder kann den Sozial-Score seiner Freunde online sehen, und selbst der Score vollkommen Fremder kann überprüft werden, indem man auf der Straße sein Handy auf sie richtet. Es ist schön und bequem, endlich zu wissen, wem man trauen kann.

Intelligente Häuser und Städte sorgen für weitere Bequemlichkeiten. Alle finanziellen Transaktionen werden durch mobile Zahlung abgewickelt, was Korruption und Verbrechen einschränkt und einen Zuwachs an Vertrauen bringt. Massenüberwachung wird ein erhebliches Maß an irreführenden Daten und falschen Anschuldigungen zur Folge haben, doch wenn das System erst einmal eingerichtet ist, werden die Menschen lernen, mit diesen Problemen zu leben und sie zu umgehen. Neusprech wird zur Veränderung von Denken und Fühlen beitragen. Überwachung ist Sicherheit, Freiheit Gefahr. Schließlich werden die meisten Bürger denken, ihre neue autokratische Welt sei gerecht und bequem, sei wirtschaftlicher Fortschritt und Sicherheit, nicht Verlust an Freiheit.

Phase drei: Wird die Demokratie überleben?

In der dritten Phase befinden sich die verbliebenen demokratischen Staaten in Konkurrenz mit den weltweit entstandenen autokratischen Systemen, deren Sozialkredit-Systeme ihre Bürger eng überwachen, belohnen und bestrafen. Viele dieser Demokratien sind umgeben von autokratischen Staaten, deren Bürger ihren Regierungen weit mehr Vertrauen entgegenbringen als die Bürger in den Demokratien den ihren. Länder, die einst als rückständig galten, setzen jetzt Entscheidungen rascher um, sei es beim Umweltschutz oder bei der Bewältigung von Pandemien, weil sie die endlosen, für Demokratien so charakteristischen Debatten und Kompromisse umgehen können. Die staatliche Gewaltenteilung erscheint ebenso passé wie die Trennung von Machthabern und freien Medien. Auf die Kämpfe und Rivalitäten zwischen politischen Parteien, auf ermüdende Diskussionen mit Komitees und Interessengruppen wird keine Energie mehr verschwendet. Die Ergebnisse von Wahlen werden nicht mehr durch Big Nudging, Fake News oder Bots beeinflusst. Schließlich, so meinte ein chinesischer Freund, müsse eine gut geführte Regierung, deren Kontrolle ihre Bürger sich bereitwillig anvertrauten, nicht hinterher das Chaos aufräumen, das Wähler anrichten, wenn sie beispielsweise für Donald Trump oder den Brexit stimmen. KI liefert die Ziegelsteine für neue autokratische Systeme, die Privatsphäre und Freiheit abschaffen und ihre Bürger tüchtig und glücklich machen. B.F. Skinners Traum von einer Gesellschaft, deren Mitglieder durch Belohnungen streng kontrolliert werden, ist Wirklichkeit geworden.

Am Ende verwandelt sich der Traum von einem Internet als Hort der Freiheit in die Ehe zwischen Sozialkredit-Systemen und Überwachungskapitalismus, ein schwerer Schlag für die Ideale von Privatsphäre, Würde und Demokratie. Die neuen Ideale sind rascher Zugang, hohe Kredit-Scores und Vertrauen in die Regierung. In dieser neuen Welt technologischer Bevormundung werden Gesetze automatisch von Computern durchgesetzt. Die Zeiten sind vorbei, in denen es möglich war, Steuern zu hinterziehen, Bestechung zu praktizieren, zu schnell zu fahren und sich Fußgängern gegenüber rücksichtslos zu verhalten. Überwachung sorgt für Recht und Ordnung. Viele Menschen werden Gefallen daran finden.

Die Demokratien müssen eine Entscheidung treffen, wenn sie überleben wollen. Die eine Option wäre, die ursprüngliche Idee vom Internet als Ort der freien Information aufzugeben und stattdessen, wie in anderen Ländern, das Sozialkredit-System und die Große Firewall zu übernehmen, bis die Demokratie der Vergangenheit angehört. Die andere wäre, an dem Ideal festzuhalten und sich der Tatsache zu stellen, dass Demokratien das Wachstum der Tech-Monopole geduldet haben, die das Ideal zugunsten von Riesenprofiten missbraucht und aufs Spiel gesetzt haben. Dazu müssten die demokratischen Staaten den Mut haben, den Tech-Unternehmen wirklich Paroli zu bieten und das Internet von Grund auf so zu erneuern, dass es die demokratischen Ideale verteidigt, statt sie zu verwässern. Mit anderen Worten: auf den ursprünglichen Entwurf eines Internets zurückzugehen, das auf der freien Entfaltung von Wissen basiert statt auf Überwachungskapitalismus.

9

WIE MAN NUTZER ABHÄNGIG MACHT

Freiheit können wir uns nicht länger leisten.

B. F. SKINNER[397]

Wir nennen diese Leute Nutzer, und selbst, wenn wir es nicht laut aussprechen, wünschen wir uns insgeheim, dass jeder rettungslos all dem verfällt, was wir ihm anbieten.

NIR EYAL, HOOKED[398]

Als ich Psychologiestudent war, hielt einer unserer Professoren eine Vorlesung über Skinners Theorie der operanten Konditionierung. Hinterher saßen wir zusammen und heckten ein Experiment aus, in dem wir prüfen wollten, ob wir mit der Theorie sein Verhalten kontrollieren konnten. Der Professor hatte die Angewohnheit, während er sprach, vor den Hörern hin und her zu gehen. Wenn er während der nächsten Vorlesung zur rechten Seite des Saals ging, nickten die dort sitzenden Studierenden zustimmend mit dem Kopf zu allem, was er sagte. Wenn er sich nach links bewegte, zeigten die dort sitzenden Studierenden überhaupt keine Reaktion. Nach kurzer Zeit verbrachte der Professor mehr Zeit auf der rechten Seite des Hörsaals. Dann kehrten wir die positive Verstärkung um, das heißt, nun begannen die Studierenden auf der linken Seite zu nicken und die auf der rechten ließen sich keine Reaktion anmerken. Nach einer Weile begann der Professor nun mehr Zeit auf der linken Seite zu verbringen. Wie es die Forschungsethik verlangt, offenbarten wir ihm hinterher den Zweck des Experiments. Es stellte sich heraus, dass er die Manipulation nicht bemerkt hatte. Durch einfaches Nicken und Lächeln war es uns gelungen, sein Verhalten zu kontrollieren.

Die Logik der operanten Konditionierung – auch instrumentelle Konditionierung genannt – ist einfach und wirkungsvoll:

Verhalten  →  positive Verstärkung  →  erhöhte Verhaltensrate.

Es sieht trivial aus, aber das Weltbild, das dahintersteht, ist bedeutend. Ihr Verhalten wird von außen kontrolliert, durch die positive Verstärkung, die Sie von einem Menschen oder einer Maschine erhalten. Der Professor schlenderte nicht nach rechts, weil er es wollte; seine Studierenden änderten sein Verhalten durch Nicken.

All das verträgt sich nicht mit dem Gefühl, die Kontrolle zu haben, und auch nicht mit den meisten Theorien über die menschliche Natur. Diese setzen voraus, dass Verhalten durch einen inneren Zustand verursacht wird, der Absicht heißt:

Absicht  →  Verhalten.

Absichten bezeichnet man in der Psychologie auch als Präferenzen und Bedürfnisse. In den 1940er Jahren ordnete der US-Psychologe Abraham Maslow die Bedürfnisse zu einer pyramidenähnlichen Hierarchie an, wobei die grundlegenden Bedürfnisse unten angesiedelt sind. Am Boden der Pyramide befinden sich physiologische Bedürfnisse wie Nahrung, Schlaf und Sexualität. Eine Schicht höher stehen Sicherheitsbedürfnisse wie Gesundheit und Finanzen, danach das Bedürfnis nach sozialer Zugehörigkeit, zu einer Familie beispielsweise, und die Spitze der Pyramide bilden Selbstachtung und Selbstverwirklichung, wie etwa unsere Absicht, ideale Eltern, Künstler, Sportler oder Wissenschaftler zu werden. Die Ansicht, dass Absichten das Verhalten verursachen, liegt auch dem westlichen Begriff des freien Willens zugrunde. Ich tue das, was ich tue, weil ich es will, und niemand kann mich aufhalten, es sei denn, er hält mir einen Revolver vor die Stirn. Das ist die Moral, die den meisten Rechtssystemen zugrunde liegt: Menschen sind verantwortlich für das, was sie tun, und können ins Gefängnis geschickt werden, wenn sie bei der Tat nicht betrunken oder minderjährig waren.

Nach dem Psychologen B. F. Skinner ist das alles Illusion. Skinner, der einen Großteil seines beruflichen Lebens an der Harvard University verbrachte, ist einer der bekanntesten Psychologen überhaupt, und einer der umstrittensten dazu. Obwohl wir uns gerne einbilden, wir säßen selbst am Steuer, meinte er, unser Verhalten und unsere Wünsche seien von außen bestimmt. Schlimmer noch, wir würden noch nicht einmal bemerken, dass wir nur auf dem Rücksitz unseres Lebens säßen – oder wollten es zumindest nicht wissen.

Skinner-Boxen und Kamikaze-Tauben

Als ich lange nach diesem Experiment Gastwissenschaftler in Harvard war, lag mein Büro zufällig neben dem von Skinner. Das war einige Jahre vor seinem Tod, zu einer Zeit, als sein Stern dank einer Heerschar von Kritikern schon etwas von seinem Glanz verloren hatte. Kurz zuvor hatte er sein Stockwerk mit Experimentallabors in der William James Hall aufgegeben, das einst mit blinkenden Apparaten und Tonnen von Taubenfutter vollgestopft war. Die Tauben lebten in »Skinner-Boxen«, die mit Diaprojektoren und Videogeräten ausgerüstet waren. In jeder Box war eine einsame Taube untergebracht, und ihr Verhalten – etwa, dass sie auf eine Taste pickte, um ein Futterkügelchen zu bekommen – war von einem vollständig automatisierten Verstärkungsprogramm kontrolliert.

Skinner kam mir ein bisschen einsam vor. Bald saßen wir dann einige Male bei Tee und trockenen Keksen zusammen. Er sagte, Evolution und operante Konditionierung prägten das Verhalten von Menschen und anderen Tieren, und der einzige Unterschied zwischen Menschen und Tieren sei die Sprachmuskulatur; unser Verhalten werde von den gleichen Regeln bestimmt. Stolz beschrieb er, wie er Tauben während des Zweiten Weltkriegs beigebracht hatte, luftgestützte Raketen zu ihren Zielen – feindlichen Schiffen – zu führen. Die Tauben saßen in der Raketennase, wo sie durch Glas nach draußen sehen konnten. Man hatte sie konditioniert, auf die Bilder von Schiffen zu picken. Dadurch sollten sie die Raketen in ihre Ziele lenken. Doch bevor die Tauben ihre Karriere als Kamikaze-Krieger beginnen konnten, wurde das Projekt gestrichen. Skinner bekräftigte auch seine tiefe Überzeugung, dass Freiheit nur eine Illusion sei, noch dazu eine gefährliche, da sie uns von Menschen eingepflanzt worden sei, die unser Verhalten bereits kontrollierten. Er fand, wir könnten uns die Freiheit, Kriege zu führen, das Klima zu zerstören und andere Menschen zu misshandeln, nicht leisten. Operante Konditionierung geeigneten Verhaltens, nicht die Freiheit, sei der Weg in eine bessere Welt.

In unseren Gesprächen gewann ich den Eindruck, dass Skinner zu jenen einflussreichen Wissenschaftlern gehörte, die ein großes System entwickelt hatten und dann jede Idee hineinquetschten, der sie begegneten. Seine Techniken funktionierten gut, besonders in Situationen, in denen man Kontrolle über andere hat – Tauben in einer Box oder Menschen in ähnlichen Situationen. Aber sie sind nicht der einzige Schlüssel zur menschlichen Natur oder zur Verbesserung der Welt. Heute erinnert mich seine Philosophie an die Versprechen, die gegenwärtig von einigen Tech-Unternehmen und Fürsprechern des Big Nudging gemacht werden: Um die Welt zu einem besseren Ort zu machen, müssten wir ihnen nur Zugang zu all unseren Daten geben, unser Haus in eine intelligente Skinner-Box verwandeln und es ihnen überlassen, uns zu überwachen und unser Verhalten zu verändern. Das ist nicht nur eine Analogie; die Techniken sind erstaunlich ähnlich.

Intermittierende Verstärkung

Zurück zu dem Professor in meiner Vorlesung. Als die Studierenden mit dem Nicken aufhörten, verschwand das Verhalten des Professors allmählich. Wie hätten sie den Professor dazu bringen können, mehr Zeit auf der rechten Seite des Hörsaals zu verbringen? Wie rasch das Verhalten nachließ, unterlag der Kontrolle der Studierenden: Wenn sie jedes Mal genickt hätten, sobald der Professor auf der rechten Seite des Hörsaals war, und dann plötzlich damit aufgehört hätten, hätte er seine Zeit nicht mehr überwiegend auf der rechten Seite verbracht. Dieser Verlust externer Kontrolle heißt Löschung. Wenn die Studierenden hingegen nur gelegentlich genickt hätten, während der Professor sich nach rechts bewegte, hätte das Verhalten viel länger Bestand gehabt. Die Technik heißt intermittierende Verstärkung. Gemeint ist damit, dass die Verstärkung des gewünschten Verhaltens unregelmäßig erfolgt und nicht gleichbleibend: nicht jedes Mal oder jede Sekunde oder jedes dritte Mal und so fort. Die Verstärkung ist nicht vorhersehbar. Manchmal wird das Verhalten verstärkt und manchmal nicht.

Verhalten  →  intermittierende Verstärkung  →  dauerhaftes Verhalten.

Durch intermittierende Verstärkung lässt sich also dauerhaftes Verhalten erzielen.[399] Die hungrige Taube in der Skinner-Box pickt häufiger und schneller, wenn sie nicht jedes Mal, sondern in unregelmäßigen Zeitabständen ein Nahrungskügelchen erhält. Mit unregelmäßiger Verstärkung kann man nicht nur dauerhaftes und fleißiges Verhalten hervorrufen, sondern Menschen auch dazu bringen, süchtig nach Smartphones oder Spielautomaten zu werden.

Wie man Nutzer süchtig macht

Nehmen wir an, Sie sind Software-Ingenieur und Ihr Tech-Unternehmen bezahlt Sie dafür, die Kundenzufriedenheit zu steigern. Das zugrunde liegende Geschäftsmodell heißt »Nutzer zahlen mit ihren Daten«, und Ihre Werbekunden wünschen, dass Nutzer möglichst viel Zeit auf einer App verbringen, damit es zu einem maximalen Kontakt mit ihrer Werbung kommt. Wie würden Sie vorgehen? Die Antwort ist: intermittierende Verstärkung programmieren. Das funktioniert so:

Schritt 1: Identifizieren Sie das Verhalten, das Sie steigern wollen: Zeit, die auf einer Seite verbracht wird, Zahl der Klicks, Durchklickrate, Zahl der Posts oder was immer.

Schritt 2: Identifizieren Sie eine positive Verstärkung, die dieses Verhalten aufbauen und kontrollieren kann. Soziale Medien haben keine Nahrungskügelchen, Drinks oder Umarmungen anzubieten, aber sie können eine andere Währung verwenden: soziale Anerkennung und die Dopaminschübe, die man erhält, wenn man als Mitglied einer Gruppe akzeptiert wird. Daher ist soziale Anerkennung eine mögliche Belohnung, die Nutzer dazu bringen kann, mehr Zeit auf einer Seite zu verbringen.

Schritt 3: Teilen Sie die Verstärkung in kleine, zählbare Einheiten auf. Soziale Anerkennung erzeugt bei den Nutzern am ehesten Suchtverhalten, wenn sie in kleinen, separaten Einheiten verabreicht wird, wie die Nahrungskügelchen in Skinners Experimenten.

Schritt 4: Führen Sie intermittierende Verstärkung ein. Sie sorgt für die unvorhersehbare zeitliche Streuung der Verstärkung und dafür, dass die Nutzer schwer aufhören können zu schauen, zu klicken oder zu posten.

Also, welche positive Verstärkung könnten Sie einführen? Nicken wäre schwierig. Aber stellen Sie sich Nicken als Benachrichtigungen vor oder, noch besser, als Likes. Die treffen in separaten Einheiten und in unregelmäßigen Abständen ein.

Der Like-Button

In den ersten Versionen von Facebook gab es wenig, was die Nutzer auf der Seite hätte halten können. Die Leute schickten ihre Nachrichten, und das war’s. In späteren Versionen konnte man die Posts anderer Nutzer kommentieren. Diese Kommentare waren die erste Belohnung, die man erhielt, wenn man die eigene Seite aufsuchte. Positive Kommentare sind Verstärker. Der wirkliche Durchbruch kam, als 2009 der Like-Button eingeführt wurde. Im Gegensatz zu Kommentaren, die sarkastische Untertöne aufweisen konnten und einer Bewertung bedurften, beseitigte der Like-Button alle Mehrdeutigkeiten. Er war sogar noch einfacher als eine Zahl zwischen eins und zehn. Ein Like ist ein Like, so wie ein Nahrungskügelchen ein Nahrungskügelchen ist. Man kann sie sogar zählen, wie auch die Anzahl der Follower, was den sozialen Vergleich so einfach wie den Vergleich zwischen zwei Zahlen macht. Nun folgen die Likes nicht unbedingt auf jedes Einchecken; damit ist die Verstärkung intermittierend. Das Like wurde zur idealen Einheit der Verstärkung und konnte zusammen mit den Kommentaren das Verhalten der Nutzer kontrollieren:

Die sozialen Medien checken  →  intermittierende Verstärkung durch Likes   →  erhöhte Rate und Dauer des Checkens

Auf diese Weise werden verschiedene Verhaltensweisen – Checken, Scrollen, Klicken und Posten – von Likes beeinflusst. Der Impuls ist, ständig zu checken, weil man nie weiß, wann das nächste Like eintrifft. Dieses Verhalten ist fast automatisch; man hört nicht auf, zu scrollen und zu klicken – nur noch ein einziges Mal –, selbst wenn man glaubt, es sei Zeitverschwendung. Tag für Tag verbringen Millionen Menschen Stunden damit, Bilder auf Instagram zu posten, voller Hoffnung auf Rückmeldungen zu warten und die Likes zu zählen, die sie bekommen. Likes werden zu Umarmungen. Vor einigen Jahren kamen Entwickler vom MIT Media Lab in die Schlagzeilen, weil sie tatsächlich eine intelligente Weste entworfen hatten, die einem für jedes Like, das man bei Facebook bekam, eine Umarmung schenkte.[400]

Man könnte beispielsweise annehmen, dass Nutzer, die eine große Zahl von Likes bekommen, es langsamer angehen und ihren Ruhm genießen könnten. Skinners Theorie dagegen sagt vorher, dass Nutzer umso häufiger posten werden, je mehr Likes sie bekommen, mit anderen Worten, dass die Zeit zwischen aufeinanderfolgenden Posts abnimmt. Genau dieses Muster ergab sich bei einer Analyse von mehr als einer Million Posts auf Instagram und anderen Social-Media-Plattformen.[401] Die Zahl der Likes bestimmt die Frequenz und das Timing beim Posten der Nutzer. In anderen Studien gelangte man zu dem Schluss, dass die Gehirnregionen, die durch Likes aktiviert werden, sich weitgehend mit den Regionen überlagern, die durch nicht soziale Belohnungen wie Nahrung – denken Sie an Skinners Nahrungskügelchen – aktiviert werden.[402]

Bevor es E-Mails und soziale Medien gab, hielten die Menschen unter anderem durch Briefeschreiben Kontakt miteinander. Der Postbote lieferte die Briefe immer zu einer bestimmten Tageszeit aus, mittags etwa, daher schaute man nur einmal am Tag in seinem Briefkasten nach. Das entspricht der sogenannten regelmäßigen Intervallverstärkung (fixed-interval reinforcement), die zu sehr aktivem Verhalten zu einem Zeitpunkt (hier: mittags) führt, gefolgt von einer Pause, die bis zum nächsten Tag dauert. Viele schauten voller Vorfreude ungeduldig aus dem Fenster, bis die Briefe oder Päckchen ausgeliefert waren, doch danach war es mit der Aufregung während der nächsten vierundzwanzig Stunden vorbei. E-Mails oder Nachrichten auf Social-Media-Seiten können dagegen jederzeit, rund um die Uhr und in völlig unregelmäßigen Abständen eintreffen. Das ist eine intermittierende Verstärkung, und die führt dazu, dass ständig nachgesehen wird. Es entspricht einer Postauslieferung, bei der mehrere Postboten zu jeder Tages- und Nachtzeit erscheinen könnten, um jeweils nur einen Brief oder ein Päckchen abzugeben.

Es könnte den Anschein haben, Facebook habe absichtlich die Schritte 1 bis 4 vollzogen und dann den Like-Button eingerichtet. Doch das stimmt nicht. Es war wohl wie bei vielen Entdeckungen – die Fachleute von Facebook stolperten durch einen glücklichen Zufall über den Like-Button, als sie versuchten, ein anderes Problem zu beheben. Als die Seite beliebter wurde, überhäuften Nutzer die Posts mit Kommentaren, in denen kaum mehr als Zustimmung oder Gefallen zum Ausdruck kam. Ursprünglich hatte der Like-Button nur die Aufgabe, die Seite von der Flut redundanter Kommentare zu säubern. Erst später wurde den Verantwortlichen klar, welchen Schatz sie da zutage gefördert hatten.

Kontrolle der Aufmerksamkeit

Likes sind der Leim, an dem die Leute kleben bleiben sollen. Aber nicht der einzige. Social-Media-Unternehmen führen ein Experiment nach dem anderen durch, um herauszufinden, wie sie Menschen noch länger an den Bildschirm binden können. Sean Parker, der erste Präsident von Facebook, erklärte, welche Zielsetzung die Plattformen sozialer Netzwerke haben: »Wie können wir möglichst viel von Ihrer Zeit und bewussten Aufmerksamkeit in Anspruch nehmen?« Dazu erhalten Sie mit jedem Like, das Ihr Post bekommt, »eine kleine Dopaminspritze«, um Sie anzuregen, noch mehr Inhalte hochzuladen: »Es ist eine Rückkopplungsschleife sozialer Bestätigung … genau das, was ein Hacker wie ich versuchen würde, weil er eine Schwachstelle der menschlichen Psychologie ausnutzt.«[403] Dopamin ist einer der rund zwanzig wichtigsten Neurotransmitter, die dringende Nachrichten zwischen Neuronen, Nerven und anderen Körperzellen befördern – wie Fahrradkuriere, die sich durch den dichten Verkehr schlängeln. Es wird aktiv, wenn wir belohnende Ereignisse antizipieren oder erleben – schmackhaftes Essen zum Beispiel, Sex oder soziale Anerkennung.

Schauen wir uns einige einfallsreiche Techniken an, mit denen die Aufmerksamkeit von Nutzern gefesselt werden soll. Manche sind so alltäglich, dass wir sie gar nicht mehr bemerken.

Newsfeed. Seiten wie Facebook begannen als Verzeichnis von Profilseiten, auf denen Nutzer ihre Lieblingsbands auflisten oder Bilder posten konnten. Nutzer besuchten von Zeit zu Zeit Homepages ihre Freunde, um sich deren Updates anzusehen, die relativ kurz waren. 2006, im Alter von zwei Jahren, kündigte Facebook eine Neuerung namens Newsfeed an. Es haftete ihm noch der Stallgeruch seiner Herkunft – des Studentenwohnheims – an: »Es aktualisiert eine personalisierte Liste von Neuigkeiten des Tages, damit du weißt, wann Mark Britney Spears zu seinen Favoriten hinzugefügt hat oder seit wann dein Schwarm wieder Single ist.«[404] Hunderttausende von Nutzern protestierten gegen diese neue Technologie, die ihre privaten Nachrichten dem Massenkonsum zum Fraß vorwarf.[405] Doch die Technologie siegte und ersetzte das Bedürfnis der Nutzer nach Privatsphäre durch den Wunsch, möglichst viel Aufmerksamkeit zu bekommen, und zwar nicht nur von Freunden, sondern von jedem auf dem Erdball. Allerdings vergaß Facebook zu erwähnen, dass Newsfeed nicht alle Posts zeigte, sondern nur die, die es mithilfe eines Algorithmus auswählte. Die ersten Algorithmen beruhten auf einer intuitiven Schätzung dessen, was den Leuten gefallen könnte. So erhielt ein Foto fünf Punkte oder der Beitritt zu einer Gruppe einen Punkt, der resultierende Punktwert wurde dann mit der Zahl der beteiligten Freunde multipliziert.[406] Mithilfe des Like-Buttons – ein direktes Maß für das, was den Leuten gefiel – verwandelten sich diese rohen Algorithmen schließlich in ein streng geheimes Maschinenlernsystem, das bestimmt, was der Nutzer leicht sehen kann (weil es weit oben auf dem Newsfeed platziert ist), was schwer zu sehen ist (weil es weit unten platziert ist) und welchen Inhalt der Nutzer nicht sehen wird (weil der Algorithmus entschied, dass es für den Nutzer nicht relevant sei). Dank dem Newsfeed verbringen die Nutzer mehr Zeit auf der Seite.

Benachrichtigungssysteme. Likes werden in ein Benachrichtigungssystem eingespeist, das die Aufgabe hat, die Nutzer wieder auf die Seite zurückzubringen. In dem Augenblick, da jemand einen Post, einen Kommentar oder einen Kommentar innerhalb eines Kommentars mit einem Like versieht, erscheint ein Hinweis, der angeklickt werden kann. Im Laufe der Zeit hat Facebook die Zahl der Benachrichtigungen erhöht; je mehr Benachrichtigungen, desto öfter gehen Nutzer auf die Seite.

Verzögerte Likes. Es wird berichtet, dass Benachrichtigungs-Algorithmen manchmal Likes zurückhalten, damit der Urheber eines Posts anfangs keine oder nur wenige Likes erhält und möglicherweise enttäuscht ist. Erst später werden die Likes in größeren Schüben geschickt. Die Verzögerung unterstützt die intermittierende Verstärkung, die dafür sorgen soll, dass die Nutzer länger auf der Seite bleiben.[407]

Auto-Play (Automatische Wiedergabe). In einem Kino zahlen Sie für den Film, schauen ihn sich an und gehen hinaus, wenn er fertig ist. Auf YouTube beginnt nach der Beendigung eines Videos automatisch ein ähnliches Video, damit Sie weiter schauen und möglichst vielen Anzeigen ausgesetzt sind. Nach YouTube dauert die durchschnittliche Sitzung mit einem mobilen Gerät mehr als eine Stunde, und siebzig Prozent der gesamten Sehzeit wird vom Empfehlungssystem, einschließlich des Auto-Plays, bestimmt.[408] Die Nutzer treffen kaum eigene Entscheidungen. Das Empfehlungssystem von YouTube verlockt die Zuschauer nicht nur, mehr Zeit vor dem Bildschirm zu verbringen und länger zu verweilen als beabsichtigt, sondern kann sie auch zu extremen und unwissenschaftlichen Standpunkten verführen.[409] Das heißt, je weniger Entscheidungen die Menschen treffen, desto eher landen sie bei unseriösen Informationen.

Snap Streaks. Eine Streak ist die Zahl der aufeinanderfolgenden Tage, an denen ein Nutzer und ein Freund sich gegenseitig einen »Snap« – ein Foto oder ein Video – geschickt haben. Plattformen wie Snapchat zeigen die Zahl zusammen mit Icons wie Flammen-Emojis. Der Köder ist, dass die Zahl auf null zurückfällt, wenn ein Tag ausgelassen wird. Dieser Umstand veranlasst die Nutzer, ihren Freunden ständig zu antworten; Versäumnisse können Enttäuschung und Ärger hervorrufen. Deshalb erinnern Nutzer ihre Freunde oft daran, dass sie eine Antwort erwarten. Am 2. Juli 2020 erreichten Carly und Maddie mit 2254 Tagen den höchsten Wert.[410] Außerdem vergibt Snapchat für jeden abgeschickten oder empfangenen Snap Punkte. Ein geringer Wert wird als peinlich empfunden. Es gibt auch virtuelle Trophäen, zum Beispiel besondere Emojis für die Versendung bestimmter Snaps. Alle diese Merkmale veranlassen Nutzer, mit dem Austausch von Snaps fortzufahren und mehr Zeit auf der Plattform zu verbringen. Im Durchschnitt verschickt ein Snapchat-Nutzer dreißig bis vierzig Nachrichten pro Tag.[411]

Stumpfsinnige Spiele, die fortwährende Aufmerksamkeit verlangen. In dem Facebook-Spiel FarmVille müssen die Spieler sich um einen Bauernhof kümmern. Dem Spieler werden Zeitlimits gesetzt: Wenn er nicht binnen 16 Stunden zurückkehrt, um den Rhabarber zu ernten, werden die Felder mit verdorrten Stängeln übersät sein.[412] 2010 konnte sich das Spiel mit über 80 Millionen monatlich aktiven Nutzern brüsten, von denen mehr als 30 Millionen täglich spielten. Einige von ihnen opferten nicht nur ihre Zeit, sondern auch ihr Geld für die virtuelle Landwirtschaft (das Spiel ist kostenlos, aber wenn Sie bestimmte Features kaufen, können Sie den Hof besser bewirtschaften). Time nannte das Spiel eine der »50 schlechtesten Erfindungen« der letzten Jahrzehnte, weil es aus stumpfsinnigen Pflichten auf einem digitalen Bauernhof besteht und von allen Facebook-Spielen das größte Suchtpotenzial hat.[413] Die Inhalte eines suchterzeugenden Spiels sind ohne Belang. Der Videospielentwickler Ian Bogost lernte diese Lektion, als er eine Parodie auf FarmVille entwarf, die dessen stupiden und repetitiven Charakter entlarven sollte. Das Spiel nannte er Cow Clicker. Die Spieler konnten auf das Bild einer Kuh klicken, die Kuh sagte »Muh«, und die Spieler verdienten sich einen weiteren Klick auf eine Kuh sechs Stunden später. Mit Klicken ließen sich Klicks verdienen, das war’s. Die Sechs-Stunden-Spanne ließ die Spieler immer wieder zu dem Spiel zurückkehren, wobei sich die Zeit allerdings gegen eine Gebühr verkürzen ließ. Spieler konnten Freunde einladen, die auf ihre Kuh klicken durften, und wenn das geschah, erhielten sie alle einen weiteren Klick. Jedes Mal, wenn sie auf eine Kuh klickten, wurde das ihren Freunden auf Facebook mitgeteilt. Die Nachricht lautete: »Ich klicke eine Kuh.« Bogost hatte erwartet, Cow Clicker werde wegen seiner schieren Lächerlichkeit nur ein kurzes Leben beschieden sein. Stattdessen gewann es binnen Wochen Kultstatus, und die Zahl der Spieler ging in die Zehntausende. Verzweifelt schaltete Bogost das Spiel schließlich ab, ein Akt, den er Cowpocalypse nannte.[414]

Lootboxen. Viele Videospiele bieten Nutzern an, virtuelle Lootboxen (Beutekisten) zu kaufen, die unter Umständen nützliche Ressourcen enthalten wie Waffen und Rüstungen. Wie die Käufer echter Lootboxen finden die Nutzer meist nur Plunder in der Kiste, aber gelegentlich auch etwas wirklich Brauchbares oder Kostbares. Diese intermittierende Verstärkung fördert Spannung und Überraschung und sorgt dafür, dass die Nutzer auch weiterhin solche Kisten kaufen. In einer Umfrage mit über siebentausend Spielern stellte man einen Zusammenhang zwischen dem für Lootboxen ausgegebenen Geldbetrag und dem Schweregrad ihres Spielproblems fest.[415] Der britische National Health Service warnt vor dieser zufallsgesteuerten Belohnungsstruktur, sie könne Kinder anfällig für Spielsucht machen. Einige Länder haben sogar den Verkauf von Lootboxen reguliert oder verboten.[416]

Jede dieser Techniken ist dazu gedacht, Nutzer fest an eine Plattform zu binden: Man möchte es ihnen schwer machen, sie zu verlassen, und ihnen, wenn sie es doch tun, den unwiderstehlichen Wunsch einpflanzen, wieder zu ihr zurückzukehren. Für viele von uns ist der Effekt eine Mischung aus Wohlbehagen und dem Gefühl, einem angenehmen Zeitvertreib nachzugehen, und andererseits dem Bewusstsein, viel Zeit und Aufmerksamkeit zu verschwenden. Für andere ist das Resultat Suchtverhalten: das Gefühl von Kontrollverlust und dem ständigen Verlangen nach positiver Verstärkung.

Die Entwickler dieser Aufmerksamkeitstechniken sind sich durchaus im Klaren über die Konsequenzen, genauso wie die Bosse von Tech-Unternehmen, die die Internetnutzung ihrer eigenen Kinder streng begrenzen. So erklärte Tim Cook, der CEO von Apple: »Ich habe kein Kind, aber ich habe einen Neffen, und dem habe ich ein paar Grenzen gesetzt. Es gibt Dinge, die ich ihm nicht erlauben werde; er darf auf kein soziales Netzwerk.«[417]

Die Macht Ihres Smartphones

Natürlich könnten Sie einwenden, dass Sie Ihrem Smartphone immer nur dann Aufmerksamkeit schenken, wenn es Ihre bewusste Absicht ist, etwa weil Sie eine Nachricht erwarten. Und wenn Sie nicht durch Nachrichten gestört werden wollen, schalten Sie das Handy einfach ab. Sie haben das Gefühl, Herr der Situation zu sein. Aber sind Sie es auch?

Diese Frage wurde in einem Experiment an 500 Studierenden getestet.[418] Die Teilnehmer einer Gruppe wurden aufgefordert, alles, was sie bei sich hatten – einschließlich ihrer Smartphones –, im Flur zu lassen, bevor sie in den Testraum gingen. Eine zweite Gruppe musste im Testraum ihre Handys in die Taschen oder Rucksäcke stecken. Eine dritte Gruppe bat man, ihre Handys mit der Vorderseite nach unten auf den Tisch zu legen, weil sie es später noch brauchen würden. Alle Teilnehmer mussten Klingelton und Vibration abstellen. Dann erhielten sie Aufgaben aus üblichen Aufmerksamkeits- und Intelligenztests, etwa die Vervollständigung einer Zahlenreihe beim gleichzeitigen Lernen einer Buchstabenfolge. Da kein Smartphone klingeln oder vibrieren konnte, hätte sein Aufenthaltsort eigentlich keine Auswirkungen auf die Leistung der Studenten haben dürfen. Doch in jeder einzelnen Aufgabe schnitt eine Gruppe besser ab als die anderen. Es war die Gruppe, deren Handys sich in einem anderen Raum befanden. Die Gruppe, die ihre Handys auf dem Tisch liegen hatte, erzielte die schlechtesten Ergebnisse. Je näher das Smartphone seinem Besitzer ist, desto mehr nimmt es ihn in Beschlag.

Würde das auch für Smartphones gelten, die nicht nur stumm-, sondern auch vollkommen ausgeschaltet sind? In einer neuen Version desselben Experiments lenkten ausgeschaltete Smartphones weiterhin ab. Ihr bloßes Vorhandensein genügte. Nach den Experimenten fragte man die Studenten, ob der Aufenthaltsort des Handys ihrer Meinung nach irgendwelche Auswirkungen auf ihre Leistung gehabt habe. Die weit überwiegende Mehrheit verneinte die Frage. Sie waren sich nicht bewusst, dass das Handy ihre Aufmerksamkeit in Anspruch nahm. Ironischerweise litten diejenigen, die berichteten, sie würden Schwierigkeiten haben, einen normalen Tag ohne Smartphone zu überstehen, am stärksten unter dem Braindrain.

Diese Studie legt den Schluss nahe, dass die bloße Anwesenheit der – sogar deaktivierten – Handys Aufmerksamkeit, Lernen und Testleistungen beeinträchtigt. Wenn die Geräte nicht im Unterricht gebraucht werden, wäre es sicherlich die lernförderlichste Strategie, sie in einem anderen Raum zu lassen.

Smartphones sind nicht die erste Technologie, die unsere Aufmerksamkeit in Anspruch nimmt; Fernsehen, Rundfunk und das Festnetztelefon hat man bereits denselben Vorwurf gemacht. Mir geht es hier um etwas anderes: Smartphones können die Konzentrationsfähigkeit auch dann einschränken, wenn sie stummgeschaltet oder abgestellt sind. Nur wenige Menschen sind sich dieses Phänomens bewusst. Das Problem ist nicht die Technologie selbst, sondern die Frage, ob wir verstehen, wie sie sich auf uns auswirkt, und ob wir lernen, die Technologie wieder in den Griff zu bekommen, statt uns von ihr beherrschen zu lassen. Viele fühlen sich ihrem Handy enger verbunden als ihren Freunden und Angehörigen. In einer Untersuchung an 500 erwachsenen US-Amerikanern gaben zwei Drittel der Befragten an, sie schliefen nachts mit ihrem Handy, und fast jeder Zweite meinte, er würde eher ein Jahr auf Sex verzichten als auf sein Handy. Die weit überwiegende Mehrheit – drei Viertel – sagte, sie seien nach ihrem Handy süchtig.[419] Das Ergebnis ist ein fortwährender Zustand der Ablenkung, der Unfähigkeit, anderen Aufgaben ungeteilte Aufmerksamkeit zu schenken und die eigene Intelligenz voll zu nutzen. Wenn Sie sich auf etwas anderes ganz konzentrieren wollen, legen Sie das Handy weg – weit weg. Denken Sie an die alte Redensart: Aus den Augen, aus dem Sinn.

Ist Social-Media-Sucht wie Spielsucht?

Ihre ganze Schwangerschaft hindurch hat Isabella, eine 38-Jährige, die in Las Vegas lebt, gespielt und jeden Dollar verloren, den sie besaß. Sie spielte weiter, bis es nur noch wenige Tage bis zur Geburt ihres Sohns waren. Für ihre abendliche Therapiegruppe schrieb sie auf, wie sie vor und nach ihrer Geburt in der Regel sechzehn Stunden pro Tag auf einem Stuhl vor dem Spielautomaten verharrte, während die Leute um sie herum rauchten. Sie aß kaum etwas, weil sie keine Minute an ihrem Automaten versäumen wollte:[420]

Selbst nach seiner Geburt konnte ich nicht mit dem Spielen aufhören. Stunde um Stunde ließ ich ihn zu Hause bei meiner Schwester. Später, nachdem ich alles verloren hatte, hatte ich Flecken bis zu den Hüften runter, weil die Milch aus meinen Brüsten leckte. Er lag hungrig zu Hause, und ich verspielte alles. Jetzt versuche ich, mit dem Spielen aufzuhören, aber die Automaten setzen mir schrecklich zu, wenn ich Babynahrung aus dem Geschäft hole. Ich versuche mich mit geschlossenen Augen an ihnen vorbeizudrücken, aber es klappt nicht immer.

In Las Vegas warten die Spielautomaten nicht nur in Casinos, sondern lauern auch an den Eingängen von Tankstellen, Supermärkten oder Drogerien. Isabella konnte ihren Anblick kaum vermeiden.

Sind Spielsucht und die Abhängigkeit von sozialen Medien miteinander identisch? Es gibt in der Tat eine Ähnlichkeit. Zunächst einmal liegt sie in der Zielsetzung der Unternehmen, die die Automaten herstellen. In ihrem brillanten Buch Addiction by Design beschreibt Natasha Dow Schüll, welche Anstrengungen die Ingenieure und Entwickler der Automatenhersteller unternehmen, um die Menschen an die Automaten zu binden. Der Spielentwickler Nicholas Koenig erklärt, dass die verborgenen Algorithmen entscheidend für die Sucht der Spieler seien: »Sobald man sie am Haken hat, will man ihnen Geld aus der Tasche ziehen, bis man alles hat; der Widerhaken sitzt, und man zerrt an der Schnur.«[421]

Um dieses Ziel zu erreichen, hat man Spielautomaten »personalisiert«. Zwei Automaten, die äußerlich gleich aussehen, können unterschiedliche Algorithmen haben, die verschiedene Kundentypen ansprechen. Beispielsweise werden Aussteiger-Spieler, die den Ungewissheiten ihres Lebens entfliehen möchten, indem sie so viel Zeit wie möglich am Automaten verbringen, eher Automaten verfallen, die auf kleine Gewinnausschüttungen zu zufälligen Zeitpunkten programmiert sind. Jackpot-Spieler dagegen sind nicht an kleinen Gewinnen interessiert. Sie sind bereit, groß zu verlieren, um groß zu gewinnen, und gehen lieber an Automaten, die seltene, aber hohe Gewinne ausschütten. Für Aussteiger-Spieler ist Videopoker zum bevorzugten Spiel geworden. Dort können sie für 100 Dollar Verlust rund zwei Stunden am Automaten verbringen, ungefähr die doppelte Zeitspanne, die ihnen der Münzautomat für den gleichen Preis gewährt. Das ist im Übrigen ein teureres Vergnügen als der Konsum von Partydrogen.[422] Die Verstärkung erfolgt häufiger, aber wie die Nahrungskügelchen bei Skinners Experimenten in kleinen Einheiten, die für eine höhere Frequenz des Spielverhaltens sorgen. Die Spieleindustrie hat eine Bezeichnung für dieses Geschäftsmodell: »Zeit am Gerät« (oder TOD nach englisch Time on Device).[423] Das gemeinsame Geschäftsmodell von Spielautomaten wie Social-Media-Plattformen sieht also vor, möglichst viel von der Zeit des Nutzers in Anspruch zu nehmen.

Die zweite Übereinstimmung ist die Verwendung der intermittierenden Verstärkung. Sie sorgt dafür, dass die Nutzer endlos durch Tweets scrollen und durch Fotos von Freunden von Freunden klicken, selbst wenn da nichts Interessantes ist und sie wissen, dass hinterher nur das Gefühl von »verlorener Zeit« bleibt. Auch bei Spielern beruht die Sucht nach ihren Automaten auf unvorhersehbaren Dopaminschüben. Gewinne kommen nach einer zufallsbestimmten Zahl von Spielen, was zu einer stetigen und hohen Spielfrequenz führt. Wie Isabella bemerkt, üben die Automaten eine Kontrolle über ihr Verhalten aus – sie bewirken, dass sie sich hinsetzt und spielt. Intermittierende Verstärkung ist sehr wirkungsvoll, doch einige Menschen fallen ihr besonders leicht zum Opfer, wofür andere Einflüsse verantwortlich sind. Im Fall von Isabella waren es ein gewalttätiger, alkoholabhängiger Vater und andere Faktoren, denen sie ausgeliefert war.

Doch es gibt auch einen Unterschied zwischen Glücksspiel und sozialen Medien. Spielautomaten ähneln »Skinner-Boxen« – jenen Boxen, in denen Skinner seine Tauben trainierte, ein einsamer Vogel pro Box. Intermittierende Verstärkung sorgt dafür, dass die Taube ständig auf eine Taste pickt und der Spieler ununterbrochen auf die Knöpfe drückt, was gelegentlich zu einem Kügelchen oder Geld als Belohnung führt. Menschen, die nach sozialen Medien süchtig sind, befinden sich in einer anderen Situation: Der eigentliche Zweck sozialer Medien liegt darin, verbunden zu sein, soziale Anerkennung zu bekommen und Vergleiche anzustellen. Die Likes liefern eine gängige Währung, die anzeigt, wie akzeptiert man ist; ein Post mit null Likes kommt einem öffentlichen Verdammungsurteil gleich. Sie haben sich vielleicht gefragt, warum die Leute, die 2021 ins Kapitol eindrangen, Selfies posteten, die ihre Identität verrieten und zu ihrer Verhaftung führten. Vielleicht war es nicht einfach Dämlichkeit. Möglicherweise setzten viele von ihnen einfach ihre permanente Suche nach der positiven Verstärkung durch Likes fort. Zu posten heißt gesehen zu werden, an einem Spielautomaten zu sitzen nicht.

Spielsüchtige schämen sich häufig ihrer Sucht. Sie spielen alleine und kommunizieren nicht mit anderen. Selbst wenn Spieler unmittelbar nebeneinandersitzen, findet kaum soziale Interaktion zwischen ihnen statt, wenn überhaupt. In einem Fall war eine Überwachungskamera zufällig auf einen Mann an einem Spieltisch gerichtet, der einen Herzinfarkt erlitt und neben seinen Nachbarn zusammensackte. Das bewusstlose Opfer lag buchstäblich auf den Füßen der anderen Spieler, und sein Körper berührte ihre Stühle. Doch alle setzten sie ihr Spiel fort, ohne mit der Wimper zu zucken.[424]

Viele von uns können nicht recht verstehen, warum Isabella und ihre Leidensgenossen ihre Zeit in der Welt der Automaten verbringen. Einige Forscher meinen, diese Menschen hätten ein gestörtes Verhältnis zur Wahrscheinlichkeitsrechnung. Das geht an der Sache vorbei: Erfahrene Glücksspieler haben sehr feine Antennen für Wahrscheinlichkeiten, sogar für die Unterschiede zwischen personalisierten Maschinen, die gleich aussehen. Andere sind der Auffassung, für Spieler sei das Gewinnen ein unwiderstehlicher Trieb. Allerdings spielen Spielsüchtige nicht unbedingt, um zu gewinnen. Sie spielen einfach, um Zeit mit dem Automaten zu verbringen. Ihr Verhalten steht unter dem Einfluss der intermittierenden Verstärkung des Automaten. Die Mutter eines elfjährigen Jungen erklärte, wenn sie im Videopoker gewinne, stecke sie das Geld einfach wieder in die Maschine. »Die Leute verstehen nie, dass ich nicht spiele, um zu gewinnen.« Warum spielt sie? »Um weiterzuspielen – um in der Maschinenzone zu bleiben, wo nichts anderes mehr zählt.«[425]

10

SICHERHEIT UND SELBSTKONTROLLE

Da ich die Zufälle nicht ordnen kann, halte ich mich selbst in Ordnung.

MICHEL DE MONTAIGNE[426]

Beherrsche dich selbst, sonst tut es jemand anders.

ANONYM

Eine Mutter, die süchtig nach Online-Videopoker ist, wird von der intermittierenden Verstärkung der Software kontrolliert, mit dem Erfolg, dass sie den Ort kaum verlassen kann, um mit ihrer Familie zusammen zu sein, und dass sie unter Umständen ihr Bankkonto leert. Ein junger Mann, der sich nach Aufmerksamkeit sehnt, wird in seinem Verhalten immer gewalttätiger, angespornt von der positiven Verstärkung auf verschiedenen sozialen Plattformen.[427] Die Kontrolle zu behalten – oder sie zurückzugewinnen – ist nicht immer leicht. Seit Homer die Geschichte von Odysseus erzählte, der seine Gefährten bat, ihn an den Mast zu binden, damit er sich von dem süßen, aber tödlichen Gesang der Sirenen nicht ins Verderben locken ließ, haben sich die Menschen zahlreiche Methoden ausgedacht, um die Kontrolle zu behalten. Einige legen einen Schwur vor den geliebten toten Eltern oder einem Freund ab. Andere wenden sich an Selbsthilfegruppen für Süchtige, oder sie finden einen guten Freund, um zusammen die Zeit einzuschränken, die sie mit Online-Glücksspielen, auf Internet-Pornoseiten oder bei süchtig machenden Ballerspielen verbringen.

Die Kontrolle zu behalten ist nicht nur mühsam, es wird auch absichtlich erschwert. Das Suchtpotenzial von Zigaretten wurde beispielsweise durch die Industrie erhöht, indem sie ihnen bestimmte chemische Stoffe beimischte, die zum Genuss am Rauchen nicht im Geringsten beitragen. Genauso werden Spielautomaten entwickelt, die die Spieler an das Gerät fesseln, selbst wenn sie aufhören möchten. Die Tabakindustrie, die Spielautomatenhersteller und die Tech-Branche sind wiederholt von Gesundheitsorganisationen aufgefordert worden, die Schwächen der Menschen nicht länger auszunutzen. Und Tech-Unternehmen sind diesen Bitten bis zu einem gewissen Grad nachgekommen: Jetzt bieten sie Apps an, die zulassen, dass Benachrichtigungen ausgeschaltet werden, die einschränken, wer die Likes sehen kann, und die Nutzer auffordern, mal eine Pause zu machen.

In diesem Kapitel beschäftigen wir uns mit der Frage, wie sich die digitale Selbstdisziplin fördern lässt. Selbstdisziplin heißt nicht, dass man ganz auf Spiele und andere Formen der Zerstreuung verzichtet. Es heißt nur, dass man in der Lage ist aufzuhören, wenn man weiß, dass man sonst bedauern würde, nicht etwas anderes getan zu haben, oder wenn einem klar ist, dass die Tätigkeit die eigene Gesundheit oder die anderer gefährdet.

Abgelenkte Autofahrer

Sie sind beim Autofahren abgelenkt, wenn Sie nicht auf die Straße sehen, die Hände vom Lenkrad nehmen oder mit den Gedanken woanders sind. Das geschieht, wenn Sie beim Autofahren nach Ihrem Handy greifen, texten, E-Mails checken, Fotos machen und posten oder ein Video anschauen, aber auch wenn Sie sich umwenden, um eine Tüte Chips vom Rücksitz zu holen. Multitasking am Steuer ist zu einer tödlichen Normalität geworden. Durch sie kommen weit mehr Menschen um, als durch Terroristen getötet werden. Laut der US-Gesundheitsbehörde fallen in den Vereinigten Staaten pro Tag rund 8 Menschen Autounfällen zum Opfer, an denen abgelenkte Fahrer beteiligt waren.[428] In Deutschland ist es jeden Tag etwa eine Person.

Der letzte Text

Es war Heiligabend, und die junge Frau hatte es eilig, nach Hause zu kommen. Aber sie traf dort nie ein. Wenige Kilometer vor ihrem Ziel raste sie, ohne zu bremsen, in einen Sattelzug. Die Straße war trocken, die Sicht gut, der Verkehr spärlich, daher fragten sich die Feuerwehrleute am Unfallort, wie es hatte passieren können. Als ihr Leichnam aus dem Wrack gezogen wurde, entdeckten die Rettungssanitäter ein intaktes Handy auf dem Boden des Autos. Das Display zeigte die letzte Textnachricht der Fahrerin: »Bin gleich da.«[429]

Es ist 20.14 am 21. Juni 2014. Laura fährt mit ihrem Mazda 3 in nördlicher Richtung auf der Route de la Station in L’Isle-Verte. Sie schickt eine Textnachricht an ihre Freundin. Zwei Minuten später trifft eine Antwort summend auf Lauras iPhone ein, sie öffnet die Nachricht, während sich das Auto einem Bahngleis nähert, das die Straße auf einem Hügelkamm kreuzt. Die roten Lichter am Bahnübergang blinken, die Glocken läuten, und die näherkommende Lokomotive pfeift vier Mal. Doch Laura geht nicht mit der Geschwindigkeit herunter. Mit 64 Stundenkilometern zermalmt der Zug Lauras Auto.[430]

Hi. Ich heiße Jenna. Einige würden sagen, dass ich eigentlich keine richtige Geschichte zu erzählen habe. Ich habe nie einen nahen Menschen verloren, weil ein Autofahrer eine SMS schrieb. Aber in gewisser Weise habe ich doch eine Geschichte. Vor ein paar Wochen saß ich im Auto und sah einen Mann, der in einem roten Wagen neben uns fuhr und eine Nachricht schrieb. Plötzlich scherte er aus und stieß fast mit uns zusammen. Wütend hupte mein Vater, er hätte beinahe seine einzige Tochter verloren. Und wisst ihr, was am schlimmsten war? Nachdem der Mann mit einem entschuldigenden Ausdruck im Gesicht aufgesehen hatte, kehrte er sofort zu seiner SMS zurück! Ich wette, er hat an diesem Tag noch jemanden umgebracht. Hört auf, beim Fahren Nachrichten zu schreiben, ich bin erst zwölf. Ich bin zu jung zum Sterben.[431]

In der Regel sterben die Opfer abgelenkten Fahrens vollkommen sinnlos. Denn die ablenkenden Nachrichten sind meist absolut trivial. Diese Menschen verlieren ihr Leben, weil sie beim Griff nach dem Handy einem Trieb unterliegen, der von intermittierender Verstärkung gesteuert wird. Wie können wir die Kontrolle zurückgewinnen? Unter anderem können wir uns eine halbe Stunde Zeit nehmen und aufmerksam denen zuhören, die weniger Glück hatten. Vor Jahren bat AT&T den legendären deutschen Filmemacher Werner Herzog, einen Dokumentarfilm über das Schreiben am Steuer zu drehen. Herzog erklärte sich einverstanden und machte den Film From one second to the next. Opfer und Täter sprechen offen über die Katastrophen, die sie erlitten oder verursacht haben. Eine Mutter, deren Sohn gelähmt ist, erzählt, wie ihrer aller Leben zerstört wurde, und ein junger Mann berichtet, wie er drei kleine Kinder tötete, während er seiner Frau textete: »Ich liebe dich.« In einem Fall, den Herzog nicht in seinen Film aufnehmen durfte, ging es um einen jungen Mann, der seiner Freundin eine Nachricht schrieb und dabei ein Kind auf einem Fahrrad überrollte. Seine Freundin saß neben ihm auf dem Beifahrersitz.[432]

Abgesehen davon, dass der Film in zahlreichen höheren Schulklassen gezeigt wird, kann From one second to the next auch auf YouTube angeschaut werden. Nachdem ich ihn gesehen hatte, blickte ich auf die Zuschauerzahl. Sie lag in einem niedrigen fünfstelligen Bereich. Im Vergleich dazu kommen Videos, in denen man erfahren kann, wie man eine Fliege bindet oder Eyeliner anwendet, leicht auf ein paar Millionen Aufrufe.

Multitasking

Multitasking heißt, dass man zwei oder mehr Aufgaben gleichzeitig erledigt, die alle ein gewisses Maß an Aufmerksamkeit verlangen. Beim Autofahren zu schreiben ist ein Beispiel dafür. Atmen beim Fahren ist keines, weil wir automatisch atmen. Aufmerksamkeit ist die entscheidende, nur in begrenztem Maße vorhandene Ressource. Das fundamentale Gesetz der Aufmerksamkeit lautet:[433]

Wenn Sie eine Aufgabe ausführen, die Aufmerksamkeit beansprucht, und dann gleichzeitig eine zweite übernehmen, verliert die Bewältigung der ersten Aufgabe an Qualität.

Multitasking ist nicht der Rede wert, wenn Sie den Rasen mähen und gleichzeitig einem Podcast zuhören oder wenn Sie sich einen Film ansehen, während Sie mit einem Freund plaudern. Doch am Steuer eines Autos gehen wir mit einer potenziell tödlichen Waffe um. Obwohl der Strom der Opfer nicht abreißt, sind viele Fahrer der Meinung, das fundamentale Aufmerksamkeitsgesetz gelte nicht für sie, weil Multitasking ihnen zur zweiten Natur geworden sei. Psychologische Studien zeigen jedoch, dass diese verbreitete Überzeugung leider eine Illusion ist.

In einer Studie wurden beispielsweise häufige Multitasker mit seltenen Multitaskern verglichen. Wie sich herausstellte, ließen sich Versuchsteilnehmer, die ans Multitasking gewöhnt waren, leichter durch unbedeutende Informationen ablenken, hatten ein schlechteres Gedächtnis und brauchten mehr Zeit, um zwischen Aufgaben zu wechseln.[434] Das sind alles Fähigkeiten, in denen sich erfahrene Multitasker eigentlich hervortun sollten. Gibt es dann nicht wenigstens ein paar Ausnahmetalente, die dem Aufmerksamkeitsgesetz nicht unterworfen sind? Dieser Frage nahm sich eine Studie an, in der Studenten in einem Fahrsimulator mittels einer Freisprechanlage einfache Gedächtnis- und Rechenaufgaben lösten. Wie erwartet ging beim Multitasking ihre Leistung in allen vier Aufgaben – Bremsreaktionszeit, Abstandhalten, Gedächtnis und Rechnen – zurück. Einzelanalysen zeigten, dass diese Ergebnisse für alle zweihundert Studenten galten, ausgenommen fünf, von denen es hieß, sie hätten »absolut keine Leistungseinbußen durch das Multitasking erlitten«. Daher wurden sie als »Supertasker«[435] gefeiert. Sind sie das wirklich? Als ich die Studie überprüfte, entdeckte ich, im Gegensatz zu dieser Behauptung, dass vier der fünf Supertasker tatsächlich in einer der vier Aufgaben schlechter abgeschnitten hatten. Damit bleibt von 200 Studenten nur noch ein Supertasker übrig. Doch dieser eine Fall könnte einfach ein Zufallstreffer sein. Wenn Sie beispielsweise zweihundert Menschen auffordern, einen Würfel viermal hintereinander zu werfen, ist es nicht ausgeschlossen, dass bei einem viermal die Sechs kommt. Das allein beweist noch nicht, dass jemand immun gegen den Zufall ist; diesen »Supertasker« müsste man entsprechend weiteren Tests unterziehen, um einen Zufall ausschließen zu können.

Alles in allem hat eine Fülle von Forschungsarbeiten gezeigt, dass Aufmerksamkeit eine begrenzte Ressource ist und dass die Ausführung von zusätzlichen Aufgaben, die Aufmerksamkeit verlangen, die Leistung in der ursprünglichen Aufgabe beeinträchtigt. Auch Erfahrung mit Multitasking kann das Aufmerksamkeitsgesetz nicht außer Kraft setzen und uns in Supertasker verwandeln.

Hände ans Steuer, Augen auf die Straße

Warum texten Menschen beim Autofahren? Fragt man Teenager, antworten einige, dass es Erwachsene schließlich auch tun. Und sie haben leider nur allzu recht. In einer landesweiten US-Erhebung wurden Eltern zum Texten beim Autofahren befragt. Die Hälfte waren Mütter, die andere Hälfte Väter. Alle hatten sie in den zurückliegenden dreißig Tagen ihre eigenen Kinder gefahren.[436] Auf die Frage »Glauben Sie, dass Sie texten und gleichzeitig sicher fahren können?« antworteten die meisten: »Auf keinen Fall!« Doch als es um ihr tatsächliches Verhalten ging, räumte die Mehrzahl ein, sie hätten im letzten Monat beim Fahren getextet. Sie hatten trotz besseren Wissens zugelassen, dass intermittierende Verstärkung und Dopaminschübe die Kontrolle über ihr Verhalten übernahmen. Um den Eltern zu helfen, sollte medizinisches Personal diese routinemäßig fragen, ob sie texten, wenn sie ihre Kinder fahren. Doch nur ein Viertel der Befragten meinte, ihre Kinderärzte hätten das Thema jemals angeschnitten.

Wie berichtet, wird in Deutschland jeden Tag ein Mensch von abgelenkten Fahrern getötet, um Größenordnungen mehr als von Terroristen. Trotz dieser erschreckenden Opferzahlen sieht man immer noch viele Leute beim Autofahren auf ihr Handy tippen. Gibt es ein Mittel dagegen? Eines ist gewiss: Man sollte sein Handy im Auto außer Sicht- und Reichweite verstauen. Es gibt auch Webseiten, auf denen man offiziell ein Gelübde ablegen kann, dass man der Straße seine ungeteilte Aufmerksamkeit schenken, kein Handy während der Fahrt benutzen und auch keinen anderen Zerstreuungen nachgehen werde. Viele Leute haben in dem Bemühen, den Drang zu unterdrücken, während der Fahrt zum Handy zu greifen, Hilfe bei der digitalen Technologie selbst gesucht. Sie haben eine App erstanden, die feststellt, dass sie am Steuer sitzen, und daraufhin alle eintreffenden und ausgehenden Nachrichten abblockt und, ohne den Fahrer zu behelligen, mit automatischen Nachrichten beantwortet. In der landesweiten Umfrage berichtete ein Elternteil von fünf, es verwende eine solche Selbstkontroll-App. Diese Apps sind sicherer als Smartphones, auf denen man über die Freisprechanlage texten kann. Zwar lässt man im zweiten Fall die Hände am Steuer, hat aber seine Gedanken nicht mehr auf der Straße. Das kann ein falsches Gefühl von Sicherheit vermitteln.

Sicherheitsfragen sind nicht auf die Straße beschränkt. Bei den Landungsvorbereitungen in Singapur vernahmen die Crewmitglieder in einem Jetstar Airbus A321 Geräusche vom Handy des Flugkapitäns, die wie eintreffende Textnachrichten klangen.[437] Der Erste Offizier, der die Maschine flog, forderte den Kapitän wiederholt auf, die Checkliste für die Landung zu vervollständigen, bekam aber keine Antwort. Der Kapitän war mit seinem Handy beschäftigt. Das Flugzeug musste eine Schleife fliegen, weil das Fahrwerk nicht rechtzeitig ausgefahren worden war. Ablenkung durch Texten wurde auch als einer der Gründe für Hubschrauberabstürze in Florida und Missouri angegeben. In Colorado nahmen der Pilot und der Passagier einer Cessna 150 nachts mit einem Blitzlicht Selfies auf, woraufhin die US-Flugsicherheitsbehörde zu dem Schluss kam, diese Handlung habe zu dem anschließenden Absturz beigetragen, bei dem beide Insassen ums Leben kamen. Daraufhin wurde in verschiedenen Ländern Piloten verboten, während des Dienstes elektronische Geräte zu persönlichen Zwecken zu verwenden.

Abgelenkte Eltern

Eines Tages ging ein Student der Wirtschaftswissenschaften an der Yale University mit seinem Sohn auf den Spielplatz. Als er auf sein Handy blickte, fiel sein Sohn hin. Es war kein schlimmer Unfall, brachte den jungen Ökonomen aber auf eine Hypothese. Als AT&T 2008 sein 3G-Netz über das ganze Land ausbreitete, erhielt er die Möglichkeit, sie zu testen. AT&T richtete seine Dienste in verschiedenen Regionen zu unterschiedlichen Zeiten ein, was günstige Voraussetzungen für ein natürliches Experiment bot. In einer Region nach der anderen – in dem Maße, wie die Smartphones Einzug hielten – stellte er fest, dass die Notaufnahmen eine wachsende Zahl von Verletzungen bei Kindern unter fünf Jahren registrierten, unter anderem Knochenbrüche und Gehirnerschütterungen.[438] Das passte ins Bild zum Unfall auf dem Spielplatz, konnte aber natürlich auch andere Ursachen haben als abgelenkte Eltern. Der Wirtschaftswissenschaftler begann zu untersuchen, wer oder was für diese Verletzungen verantwortlich war. Wie er herausfand, häuften sich die Unfälle, wenn Eltern ihre Kinder auf öffentlichen Spielplätzen, in Schwimmhallen oder zu Hause beaufsichtigten, nicht aber, wenn sich die Kinder in der Obhut von Lehrern oder Trainern befanden. Kein Wunder, dass auch die Deutsche Lebens-Rettungs-Gesellschaft in einer Mitteilung darauf hinwies, dass zahlreiche Eltern in Schwimmbädern und an Stränden lieber auf ihre Smartphones starren, als ihre Kinder zu beaufsichtigten. So laufen diese Gefahr, unbemerkt zu ertrinken,[439] denn der Tod im Wasser kann schnell und leise vor sich gehen.

Der Anblick von Eltern, die sich in Gesellschaft ihrer Kinder von ihren Handys ablenken lassen, ist längst alltäglich geworden. Wie der Yale-Student sitzen manche Eltern frühmorgens scrollend und klickend auf der Bank eines Spielplatzes und bemerken kaum, wenn ihr kleines Kind niemanden zum Spielen hat. Andere schieben ihre Kinderwagen und starren auf die Displays der Handys statt auf ihre Babys, die Augenkontakt mit ihnen suchen. Kinder beklagen sich, betteln und versuchen, das Handy verschwinden zu lassen. Es heißt, ein Fünfjähriger habe das Blackberry seiner Mutter versteckt, damit sie mit ihm sprach, und ein anderer Junge sei so wütend geworden, dass er das iPhone des Vaters im Klo hinuntergespült habe. Nur wenig später werden sich dieselben Eltern wahrscheinlich beklagen, weil ihre Kinder selbst am Display kleben.

Sean Parker, Ex-Präsident von Facebook, meinte einmal zur Nutzung von Facebook: »Nur Gott weiß, was es mit den Gehirnen unserer Kinder anstellt.«[440] Parker sprach über die exzessive Nutzung sozialer Medien durch Kinder. Aber die Nutzung der Eltern kann sich ähnlich auf die Entwicklung ihrer Kinder auswirken. Wenn man auch nicht genau weiß, wie schädlich die übermäßige Verwendung digitaler Medien tatsächlich ist, gibt es einen unleugbaren klaren Effekt: Je mehr Stunden die Eltern am Handy verbringen, desto weniger Zeit haben sie für ihre Kinder. Was dieser Verlust an gemeinsamer Zeit mit den Kindern anstellt, ist weniger bekannt. Das Ergebnis kann körperlicher Schaden sein, etwa wenn ein Vater zu spät bemerkt, dass sein Kind im Begriff ist, sich zu verletzen, oder psychischer Schaden, wenn in einem Kind das Gefühl wächst, es verdiene keine Aufmerksamkeit.

Die Hälfte der US-amerikanischen Teenager sagte, ihre Mütter und Väter ließen sich von ihren Handys ablenken, während sie versuchten, mit ihnen zu sprechen. Viele wünschten sich, die Eltern würden weniger Zeit am Handy zubringen. Einer von vier Teenagern glaubt, seine Eltern seien süchtig nach dem Handy.[441] Jugendliche mit abgelenkten Eltern berichten von dem Gefühl, die Eltern seien weniger liebevoll, ein Eindruck, der Angst und Depression bei Jugendlichen auslösen kann. Manche Eltern scheinen zu bemerken, dass ihre Kinder nervöser und reizbarer werden, wenn sie ihre Handys nutzen, machen aber trotzdem weiter. Für die Kinder folgt daraus, dass alles, was die Eltern auf ihren Handys tun, wichtiger ist als sie, die Kinder.

Wenn Eltern dagegen beobachten, was Kinder tun, gewinnen diese den Eindruck, dass ihr Tun wichtig ist, und sie geben sich noch größere Mühe. Kinder leisten sogar beim Sport mehr, wenn ihre Eltern zuschauen und sich nicht mit ihren Handys beschäftigen. Im Allgemeinen brauchen Kinder Aufmerksamkeit, um ihre Fähigkeiten zu entfalten. Das ist auch ein entscheidender Faktor beim frühen Spracherwerb. In einer Studie brachten 38 Mütter ihren Zweijährigen zwei neue Wörter bei, wobei für jedes Wort eine Minute Lehrzeit zur Verfügung stand. In einer Gruppe wurde dieser Zeitraum durch einen Handyanruf unterbrochen, in der anderen nicht. Bei einer Unterbrechung wurde die Zeit hinterher immer dazugegeben, sodass der gesamte Zeitraum gleich blieb. Wenn der Lehrvorgang nicht unterbrochen wurde, lernten die Kinder das Wort; bei einer Unterbrechung lernten sie es nicht.[442]

Studien haben ferner gezeigt, dass Eltern für den frühen Spracherwerb ihres Kindes nichts Besseres tun können, als ihm Geschichten vorzulesen und damit auch noch fortzufahren, wenn es bereits lesen kann. Dagegen lernen Kinder unter zwei Jahren, wenn sie sich Baby-Videos wie »Baby Einstein« und »Brainy Baby« anschauen, deutlich weniger, als wenn sie einem Menschen zuhören.[443] Diese angeblich intelligenten Programme zum frühen Spracherwerb sind in erster Linie so gestaltet, dass sie die Aufmerksamkeit der Kinder gefangen nehmen, aber sie leisten nicht, was sie versprechen.

Papa, wo schläft das Handy?

Intermittierende Verstärkung veranlasst eine Menge Leute, ihr Handy häufiger zu checken, als sie es nach eigenem Bekunden wünschen. Einige können diesen Drang noch nicht einmal beim Yoga, Gottesdienst oder einem Begräbnis unterdrücken. Ein Dopaminschub kann wichtiger werden als das Bedürfnis, zu entspannen, zu beten oder eines verstorbenen Freundes zu gedenken. Manchmal hilft es dem Bemühen um Selbstdisziplin, wenn man neue Gewohnheiten entwickelt. Diese können den Zusammenhang zwischen der Nutzung elektronischer Medien und Schlaflosigkeit durchbrechen.[444] Und sie sollten so früh wie möglich erlernt werden. Einige Eltern haben sich mit ihren Kindern auf bestimmte handyfreie Zeiten oder Orte geeinigt. Andere haben verabredet, während der Mahlzeiten bei Tisch keine Handys zu benutzen. Wieder andere haben, als ihr Kind sein erstes Smartphone bekam, ein niedliches kleines Bett gebaut (Abbildung 6 der Farbtafel). Bevor das Kind selbst zu Bett geht, kann es das Handy in dessen eigenes Bett außerhalb des Kinderzimmers legen. Das kann der Grundstein zu einer Gewohnheit werden, die das Kind daran hindert, seine Nächte damit zu verbringen, zu texten, zu posten und Videos unter der Bettdecke zu gucken. Handys und Menschen laden sich auf, während sie schlafen.

Diese Gewohnheiten und Maßnahmen bestimmen die Kultur einer Familie und können den spezifischen Bedürfnissen ihrer Mitglieder angepasst werden. Egal, auf welche Regeln man sich einigt, sie sollten für Eltern und Kinder gleichermaßen gelten. Der Kreativität sind keine Grenzen gesetzt. Bei Freunden entdeckte ich in der Diele einen Beutel mit acht Taschen an der Wand hängen, der Gäste einlud, ihre Handys im Interesse eines lebendigen Tischgesprächs dort zu lassen. Wenn Sie wirklich weniger Zeit am Handy verbringen möchten, um mehr Zeit für die persönlichen Beziehungen zu Kindern, Freunden und Angehörigen zu haben, gibt es eine Fülle von Maßnahmen, um das zu ermöglichen.

Wer rastet, der rostet

In den frühen Morgenstunden des 1. Juni 2009 war Flug 447 der Air France auf dem Weg von Rio de Janeiro nach Paris. Alles war wie sonst: Die Passagiere schliefen, dösten, lasen oder sahen sich ein Video an. Die Route kreuzte die innertropische Konvergenzzone und durchquerte den oberen Bereich eines kräftigen Gewitters. Um 2.02 Uhr verließ der Flugkapitän nach einem kurzen Übergabebriefing das Cockpit, um in seine Pause zu gehen. Seine beiden Kopiloten übernahmen das Flugzeug. Zwölf Minuten später stürzte die Maschine in den Atlantischen Ozean, und alle 228 Menschen an Bord kamen ums Leben.

Was war geschehen? Vier Minuten vor dem Aufschlag schaltete sich der Autopilot ab. Das tat er, weil alle drei Geschwindigkeitsmesser gleichzeitig durch Eiskristalle zugefroren waren und keine sicheren Daten mehr lieferten. Die beiden Kopiloten mussten das Flugzeug manuell und ohne verlässliche Geschwindigkeitsanzeige fliegen. Die Crew war im Bruchteil einer Sekunde in eines der gefährlichsten Krisenszenarios für einen Piloten gekommen. Keiner von ihnen war jemals trainiert worden, ein Flugzeug in dieser Situation in Reiseflughöhe zu fliegen. In dem Augenblick, als der Autopilot sich abschaltete, kam erschwerend hinzu, dass der Kopilot, der das Flugzeug manuell übernommen hatte, sofort in die gewohnten Reaktionen des manuellen Fliegens in niedrigen Höhen verfiel und den ersten unkontrollierten Rollbewegungen viel zu kräftig entgegensteuerte und so das Flugzeug destabilisierte. In großen Höhen ist die Luft dünn, daher sind schwächere Korrekturen erforderlich als in geringeren Höhen. Gleichzeitig leitete der fliegende Pilot einen Steigflug ein, was einen Geschwindigkeitsverlust bewirkte. In dieser Zeit ertönte zweimal kurz die Stall-Warnung, eine Warnung, die den Piloten einen bevorstehenden Strömungsabriss signalisiert und vor dem Verlust des Auftriebs warnt.[445] »Strömungsabriss« bedeutet, dass die Luft dem Flügelprofil nicht mehr folgen kann und der Auftrieb an den Tragflächen schlagartig zusammenbricht. Piloten sind darauf trainiert, in einer solchen Situation die Nase der Maschine nach unten zu drücken, doch die Blackbox-Aufzeichnung zeigte, dass die Piloten erschrocken waren und nicht erkannten, in welchem Zustand (Anstellwinkel zu Geschwindigkeit) sie eigentlich waren. Das Flugzeug fiel quasi wie ein Stein vom Himmel. Wir können nur ahnen, was die entsetzten Passagiere und Crewmitglieder in diesen letzten Augenblicken empfanden. Die beim Aufschlag gemessene Geschwindigkeit über Grund betrug nur 200 Stundenkilometer.

Der Abschlussbericht der Untersuchung nannte das mangelnde Training des manuellen Fliegens in großen Höhen als einen der Faktoren, die zu dem Unglück beigetragen hatten. Im Zuge der wachsenden Automatisierung von Flugzeugen wurde das Training manueller Fertigkeiten teilweise vernachlässigt.[446] Die Katastrophe von Flug 447 hatte viele Ursachen, von denen einige unklar sind, aber eines ist gewiss: Der Absturz war vollkommen unnötig.

Automatisierung für erwartete Ereignisse, Menschen für unerwartete Ereignisse

Fluggesellschaften und Flugzeughersteller gehörten zu den Ersten, die Steuerung durch Autopiloten einführten. In Situationen, die stabil und vorhersagbar sind, kann Automatisierung die Sicherheit verstärken, so etwa bei Flügen in großen Höhen. Doch dienen Autopiloten der Unterstützung der Piloten und der Überwachung der korrekten Flugdurchführung. Der Ausfall des Autopiloten muss jederzeit von einem Piloten beherrscht werden. Der Absturz von Flug 447 der Air France und ähnliche Unglücke legen den Schluss nahe, dass Piloten zu abhängig von den Computersystemen sind und im schlimmsten Fall erst einmal nicht wissen, wie sie richtig reagieren müssen, wenn Unerwartetes passiert. Daraufhin gab die US-Luftfahrbehörde 2013 einen »Sicherheitshinweis für Piloten« heraus. Danach sollten Fluggesellschaft ihre Piloten anweisen, sich weniger auf den Autopiloten zu verlassen und mehr Zeit damit zu verbringen, manuell und auf Sicht zu fliegen.[447]

Wie die Luftfahrtbehörde hat auch die US-Navy festgestellt, dass die wachsende Abhängigkeit von der Automatisierung fatale Folgen haben kann. Um 2000 hatte die Navy begonnen, das Training ihrer Navigatoren umzustellen. Sie mussten sich nicht mehr an Sternen, Sextanten und Seekarten orientieren, sondern an elektronischen Navigationssystemen wie GPS.[448] Nach der anfänglichen Begeisterung darüber, dass vollkommene Computertechnologie unvollkommene menschliche Urteile ersetzen könne, erkannte die Navy, dass in einem Krieg Satellitensignale wahrscheinlich gehackt und gestört oder die Satelliten sogar abgeschossen würden. Inzwischen ist die Marineakademie wieder zu den Grundlagen zurückgekehrt und unterrichtet ihre Mitglieder darin, das eigene Gehirn zu benutzen.

Wie in Kapitel 4 gesehen, leiden automatisierte Autos unter dem gleichen Problem. Computer können eine wachsende Zahl von Routineaufgaben übernehmen, wie das Einparken oder das Überholen auf Schnellstraßen, doch wenn etwas Unerwartetes passiert, muss ein menschlicher Fahrer eingreifen. Gegenüber den Piloten von Air France 447 haben menschliche Autofahrer oft noch weniger Zeit zum Reagieren – es können nur Sekundenbruchteile sein. Daher sind aufmerksame Fahrer im normalen Verkehr erforderlich. Durch Outsourcen von fahrerischen Fertigkeiten an Bordcomputer und Sensoren macht man diese Notwendigkeit nicht überflüssig. Wie erwähnt, besteht ein Ausweg darin, kontrollierte, intelligente Schnellstraßen oder Städte zu bauen, die sich den begrenzten Fähigkeiten der Automatisierung anpassen. Diese Option dürfte sich jedoch in der Luftfahrt nicht ganz so leicht verwirklichen lassen. Das grundsätzliche Dilemma ergibt sich aus dem Prinzip der stabilen Welt: Das Outsourcing der Navigationsfertigkeiten macht so lange keine Probleme, wie alles nach Plan läuft, doch in Situationen, in denen aus heiterem Himmel Unvorhergesehenes passiert, sind wachsame und gut ausgebildete Menschen erforderlich. Dieses Dilemma bezeichnet man als Automatisierungsparadox:[449]

Je höher entwickelt ein automatisiertes System ist, desto entscheidender ist ein erfahrener und aufmerksamer menschlicher Kontrolleur.

Ein ähnliches Dilemma ergibt sich bei GPS-Systemen. Sie sind außerordentlich nützlich beim Autofahren oder Wandern. Doch wenn man sich im Alltag gewohnheitsmäßig auf sie verlässt, verkümmert das räumliche Denken, einschließlich der Orientierungsfähigkeit und des Vermögens, sich eine mentale Karte der Umgebung anzulegen.[450] Wir wissen kaum noch, wo der Fluss oder See liegt und wo Norden oder Süden ist. Wenn unser Handy-Akku unversehens den Geist aufgibt, haben wir keine Ahnung, wo das Restaurant ist, in dem wir uns mit unseren Freunden treffen wollten, und da wir uns auch die Telefonnummern der Freunde nicht eingeprägt haben, sind wir aufgeschmissen. Unter Umständen wissen wir noch nicht einmal, wie wir zu unserem Airbnb zurückkommen. In einer Welt der Gewissheit, in der GPS immer fehlerlos arbeitet, könnten wir unser räumliches Vorstellungsvermögen und Gedächtnis outsourcen und vernachlässigen. Doch in der realen Welt kann das GPS versagen. Das ist 2015 schon einmal zwölf Stunden lang passiert, als das Satellitennetz ausfiel.[451] Es kann sich ein Fehler einschleichen, der Akkustrom ausfallen oder ein internationaler Hackerangriff stattfinden.

Die GPS-Nutzung begann als Option. Sie half bei der Orientierung in neuen und unbekannten Gebieten. Doch wenn wir von dieser Option übermäßigen Gebrauch machen, geraten wir in einen Teufelskreis. Einstige Fertigkeiten – das Kartenlesen, das Wissen, wo Norden ist, die Erinnerung von Straßennamen, das Einprägen von Orientierungspunkten – verkümmern oder gehen vollkommen verloren. Das wiederum macht die Menschen abhängiger vom System. Wenn etwas Unerwartetes geschieht, bleibt keine Option mehr übrig. Um diesen Teufelskreis zu durchbrechen, könnte es nützlich sein, Gewohnheiten zu entwickeln, die von den Vorteilen der GPS-Technologie Gebrauch machen, ohne dass die Orientierungsfähigkeiten ganz verloren gehen. Einige Menschen nutzen GPS nur, um an unbekannte Orte zu gelangen, aktivieren aber ihr räumliches Gedächtnis, um altbekannte zu finden. Andere verwenden GPS beim Gehen, schalten aber den Ton ab.

Halten Sie sich beim Aufsuchen bekannter Orte an Ihren eigenen Orientierungssinn, dann bleibt er aktiv und leistungsfähig. Wenn Sie hingegen Audiobefehle wie »jetzt rechts abbiegen« blind befolgen und genau das tun, was man Ihnen sagt, bleibt Ihr Orientierungssinn auf der Strecke. Erstaunliche Geschichten sind im Umlauf über Leute, die sich ins Auto setzten, um im Supermarkt einzukaufen, um dann Hunderte Kilometer von ihrem Zielort entfernt zu stranden.[452] Wie eine berühmte wissenschaftliche Studie an Londoner Taxifahrern gezeigt hat, verändert die Entfaltung des Orientierungssinns das Gehirn. Diese Taxifahrer verließen sich nicht auf das GPS, und ihre Gehirnfunktionen veränderten sich mit der Zunahme ihrer Ortskenntnisse. Das Gehirn ist wie ein Muskel: Es muss trainiert werden. Wer rastet, der rostet.

11

FAKT ODER FAKE?

Kinder müssen lernen, wie man denkt, nicht was man denkt.

MARGARET MEAD[453]

Statt danach zu streben, das menschliche Gehirn zu übertreffen, hätte ich lieber danach trachten sollen, das menschliche Herz zu verstehen.

KAI-FU LEE, EHEMALIGER CHEF VON GOOGLE CHINA[454]

Wir denken, es sei leicht, Fakten von Fälschungen zu unterscheiden. Manchmal ist das so, aber es kann auch äußerst schwierig sein – besonders dann, wenn eine Erzählung der eigenen Erfahrung widerspricht. Dazu berichtete der englische Philosoph und Arzt John Locke im 17. Jahrhundert die folgende Geschichte:[455]

So ging es einem holländischen Gesandten, der den König von Siam von den Eigentümlichkeiten unterrichtete, nach denen dieser sich erkundigt hatte. Er erzählte ihm unter anderem, daß das Wasser in seiner Heimat bei kaltem Wetter zuweilen so fest werde, daß die Menschen darauf umhergehen konnten, ja, daß es einen Elefanten tragen würde, wenn einer vorhanden wäre. Darauf erwiderte der König: »Bis jetzt habe ich die seltsamen Dinge geglaubt, die Sie mir erzählt haben, weil ich Sie für einen besonnenen und ehrlichen Mann hielt, jetzt aber bin ich gewiß, daß Sie lügen.«

Locke war einer der Begründer des Empirismus, der Lehre, dass all unser Wissen, möglicherweise mit Ausnahme von Logik und Mathematik, aus der Erfahrung stamme. Er unterschied zwischen Gewissheit (Wissen) und Wahrscheinlichkeit (Vernunftgemäßheit). Wenn man einen Menschen auf dem Eis hat gehen sehen, ist das Wissen, keine Wahrscheinlichkeit. Wenn nicht, ist es Wahrscheinlichkeit. Für Locke hängt Wahrscheinlichkeit von zwei Faktoren ab: der Übereinstimmung mit der eigenen Erfahrung sowie dem Zeugnis von der Erfahrung anderer. Wenn man dem König von Siam, der noch nie gesehen hat, wie Wasser zu Eis wird, sagt, die Holländer könnten darauf gehen, widerspricht dieser Bericht seiner Erfahrung. Damit hängt alles von der Glaubwürdigkeit der Zeugen ab: ihrer Zahl, Redlichkeit und Fähigkeit – sowie von der Frage, ob es widersprechende Zeugnisse gibt. Nun gab es hier nur einen Zeugen, daher gelangte der König zu dem Schluss, dieser sei ein Lügner.

Vom König von Siam bis zum heutigen Tag ist es eine Herausforderung geblieben, Fakten von Fakes zu unterscheiden. Selbst wenn wir es in der Rückschau können, ist es im Voraus häufig unmöglich. Im Jahr 1515 fertigte Albrecht Dürer den Holzschnitt eines Nashorns an (Abbildung 11.1, links). Dürer hatte ein solches Tier noch nie mit eigenen Augen gesehen; er verließ sich auf eine Skizze und die Beschreibung eines Kaufmanns aus Lissabon. Auch der englische Geistliche Edward Topsell stützte sich auf das Zeugnis anderer, als er einen Holzschnitt von einem Einhorn anfertigte (Abbildung 11.1, rechts).[456]

ABBILDUNG 11.1: Welches Tier ist echt? Albrecht Dürers Holzschnitt eines Nashorns aus dem Jahr 1515 und Edward Topsells Holzschnitt eines Einhorns von 1607. Quelle: Wikicommons.[457]

Stellen Sie sich vor, Sie wären 1616 in Dürers Heimatstadt geboren worden, dem Jahr, in dem die Römische Inquisition von Galilei verlangte, seiner Überzeugung abzuschwören, dass die Erde und die Planeten um die Sonne kreisen. Sie sind in einer Zeit aufgewachsen, als die Religion und nicht die Wissenschaft entschied, was Fakten sind, und als Reisen in ferne Länder langwierig und strapaziös waren. Dank der Erfindung der Druckerpresse konnten Sie diese beiden Holzschnitte sehen. Hätten Sie geglaubt, dass solche Tiere wirklich existieren? Ein riesiges Tier mit einem Horn auf der Nase und einem gewaltigen Schutzpanzer, massiver als der jedes Schlachtrosses? Oder dieses schlanke, pferdeartige Tier mit einem sehr langen, dünnen Horn? Zumindest waren Einhörner schon vorher abgebildet worden, am bekanntesten wohl von Leonardo da Vinci. Außerdem hatte man die langen Hörner des Tiers schon gefunden und ausgestellt (tatsächlich handelte es sich um Narwalhörner, aber man hatte auch noch nie Narwale gesehen). Folglich könnten Sie zu dem Schluss kommen, dass beide Tiere gleich plausibel oder implausibel sind.

Das gefrorene Wasser, das Rhinozeros und das Einhorn illustrieren, wie schwierig es sein kann, Fakten von Fälschungen zu unterscheiden. Nach der Erfindung der Druckerpresse wurde Europa von erlogenen Nachrichten auf Einblattdrucken und Flugschriften überschwemmt. Jede Revolution in der Kommunikationstechnologie, von der Druckerpresse bis zum Internet, hat neue Schleusentore für Fluten von Fake News geöffnet. Man könnte einwenden, dass die moderne Technologie es uns erleichtert habe, Falsches von Wahrem zu unterscheiden. Hätte es damals schon die Fotografie gegeben, hätte Hollands Botschafter den König vielleicht mit einem Foto überzeugen können, das zeigt, wie Menschen Schlittschuh auf zugefrorenem Wasser laufen. Doch selbst Fotos liefern keinen fälschungssicheren Beweis mehr. Bereits 1917 fotografierten sich zwei Mädchen aus Yorkshire im Alter von zehn und sechzehn mit winzigen Feen, die um ihre Köpfe tanzten.[458] Arthur Conan Doyle, der Schöpfer von Sherlock Holmes und, ganz im Gegensatz zu seinem berühmten Detektiv, ein unbeirrbarer Anhänger des Spiritismus, war von der Echtheit dieser Fotos überzeugt. Es wird noch spekuliert, wie die Mädchen diese Feen auf die Bilder bekamen; sie haben ihre Technik nie enthüllt. Mit der heutigen Softwaretechnik können Fotos und Videos von jedem Laien mühelos bearbeitet werden. In einem Deepfake wird eine Person in einem Bild oder Video mit dem Gesicht oder dem Körper eines anderen Menschen versehen; das kann man heute schon live machen, etwa bei einem Zoom-Meeting. Man kann auch das verändern, was Politiker in einem Video sagen, indem man ihnen buchstäblich andere Wörter in den Mund legt. Mit dem weiteren technischen Fortschritt wird es vermutlich immer schwieriger werden, die Wahrheit von der bearbeiteten Wahrheit zu unterscheiden. Das heißt auch, dass Menschen intelligenter werden müssen, um zu erkennen, was sich hinter Nachrichten, Fotos oder Videos verbirgt, und um die Glaubwürdigkeit von Inhalten zu bewerten.

Faktencheck ist zu einem Modewort geworden. Gegenwärtig gibt es Hunderte von Faktencheck-Projekten in aller Welt. Der 2. April ist zum internationalen Faktencheck-Tag auserkoren worden, passenderweise unmittelbar nach dem Tag der Aprilscherze. Doch Fakten allein sind nicht gleichbedeutend mit Wahrheit; die Fakten mögen hundertprozentig stimmen, aber trotzdem kann die Geschichte immer noch irreführend sein, wenn sie einer verborgenen Absicht dient. Und wer checkt die Faktenchecker? Beispielsweise wurde das inzwischen eingestellte konservative Wochenmagazin The Weekly Standard zu einem beglaubigten Faktenchecker auf Facebook, was zu einem empörten Aufschrei bei progressiven Gruppen führte, die gerade dem Weekly Standard vorgeworfen hatten, falsche Behauptungen über Obamacare zu lancieren.[459] Heute werfen sich manche Faktencheck-Organisationen gegenseitig vor, ihr Faktencheck sei parteiisch motiviert.

Fakes

In George Orwells Roman 1984 ist Winston Smith ein Angestellter des Ministeriums für Wahrheit, das die Aufgabe hat, Lügen zu verbreiten. Winston liebt seine Arbeit über alles, die darin besteht, gebrochene Versprechen zu verändern und falsche Vorhersagen von Big Brother den aktuellen Fakten anzupassen. Als das Wohlstandsministerium, das landesweit für Knappheit und Hunger sorgt, die Schokoladenration verringert, nachdem versprochen worden war, sie werde nicht reduziert, verwandelt Winston das Versprechen in eine Warnung, die eine Verknappung ankündigt. Als das ständig Krieg führende Friedensministerium vorhersagt, es werde an der südindischen Front zu keiner Invasion durch eurasische Feinde kommen, dann aber genau das geschieht, wird dieser Absatz in der Rede von Big Brother in eine Ankündigung der Invasion verwandelt. Minute um Minute wird die Vergangenheit in Zeitungen, Büchern, Plakaten, Filmen, Soundtracks und Fotografien auf den neuesten Stand gebracht. Big Brother irrt sich nie.

In der prä-digitalen Welt des Orwell’schen Buchs beschäftigt das Ministerium für Wahrheit Tausende von Angestellten damit, alle Exemplare von Zeitungen und Büchern einzusammeln, zu zerstören und durch die veränderten Versionen zu ersetzen. Heute ermöglicht die digitale Technologie jedem von uns, Beweise, Fotos und Videos so zu verändern, dass der Schwindel kaum noch zu entdecken ist. Dafür brauchen wir kein Ministerium für Wahrheit. Infolgedessen verschwimmen die Unterschiede zwischen Wirklichkeit und Fälschung. Und das liegt nicht daran – wie John Locke meinte –, dass wir den Zeugnissen anderer vertrauen müssen, wenn wir ein Ereignis nicht selbst erlebt haben. Auch nachdem wir ein Bild oder Video im Internet gesehen haben, können wir nicht mehr mit Sicherheit sagen, in welchem Maße es die Wirklichkeit widerspiegelt. Die Bearbeitung von Selfies ist völlig normal geworden. Die sozialen Medien werden überschwemmt mit den Fotografien wunderschön optimierter Gesichter und Körper, sodass alle mit weniger spektakulärem Äußeren sich unzulänglich fühlen müssen und sich folglich veranlasst sehen, die eigenen Fotos zu optimieren. Derartige Manipulationen sind so selbstverständlich, dass nicht bearbeitete Fotos in den sozialen Medien häufig mit dem Hinweis »ohne Filter« versehen werden. Als man jungen Frauen zwischen 14 und 18 Jahren Bilder von Gleichaltrigen zeigte, auf denen bestimmte Körperteile künstlich verschlankt wurden, fanden sie diese Bilder »natürlicher« als unbearbeitete Bilder – obwohl sie genau wussten, dass diese Bilder manipuliert worden waren.[460] Wenn sich die Bedeutung eines Wortes verändert, verändert sich auch das Denken. Künstlich ist natürlich.

Oft werden gefälschte Bilder und Nachrichten aus banalen Gründen in Umlauf gebracht, etwa um sich mit anderen zu vergleichen und um Aufmerksamkeit und Likes zu erhaschen. Aber es geschieht auch, um soziale Gruppen auszugrenzen und zu stigmatisieren. Diese Motive sind politisch und nichts Neues. Als Mitte des 14. Jahrhunderts der Schwarze Tod in Europa wütete, wurden die Juden als Brunnenvergifter beschuldigt und in Toulon, Barcelona, Basel und anderswo in Europa niedergemetzelt. In Straßburg wurden sie bei lebendigem Leibe verbrannt – zur Vorbeugung, die Pest war noch nicht einmal eingetroffen. Den Juden wurde auch vorgeworfen, sie schlachteten christliche Kinder ab und verwendeten ihr Blut für religiöse Rituale, ein Mythos, der von QAnon-Anhängern und anderen Verschwörungsfantasten des 21. Jahrhunderts aufgewärmt wird.[461] Die Covid-19-Pandemie erwies sich als ein neuer, fruchtbarer Boden für die Diffamierung anderer Kulturen. Zu Beginn der Pandemie wurden Bürger asiatischer Herkunft in vielen nicht asiatischen Ländern angegriffen, und Chinarestaurants berichteten über einen Umsatzrückgang von 50 Prozent, weil sie von vielen Kunden boykottiert wurden. Gerüchte und Stigmata verbreiteten sich rasch in den sozialen Medien, wo behauptet wurde, chinesische Glückskekse, Reis und Red Bull seien mit dem Virus kontaminiert und die gesamte Covid-19-Pandemie sei eine Verschwörung gegen Trump, damit er in der Präsidentschaftswahl verliere.[462] Verschwörungstheorien waren während der Pandemie verantwortlich für eine geringere Akzeptanz von Masken, Abstandsregeln und Impfungen und haben sich in der Vergangenheit katastrophal auf HIV-Prävention, Zika und Ebola ausgewirkt.

Dreimal hab ich’s gesagt

Vor dem Brexit-Referendum erklärte Boris Johnson den Briten, sie seien alle Opfer der Europäischen Union, eines bürokratischen Ungeheuers, das freie Märkte in Ketten lege und seine Bürger unter grotesken Verordnungen ersticke. Eine der lächerlichen Vorschriften besage, so schrieb er im Telegraph, dass Kinder unter acht Jahren keine Luftballons aufblasen dürften. Eine andere, dass es verboten sei, Teebeutel zu kompostieren.[463] Als er Monate vor der Brexit-Abstimmung in einer Anhörung eines parlamentarischen Finanzausschusses gefragt wurde, in welcher EU-Verordnung dieses Verbot zu finden sei, teilte er dem Ausschussvorsitzenden unverfroren mit, das sei auf der Webseite der Europäischen Kommission nachzulesen. Der Vorsitzende hatte jedoch die Sicherheitsbestimmungen für Spielzeuge vor sich liegen, die keine derartige Verordnung enthielten – kein Verbot für das Aufblasen von Luftballons, noch nicht einmal die Bedingung, dass die Eltern dabei anwesend sein müssten. Es wurde lediglich ein warnender Hinweis auf der Packung verlangt, dass Kinder unter acht Jahren an Luftballons ersticken können. Johnson hatte die Geschichte frei erfunden. Als der Vorsitzende außerdem nachwies, dass es kein EU-Verbot für die Kompostierung von Teebeuteln gab, musste Johnson zugeben, dass es tatsächlich von der Stadtverwaltung in Cardiff stamme. Aber was war mit den Särgen? Johnson hatte der Öffentlichkeit nämlich von einer grotesken EU-Verordnung berichtet, die Abmessung, Gewicht und Material von Särgen detailliert vorschrieb – ein weiterer Mythos. Oder den Kartoffelchips mit Krabbencocktail-Geschmack? Laut Johnson war das EU-Verbot von Chips mit dieser besonderen Geschmacksnote eine der größten Gefahren für die Freiheit der britischen Lebensmittelindustrie. Überaus anschaulich erzählte er, wie er kampfeslustig nach Brüssel gereist sei, um die herrische Bürokratin zur Rede zu stellen, die diese Chips für ungesetzlich erklärt habe, eine symbolische Demütigung der britischen Demokratie. In seinen eigenen Worten: »Wir werden bis zum letzten Atemzug um unsere Chips mit Krabbencocktail-Geschmack kämpfen.« Auch hier existiert eine solche EU-Verordnung natürlich nicht, wahrscheinlich ebenso wenig wie jene Frau. Es ist einfach eine der vielen Geschichten über Brüssel, die er sich aus den Fingern gesogen hat.[464] Doch am Ende spielte das keine Rolle. Die Märchen zahlten sich aus.

Warum glauben Menschen an Fake News? Gewöhnlich lautet die Antwort, weil Menschen dumm sind, sich nicht für die Wahrheit interessieren und die eigene Meinung bestätigt wissen wollen. Das mag in einigen Fällen stimmen, doch es gibt eine interessantere Antwort, die sich auf ein grundlegendes psychologisches Gesetz stützt:

Wiederholungseffekt: Je öfter eine Behauptung wiederholt wird, desto glaubhafter wird sie, unabhängig davon, ob sie wahr oder falsch ist.

In Lewis Carrolls Ballade The Hunting of The Snark (Die Jagd auf den Snark) verkündet der Ausrufer: »Dreimal hab ich’s gesagt: Was ich dir dreimal sage, ist wahr.«[465] Der Wiederholungseffekt funktioniert bei politischen Nachrichten, die unsere Vorurteile bestätigen, aber überraschenderweise auch bei neutralen Nachrichten und Belanglosigkeiten. In einem Experiment konnte ich mich selbst davon überzeugen. Dessen Teilnehmer lasen Behauptungen wie »Die Volkrepublik China wurde 1947 gegründet« und »Es gibt auf der Erde mehr römisch-katholische Christen als Muslime«.[466] Zu jeder Behauptung mussten die Teilnehmer mitteilen, ob sie sie für wahr hielten. Zwei Wochen später erhielten sie eine neue Liste von Behauptungen, die einige der alten enthielt. Dasselbe Verfahren wurde zwei Wochen später wiederholt. Der Glaube der Teilnehmer an die wiederholten Behauptungen nahm mit jeder Wiederholung zu – egal, ob sie wahr waren oder nicht.

Der Wiederholungseffekt setzt mangelndes Wissen voraus. Jemand, der mit Sicherheit weiß, dass die Volkrepublik China 1949, nach Ende des Bürgerkriegs, von Mao Tse-tung ausgerufen wurde, wird sich von der Wiederholung einer falschen Information nicht beirren lassen. Generell gilt, je weniger die Leute über ein bestimmtes Thema wissen, desto eher werden sie dem Wiederholungseffekt erliegen. Vorhersagen sind immer ungewiss. In Hinblick auf die Zukunft lässt sich die Menge durch Wiederholungen leichter überzeugen – und der Gang der Ereignisse nachhaltiger beeinflussen. Es heißt, der römische Staatsmann Cato habe am Ende jeder Rede gesagt, Karthago müsse zerstört werden, bis seine Aufforderung verwirklicht wurde. Der russische Revolutionär Wladimir Lenin soll gesagt haben, dass eine Lüge, wenn sie oft genug wiederholt werde, zur Wahrheit werde. In den sozialen Medien beginnt eine falsche Nachricht als ein Gerücht, das aufgegriffen und weitergeleitet wird, bis es schließlich das ganze Netz überschwemmt. Infolgedessen hören die Menschen ein und dieselbe Nachricht mehrmals, sodass der Wiederholungseffekt greift. Mit jedem Mal klingt die Nachricht glaubhafter, bis wir am Ende fest von ihr überzeugt sind.

Doch Wiederholung ist noch nicht alles. Fünf Wiederholungen sind wirksamer, wenn sie von fünf verschiedenen Leuten kommen. Einige von diesen fünf Leuten können sogar soziale Bots sein. Diese Algorithmen geben sich als Menschen aus, um menschliche Nutzer auf sozialen Medien zu beeinflussen. Koordinierte Netzwerke von Bots, sogenannte Bot-Netze, können wirksam zur Verbreitung von Nachrichten unter realen Nutzern beitragen. In einer Studie verbreitete ein Bot-Netz Twitter-Hashtags wie zum Beispiel die Impfaufforderung #getyourflushot oder #turkeyface, den Aufruf, per Photoshop ein Promigesicht auf einen Truthahn zu setzen.[467] Innerhalb kurzer Zeit folgten 25 000 menschliche Nutzer dem Aufruf des Bot-Netzes, wobei die meisten von ihnen auf mehrere Bots reagierten. Für viele menschliche Nutzer war entscheidend, wie viele verschiedene Bots eine Nachricht wiederholten, und nicht nur die bloße Zahl der Wiederholungen. Insofern unterscheidet sich die Verbreitung einer Nachricht in den sozialen Medien von der Verbreitung eines Virus. Während die Wahrscheinlichkeit einer Ansteckung mit jedem Kontakt mit dem Virus steigt, egal, ob die infizierte Person immer dieselbe oder eine andere ist, hängt die Wahrscheinlichkeit, dass sich eine Information durch Twitter verbreitet, entscheidend sowohl davon ab, wie viele Wiederholungen es sind, als auch davon, wie viele verschiedene Nutzer oder Bots den Inhalt wiederholen.

Wenn wir über Fake News sprechen, denken wir in der Regel an die Lügen von Politikern oder weit hergeholte Verschwörungstheorien. Daran gibt es keinen Mangel. Beispielsweise sei das Covid-19-Virus im chinesischen Programm für Biowaffen gentechnisch entwickelt worden, durch die elektromagnetischen Felder der 5-G-Netze verursacht oder von Juden hergestellt worden, die einen globalen Zusammenbruch des Aktienmarkts bewirken und vom Insiderhandel profitieren wollten. Dabei übersehen wir aber die Masse »normaler« Fake News. Sie sind viel subtiler als schlicht falsche Fakten und manchmal noch nicht einmal vorsätzlich in die Welt gesetzt, sondern eher unabsichtlich zusammenfantasiert worden.

Denkfehler

Ein Ursprung unbeabsichtigter Falschmeldungen sind Denkfehler. Einen solchen Fehler begeht jemand, der nicht nachdenkt oder eine Quelle nicht sorgfältig prüft. Denkfehler sind keine absichtlichen Fehler, aber sie können trotzdem genauso irreführend sein. Häufig kann man sofort sehen, dass es sich um eine Falschmeldung handeln muss, selbst wenn man möchte, dass die Geschichte wahr sei. Falls Sie gerne joggen, könnte Ihnen beispielsweise die folgende Schlagzeile über Langlebigkeit gefallen:[468]

Jede Stunde tägliches Joggen verlängert Ihr Leben um sieben Stunden.

Eine Stunde investieren und sieben dafür bekommen – was kann man mehr verlangen? Als leidenschaftlicher Jogger rechnen Sie sich sofort aus, wie viel länger Sie leben werden als die Stubenhocker in Ihrer Nachbarschaft. Doch denken Sie einen Augenblick nach. Wenn diese Behauptung wahr wäre, könnten wir uns die Unsterblichkeit buchstäblich erlaufen. Wenn Sie beispielsweise an einem Tag vier Stunden liefen, würden Sie 28 Stunden länger leben. Das wäre ein Gewinn von 4 Stunden pro Tag, und um diese Spanne würde Ihre Lebenserwartung jeden Tag anwachsen. Hier stimmt also offenbar etwas nicht. Tatsächlich wurde in der ursprünglichen Studie nichts dergleichen behauptet. Gesagt wurde lediglich, dass dieser Effekt für zwei Stunden Jogging pro Woche gelte, und das war alles. Genauer, die Zahl von sieben Stunden kam folgendermaßen zustande: Eine Gruppe von Joggern im Alter von 44 Jahren, die zwei Stunden pro Woche laufen, verbringen bis zu ihrem 80. Lebensjahr insgesamt 0,43 Jahre mit Joggen und gewinnen dadurch 2,8 Jahre an Lebenserwartung. Das sind die Zahlen, aus denen dann in der Schlagzeile eine Lebensverlängerung von sieben Stunden für eine Stunde Laufen wurden. Mehr Laufen ist nicht unbedingt besser. Im Gegenteil, übermäßiges Laufen kann das Risiko einer Herzerkrankung erhöhen und das Leben verkürzen.

Die Jogging-Schlagzeile lässt sich leicht widerlegen – ein wenig Nachdenken genügt. Außerdem kann man auch von der Webseite, die diese Schlagzeile in die Welt setzte, zu Quellen wechseln, die zuverlässiger über wissenschaftliche Forschungsergebnisse berichten. In diesem Fall etwa die New York Times, in der sich die richtige Aussage befindet: Die zusätzliche Lebenserwartung beträgt rund drei Jahre.[469]

Märchen über Algorithmen

Viel von dem, was Sie über KI hören, ist ebenfalls mit Falschmeldungen durchsetzt, häufig ganz unauffällig. Man spekuliert auf Ihren blinden Glauben an die Möglichkeiten von KI oder auf Ihre Befürchtungen, um Ihre Aufmerksamkeit zu fesseln oder Ihnen ein Produkt zu verkaufen. Die ganze Geschichte der KI ist gespickt mit überzogenen Versprechungen und Hoffnungen, ähnlich wie jene, die in Aktienmärkten zu Blasen führen. Die tiefen Täler in dieser Achterbahnfahrt waren die »KI-Winter« der 1970er und 80er Jahre, als mit dem Ruf der KI auch ihre Finanzierung wegbrach. Infolgedessen wurde KI eine ganze Zeit lang zu einem Unwort. Als beispielsweise 2011 der Supercomputer Watson entwickelt wurde, sprach IBM nicht von KI, sondern von »kognitivem Rechnen«, weil man befürchtete, sonst würde niemand Watson ernst nehmen. Seither hat es echte Fortschritte bei tiefen neuronalen Netzen und Rechenleistung gegeben, aber auch viele haltlose Behauptungen in Hinblick auf die generelle Überlegenheit der Technologien gegenüber dem Menschen. Viele dieser Übertreibungen entspringen dem Verlangen nach Profit und Forschungsmitteln oder sind einfach Wunschdenken. Versprechen für die Zukunft sind leicht auszusprechen, aber schwer zu überprüfen. Man kann immer sagen, wenn es jetzt noch nicht so weit ist, dann doch bald.

Es gibt noch eine andere, unauffälligere und interessantere Form des Hypes. Sie arbeitet mit Begriffen, die Missverständnisse nahelegen, und mit einer Vergangenheit, die ständig umgeschrieben wird. Diese Technik erinnert an Winston Smiths Versuche im Ministerium für Wahrheit, die Wirklichkeit zu verändern, um Big Brother allwissend erscheinen zu lassen. Ich beschreibe hier einige wenige Fälle, aber stets lautet die Botschaft: Man hüte sich vor übertriebenen Behauptungen. Im ersten Fall geht es um eine Form der Überredung, die sich in Jahrhunderten der Werbung bewährt hat: Die Worte, mit denen man ein Produkt beschreibt, suggerieren Eigenschaften, die es nicht hat.

Vollständige Autonomie

Wie in Kapitel 4 gesehen, unterscheidet die Society of Automotive Engineers bei Autos zwischen fünf Stufen der Automatisierung, vom Tempomaten (Stufe 1) bis zu selbstfahrenden Autos (Stufe 5). Letztere sind Fahrzeuge, die unter allen denkbaren Verkehrsbedingungen ohne jede menschliche Hilfe sicher fahren können. Diese Stufen sind keineswegs identisch. Trotzdem bezeichnen Autohersteller ihre Stufe-2- und Stufe-3-Automobile in der Werbung häufig als »selbstfahrend«, eine Behauptung, die in den Medien gerne wiederholt wird. Nehmen wir Tesla, dessen Marketing-Behauptung seit 2016 lautet: »Alle gegenwärtig von Tesla produzierten Automobile besitzen eine vollständige Selbstfahr-Hardware.«[470] Elon Musk, der Eigentümer des Unternehmens, hatte bereits bis zum Jahr 2018 »vollständige Autonomie« versprochen.[471] Gleichzeitig wird in der betreffenden Werbung allerdings zu Recht hinzugefügt, dass das System aktive Überwachung durch den Fahrer benötigt oder dass die geeignete Software erst noch entwickelt werden muss. Der Ausdruck »vollständige Selbstfahr-Hardware« bedeutet lediglich, dass die Computer steuern, bremsen und Gas geben können; doch das Hauptproblem bleibt die intelligente Software. Durch die ständige Wiederholung der Begriffe »vollständige Autonomie« und »selbstfahrende Autos« sind immer mehr Menschen zu der Überzeugung gekommen, diese Fahrzeuge seien tatsächlich auf den Straßen unterwegs. Die verwirrende und suggestive Sprache ist bereits vor Gericht gebracht worden. Beispielsweise ist die Deutsche Zentrale zur Bekämpfung unlauteren Wettbewerbs juristisch gegen Tesla vorgegangen, da es den Verbrauchern falsche Versprechungen mache.[472] Es sei jedoch auch darauf hingewiesen, dass jene Zentrale die Tesla-Konkurrenten Audi, BMW, Daimler und Volkswagen vertritt.

Warum werben die Unternehmen nicht mit ihren verblüffenden Fortschritten auf Stufe 2, die schließlich zur vollständigen Stufe 3 führen könnten? Die Autoingenieure können stolz auf diese Technologie sein. Ehrlichkeit und Bescheidenheit dürften die klügere Option sein. So ließe sich vermeiden, dass der Ruf ein weiteres Mal Schaden nimmt, wenn die Leute zu bemerken beginnen, dass die Worte nicht halten, was sie versprechen.

Krebs heilen

Ein Lieblingstummelplatz des KI-Hypes ist das Gesundheitswesen. Dabei ist die Art und Weise, wie IBM seinen Superrechner Watson für die Verwendung in der Onkologie vermarktet hat, ein schönes Beispiel, denn sie hat, wie in Kapitel 2 erläutert, wenig mit dem zu tun, was der Computer tatsächlich zu leisten vermag. Mit den Worten von Peter Greulich, einem ehemaligen IBM-Manager: »IBM sollte aufhören, Krebs heilen zu wollen. Sie haben die Marketingmaschine angeworfen, ohne zu prüfen, wie man das Produkt planen und bauen kann.«[473] Kommerzielle Unternehmen haben ein berechtigtes Interesse am Verkauf ihrer Produkte, und IBMs Marketingteam hat mit großem Geschick die Illusion geschaffen, Watson könne Krebs heilen. So geschickt, dass die Autoren populärwissenschaftlicher Bücher über KI bald genauso zu den Absatzerfolgen des Unternehmens beitrugen wie das Verkaufsteam.

Eine zweite klassische Regel der Überredung ist, den Leser vor eine falsche »Entweder-oder«-Entscheidung zu stellen. Man teilt Ihnen mit, die wichtigsten medizinischen Entscheidungen beruhten in zunehmendem Maße auf Computern wie dem IBM Watson und diese Maschinen kennten Sie besser als Sie sich selbst und Ihr Arzt, der bald überflüssig wird. Der einzige Nachteil sei, dass die KI alles über Sie wissen müsse und Ihnen daher auch vorschreibe, was am besten für Sie sei. Sie könnten dann nicht mehr entscheiden, was für eine Diät und Behandlung Sie bekommen, aber genau darum gehe es. Ihnen bleibt danach also nur die Wahl:

•  Entweder Sie bewahren Ihre Privatsphäre und freie Entscheidungsmöglichkeit in allen medizinischen Fragen
oder

•  Sie bekommen Zugang zu einer weit besseren medizinischen Versorgung.

Die logische Folge sei, so erfahren wir, dass die meisten Menschen die bessere medizinische Versorgung wählen und sich der Autorität der KI unterwerfen würden.[474] Das mag sein, aber die Alternativen sind falsch. Es erinnert mich an die Finanzanzeigen, in denen man uns vor die Wahl stellt, unser Geld entweder selbst schlecht anzulegen oder es einem Portfoliomanager zu überlassen, der weit bessere Investitionen tätigt. Die Alternativen sind falsch, weil man in Studien keine Anhaltspunkte dafür fand, dass Portfoliomanager im Schnitt mehr aus unserem Geld machen, als wenn wir uns selbst darum kümmern.[475] Es ist ein Werbetrick, der dazu dient, den Wohlstand der Manager zu mehren. Wie Finanzanzeigen, die Ihnen davon abraten, Verantwortung für das eigene Vermögen zu übernehmen, sollen falsche Alternativen wie die oben erwähnte Sie daran hindern, ihre eigenen informierten Entscheidungen zu treffen – und, um dem Ganzen die Krone aufzusetzen, junge Leute davon abhalten, Allgemeinmedizin zu studieren.

Wie in Kapitel 2 dargelegt, können wir die Vorzüge der KI für die medizinische Versorgung der Patienten nur dann nutzbar machen, wenn die beiden chronischen Krankheiten, unter denen die Gesundheitssysteme gegenwärtig leiden – Interessenkonflikte und Risikoinkompetenz –, behandelt und geheilt werden. Andernfalls wird die KI missbraucht und dürfte kaum etwas zur Gesundung der Patienten beitragen. Ein Supercomputer allein ist keine Hilfe für Patienten. KI ist immer von Menschen entwickelte und vermarktete KI. Und der Glaube, dass reine Computerleistung und smarte Algorithmen von sich aus eine bessere medizinische Versorgung zustande brächten, ist eine Illusion. Er verkennt, dass Krankheiten komplexer sind und Gesundheitssysteme lange nicht so gut funktionieren, wie manche Informatiker sich das vorstellen.

Bislang haben wir zwei klassische Methoden der Überredung kennengelernt, irreführende Begriffe zu verwenden und falsche Alternativen anzubieten. Eine weitere Methode besteht darin, eine allgemein bekannte Erfolgsgeschichte so umzuschreiben, dass sie die eigene Botschaft zu belegen scheint: Algorithmen führen zu besseren Entscheidungen.

Moneyball

Moneyball ist ein US-Bestseller von Michael Lewis aus dem Jahr 2003, der mit Brad Pitt in der Hauptrolle verfilmt wurde. Erzählt wird die Geschichte von Billy Beane, dem Manager von Oakland Athletics, der sein Baseballteam mit einem winzigen Budget zu großen Erfolgen führte. Der zweite Held der Geschichte ist der Statistiker Bill James, der mit Beane die Überzeugung teilte, dass sich Baseball im Wesentlichen auf Daten und Algorithmen reduzieren lasse, eine Kunst, die sie »Sabermetrics« nannten. Nach Lewis hatten sich Trainer und Manager bei der Talent- und Nachwuchssuche für die Baseball-Profiligen seit mehr als einem Jahrhundert auf Bauchgefühle und Vermutungen verlassen.[476] Beane dagegen führte einen Algorithmus ein, mit dem er »Schläfer« herausfinden wollte, unentdeckte oder unterschätzte Talente: »Es geht einfach darum, die Chancen auszurechnen und die Wahrscheinlichkeitsgesetze zu nutzen.«[477] So wie Lewis die Geschichte erzählt, waren die Spieler, die durch Algorithmen bestimmt wurden, entscheidend für den Erfolg von Oakland Athletics Anfang der 2000er Jahre.[478] Im Baseball wird seit Langem über die Frage debattiert, ob man sich bei der Spielerwahl auf die Intuition erfahrener Scouts verlassen solle oder auf die Auswertung der Statistiken.[479] In Moneyball behauptet Lewis, die revolutionäre Nutzung der Baseball-Statistik habe den Ausschlag gegeben und sei einer der großen Siege der Algorithmen über die Intuition der Experten gewesen.

Hollywood ist berühmt für sein Geschick, die Wahrheit so lange zu dehnen, bis melodramatische Geschichten herauskommen. Baseball-Experten meinten, auch Lewis habe sich seine gute Geschichte nicht durch Fakten verderben lassen. Tatsächlich hatten die Spieler, die von dem Algorithmus ausgewählt und von Lewis hervorgehoben wurden, kaum eine Rolle bei Oaklands Erfolg. Seine Qualität verdankte das Team in erster Linie drei hervorragenden Pitchern (Werfern), bekannt unter dem Namen The Big Three, die alle drei nach traditionellen Scoutingmethoden ausgewählt worden waren – durch Intuition und Urteilsfähigkeit und nicht durch Algorithmen:[480]

Diese drei Pitcher hießen Mark Mulder, Tim Hudson und Barry Zito. Alle drei waren hoch angesehene, früh angeworbene und von Scouts ausführlich begutachtete Spieler – Mulder und Zito waren unter den zehn Besten ihrer jeweiligen Drafts, der Auswahl von Jugendspielern für die Profiligen. Sie hatten also nichts mit Beanes Suche nach Schläfern zu tun, da sie längst bekannt waren. Wahrheitsgemäß behauptet Michael Lewis auch nicht, dass Sabermetrics irgendetwas mit der Anwerbung der drei Stars zu tun hätte, die Oakland groß gemacht hatten. Tatsächlich lässt er sie fast ganz außen vor. Nur ein paar Absätze widmet er den Big Three (wobei er sich zu der fragwürdigen Behauptung hinreißen lässt, Beane habe sie aus irgendwelchen merkwürdigen Gründen geschätzt), dann lässt er das Thema rasch fallen und widmet ein ganzes Kapitel … Chad Bradford.

Bradford war ein ganz guter Einwechsel-Pitcher, konnte aber, was Innings, Wins oder Savings anging, nicht im Entferntesten an die Big Three heranreichen.[481] Nachdem Oakland Athletics seine Big Three verloren hatte, endete auch die extrem erfolgreiche Zeit, die die Mannschaft zwischen 1998 und 2003 hatte. Lewis’ Bericht über die erfolgreichen Algorithmen ist eine hübsch erzählte Geschichte. Aber sie ist eine Fiktion, die einfach auslässt, was nicht ins Narrativ passt. Trotzdem wird sie gern von Autoren weitererzählt, die uns davon überzeugen möchten, dass KI schon bald die menschliche Urteilsfähigkeit in allen Bereichen ersetzen werde, selbst auf so unsicherem Terrain wie der Suche nach Baseballtalenten.[482] Klüger wäre es zu überlegen, wie sich durch eine Kombination von Baseball-Statistik und Expertenintuition bessere Entscheidungen treffen lassen, aber das wäre eine schwierige Frage und kein Stoff für ein Heldenepos über Algorithmen.

Die Erfolgsgeschichte von Oakland Athletics gehört einer Gattung an, die sich die Evidenz so zurechtlegt, dass der Eindruck entsteht, Algorithmen seien der Schlüssel zu besseren Entscheidungen in Situationen, in denen sie eigentlich kaum eine Rolle spielen. Ein solcher Hype trägt zum Verkauf populärwissenschaftlicher Bücher bei, aber nicht zum Verständnis der tatsächlichen Möglichkeiten und Grenzen von KI.

Personalisierte Werbung: Eine Blase, die bald platzt?

Google macht 80 Prozent seines Umsatzes mittels Werbung, und bei Facebook sind es sogar 97 Prozent. Die Werbekunden bezahlen diese riesigen Summen. Also sollte man annehmen, dass sie sorgfältig ermittelt haben, ob die Einnahmen aus ihren Anzeigen die Kosten wirklich rechtfertigen. Als Eric Schmidt noch bei Google war, versicherte er den Werbekunden, dass sie nur für das zahlen, was auch tatsächlich wirkt: »Unser Geschäft ist hochgradig messbar. Wir wissen, dass Sie y Dollar einnehmen, wenn Sie x Dollar ausgeben.«[483] Doch es mehren sich die Hinweise, dass dem nicht so ist und es in vielen Fällen unklar ist, ob sich personalisierte Werbung für Werbekunden überhaupt lohnt.

Eine Form von Werbung sind bezahlte (»gesponserte«) Suchanzeigen, die vor den unbezahlten (»organischen«) Suchergebnissen gezeigt werden. Welche Firma auf die ersten Plätze Ihrer Ergebnisliste kommt, wird durch eine automatisch ablaufende Auktion entschieden. Eine zweite Form der Werbung sind Displayanzeigen, die in bunten Farben auf den Seiten auftauchen, die Sie gerade lesen. Die Werbung ist personalisiert, das heißt, Sie sehen nicht einfach die Werbung der Firmen, die am meisten zu zahlen bereit sind, sondern jene Werbung, auf die Sie mit der größten Wahrscheinlichkeit klicken und mit der die Plattform das meiste Geld verdienen kann. Google und andere verdienen bei jedem Klick auf die Werbung, nicht aber wenn Sie etwa auf ein organisches Suchergebnis klicken. Diese personalisierte Werbung ist erheblich teurer als normale Werbung, denn sie verlangt, dass man so viel wie möglich über Sie herausfindet, um Ihre Klicks vorherzusagen. Diese Sammlung und Analyse persönlicher Daten sind das Herz des Überwachungskapitalismus. Doch wird immer deutlicher, dass dieses Herz nicht leisten kann, was behauptet wird, und eher einer Blase gleicht, die bald platzen kann.

Lohnen sich gesponserte Suchanzeigen?

Als Steve Tadelis, ein Professor für Wirtschaftswissenschaften von der University of California in Berkeley, ein Jahr bei eBay verbrachte, erzählten ihm die Marketingberater, wie einträglich ihre Kampagnen seien. Die erfolgreichste Methode sei das Brand Keyword Advertising, wurde ihm gesagt. Wenn eine Suche ein Brand Keyword (Marken-Stichwort) enthält, etwa »eBay Motorräder«, bieten Google, Bing und andere Plattformen an, über den organischen Suchergebenissen einen bezahlten Link zur Marke einzufügen, hier also eBay. Die Berater versicherten, dass eBay 12 Dollar für jeden in das Brand Keyword Advertising investierten Dollar verdiene.[484]

Mit zwei Wirtschaftswissenschaftlern von eBay führte Tadelis eine Reihe von Experimenten durch, um die tatsächlichen Ein-nahmen zu messen. In jedem Experiment setzte eBay das Brand Keyword Advertising (bei Google, Bing und Yahoo!) in einer Reihe von Städten aus, während es in einer anderen Gruppe von Städten fortgesetzt wurde. Wenn die gesponserten Anzeigen tatsächlich ihr Geld wert wären, sollten eBays Einnahmen in den Städten zurückgehen, wo die Anzeigen entfernt worden waren. Doch das war nicht der Fall. Die Einnahmen fielen auch nicht, als eBay aufhörte, auf Schlüsselwörter ohne Markennamen zu bieten, etwa »Handy« und »gebrauchte Gibson Les Paul«. Nur neue und unregelmäßige Nutzer wurden von den Anzeigen beeinflusst, keine regelmäßigen. Tadelis und seine Kollegen errechneten, dass eBay keineswegs, wie behauptet, 12 Dollar pro ausgegebenen Dollar verdiente, sondern 63 Cent auf jeden ausgegebenen Dollar verlor.[485] Angesichts der Erkenntnis, dass es bei diesen Anzeigen draufzahlte, strich eBay das Brand Keyword Advertising aus seinem Werbebudget.

Anders als die Wirtschaftswissenschaftler schauen Marketingberater auf Korrelationen und nicht auf Ursachen. Nehmen wir an, Sie betreiben ein bekanntes Café und stellen Peter und Tom ein, die Gutscheine verteilen sollen, um Kunden anzulocken. Schon bald hat die Hälfte der eintreffenden Kunden Gutscheine von Peter, nur wenige dagegen welche von Tom. Nun könnte man natürlich meinen, Peter hätte die bessere Marketingstrategie oder mehr Charisma, was zu 50 Prozent des Umsatzes geführt hat. Doch anders als Tom, der in die Innenstadt ging, um dort seine Gutscheine zu verteilen, stellte sich Peter direkt ans Café und gab seine Gutscheine vorbeikommenden Passanten.

Die meisten Leute, die mit einem Gutschein von Peter ankamen, wären ohnehin ins Café gegangen. Ebenso zeigte sich, dass 99,5 Prozent der Nutzer auf die Webseite von eBay gingen, als der bezahlte Link entfernt war. Sie brauchten dazu nur die organische Anzeige von eBay anzuklicken.

Wahrscheinlich würden andere bekannte Marken ähnliche Ergebnisse herausfinden, aber das bleibt eine Vermutung, weil Experimente zu diesem Thema nur selten durchgeführt werden. Anders kann es mit weniger bekannten Marken sein. Ein Experiment mit Edmunds.com, einer Quelle für Automobil-Informationen, kam zu dem Ergebnis, dass nur die Hälfte der Klicks auf die organische Suchanzeige ging, nachdem die bezahlte Suchanzeige entfernt worden war. Die andere Hälfte landete wahrscheinlich auf den Webseiten von Konkurrenten, die heimlich für das Schlüsselwort »Edmunds« bezahlen, um deren Kunden auf ihre Webseite zu locken.[486] Doch im Gegensatz zum eBay-Experiment lieferte diese Studie keine Messung der Einnahmen im Verhältnis zu den Werbeausgaben. Möglicherweise können also weniger bekannte Unternehmen von Brand-Keyword-Werbung profitieren, und wenn es nur dazu dient, sich vor Konkurrenten zu schützen, die einem sonst Kunden ausspannen würden. Aber das ist so, als wäre man gezwungen, sich vor das eigene Café zu stellen, weil sonst der Platz von Konkurrenten eingenommen würde, die dort ihre Gutscheine verteilten.

Die allgemeine Lehre, die aus den eBay-Experimenten zu ziehen ist, lautet, Unternehmen sollten durch eigene Experimente herausfinden, ob sich ihre Anzeigen tatsächlich auszahlen. Doch selbst von großen Unternehmen wie eBay, deren Brand-Keyword-Anzeigen nicht regelmäßig von Konkurrenten gekauft werden, hat nur jede zehnte Firma mit dieser Werbung aufgehört – in der Regel, ohne eine experimentelle Studie durchzuführen. Die meisten Firmen machen einfach weiter wie bisher.

Vielleicht fragen Sie sich, warum. Es liegt zwar im Interesse der Firma, genau zu wissen, wie wirksam ihre Werbung ist, doch das gilt nicht unbedingt auch für ihr Marketing. Diese Abteilung kann sich ein stattliches Budget und mehr Personal sichern, wenn ihre Kampagnen ein hohes Ansehen genießen. Sie befindet sich auch in Konkurrenz zur Print- und TV-Marketinggruppe – der Ursprung eines weiteren internen Interessenkonfliktes. Darüber hinaus führt auch die mangelnde Unterscheidung zwischen Korrelationen und Experimenten zu einer Überschätzung von Kampagneneffekten.[487] Und Google hilft nach. Das Unternehmen erklärt seinen Kunden, wie man die Rentabilität der Anzeigen berechnet, aber so, dass diese dabei überschätzt wird.[488]

Lohnen sich Displayanzeigen?

In einer Analyse von 25 umfangreichen Feldexperimenten zur Digitalwerbung bekannter Händler und Finanzdienstleister kamen Forscher von Google und Microsoft zu dem Schluss, es sei nahezu unmöglich, die Rendite der Werbung zu messen.[489] Ganz im Gegensatz zu Eric Schmidts Behauptung sind die Effekte der Werbung, wenn sie denn welche hat, häufig so gering und instabil, dass ihre Existenz schwer zu beweisen ist. Entsprechend zeigte ein Experiment an 1,5 Millionen Kunden eines landesweiten US-Händlers, dass Displayanzeigen für eine Bekleidungslinie nur zu winzigen und unbedeutenden Auswirkungen auf das Kaufverhalten führten, mit einer Ausnahme.[490] Kunden über 65 Jahren erhöhten ihre Käufe infolge der Werbung um 20 Prozent, aber fast alle gingen in stationäre Geschäfte, statt online zu bestellen. Zwei Folgeexperimente stellten ebenfalls keine allgemeine Zunahme der Käufe fest.

Die Unsicherheit über den Effekt von Anzeigen wird noch erhöht, da Displayanzeigen wahrscheinlich nicht mehr so wirksam sind, wie sie es einst waren. Zum einen schenken Nutzer heute Anzeigen weniger Aufmerksamkeit. Seit 1994, als die ersten Banneranzeigen geschaltet wurden, hat sich die Klickrate von bemerkenswerten 44 Prozent auf 0,46 Prozent im Jahr 2018 reduziert.[491] Zweitens fühlen sich viele Konsumenten von Anzeigen überflutet und wehren sich mit Werbeblockern. Und drittens sehen sich Werbekunden mit einer neuen Form von Betrug konfrontiert. Ganze Bot-Netze und bezahlte Menschen klicken auf Anzeigen, um so Kampagnen besser aussehen zu lassen, als sie es wirklich sind. Das erhöht den Profit von Plattformen wie Google und Facebook. Diese Dienste werden aber auch gerne von Firmen in Anspruch genommen, die ihre Konkurrenten schädigen möchten. Sie lassen die Anzeigen der Konkurrenten anklicken, damit Letztere die Wirkung ihrer Anzeigen überschätzen und durch falsche Klicks größere Kosten haben, was zu Lasten ihres Budgets geht. Studien schätzen, dass mehr als ein Viertel des Webseiten-Verkehrs aus nicht menschlichen Signalen bestand und dass mehr als die Hälfte des Werbebudgets, das für Display-Anzeigen ausgegeben wurde, durch Betrug verloren ging.[492] Im Endergebnis profitieren Werbeplattformen von dem Anzeigenbetrug, einschließlich jedes falschen Klicks.

Alles in allem herrscht eine beträchtliche Unsicherheit, ob und wann gesponserte und Displayanzeigen das Kaufverhalten verstärken. Selbst wenn dem so wäre, stellt sich die Frage, ob das die zusätzlichen Kosten rechtfertigt. Verminderte Aufmerksamkeit, Werbeblocker und Betrug sprechen gegen den so laut angepriesenen Nutzen für Werbekunden. Das erinnert an eine ähnliche Situation Jahre vor der Finanzkrise von 2008, als die großen, weltweit operierenden Ratingagenturen den faulen Hypotheken der Banken eine AAA-Einstufung gaben, was diesen erlaubte, sie für überhöhte Preise zu verkaufen. Die Ratingagenturen waren nicht neutral; die Banken bezahlten sie für die günstigen Einstufungen, genauso wie die Werbeagenturen von der Überbewertung der Anzeigen profitieren. Die hohen Preise für Anzeigen waren einer der Gründe, warum eBay anfing zu prüfen, was es für sein Geld eigentlich bekam.[493]

Wenn genügend Unternehmen eBays Beispiel folgten, sich über ihre internen Interessenkonflikte hinwegsetzten und ihre eigenen Experimente durchführten, könnte der Anzeigenblase das gleiche Schicksal drohen wie der Finanzblase, die sich vor 2008 bildete. Das wäre nicht nur von wohltuender Wirkung für die Werbebudgets der Unternehmen, sondern würde die Intelligenz und Arbeitskraft vieler unserer besten jungen Forscher freisetzen, die sich gegenwärtig darauf konzentrieren, Klicks vorherzusagen. Sie könnten ihr Talent endlich auf etwas Nützlicheres ausrichten.

Sollte sich herausstellen, wie bei eBay, dass sich viele der teuren Werbeausgaben überhaupt nicht lohnen, kann diese Erkenntnis zu einer Veränderung unserer Gesellschaft insgesamt führen. Das Zahl-mit-deinen-Daten-Modell würde zusammenbrechen, und damit die Motivation der Tech-Unternehmen, unsere Aufmerksamkeit und Zeit zu verkaufen. Es würde das Ende des anzeigenbasierten Überwachungskapitalismus bedeuten, wie wir ihn kennen.

Vertrauenswürdig?

Die Beurteilung der Vertrauenswürdigkeit von Quellen verlangt mehr als einen bloßen Faktencheck. Dazu müssen wir herausfinden, wer hinter der Information steckt, die wir erhalten, welche Absichten sich mit ihr verbinden und ob die Information stimmt. Herkömmlicherweise waren investigative Journalisten einmal die Hüter der glaubwürdigen Nachrichten. Doch ihre Zahl schrumpft, seit sich in den 1980er Jahren die großen Medienkonglomerate gebildet haben, für die das Aufdecken der Wahrheit über Korruption oder Unternehmenskriminalität möglicherweise nicht immer in ihrem finanziellen Interesse liegt. Unternehmen kürzen gerne ihre Werbung in Medien, die über unvorteilhafte Einzelheiten ihrer Geschäftspraktiken berichten. Der Aufstieg der sozialen Medien trägt weiter zum Verlust der Kontrolle bei, im Guten wie im Schlechten. Einerseits können Menschen über Vorfälle wie Korruption und Verletzungen von Menschenrechten berichten, über die klassische Medien schweigen. Andererseits kann jetzt jeder mühelos Gerüchte, Lügen und Märchen in die Welt setzen. Heute sind wir alle dazu aufgerufen, unsere eigenen investigativen Journalisten zu sein. Aber wer von uns ist dazu in der Lage?

Digital Natives

Man könnte denken, der vertraute Umgang mit sozialen Medien sei gleichbedeutend mit der Fähigkeit, die Tricks und Täuschungen im Internet zu erkennen. Digital Natives jonglieren mit allerlei Information, wechseln in Sekundenschnelle zwischen TikTok und Twitter, senden einem Freund eine Textnachricht und laden zugleich ein Selfie auf Instagram hoch. Wer täglich stundenlang online unterwegs ist, so könnte man meinen, habe längst gelernt, die Vertrauenswürdigkeit von Information zu erkennen.

Um zu sehen, wie weit es mit den Fähigkeiten der Digital Natives tatsächlich her ist, haben Forscher der Stanford University rund 900 Schüler und Studenten aus zwölf US-Bundesstaaten getestet, die die Mittelstufe, die Oberstufe und das College besuchten.[494] Sie stellten ihnen die Aufgabe, Online-Quellen zu beurteilen, indem sie ihnen Fragen stellten wie »Wo ist der Beweis?« und »Wer steckt hinter der Information?«. Beispielsweise lasen die Schüler aus der Mittelstufe einen Online-Artikel zur Frage, ob Generation Y vernünftig mit Geld umgeht, geschrieben von einen Bankmanager und gesponsert von der Bank of America. Der Artikel kam zu dem Schluss, dass viele Angehörige der Generation Y Hilfe bei der Finanzplanung brauchten. Dann wurden die Schüler aufgefordert, sich einen Grund zu überlegen, warum man dem Artikel möglicherweise nicht trauen könne. Überraschenderweise hielten die meisten Schüler weder den Autor noch den Sponsor noch den daraus resultierenden Interessenkonflikt für Gründe zur Skepsis. In einem anderen Test wurden sie gebeten, sich die Homepage des Online-Magazins Slate anzusehen und zu entscheiden, ob es sich bei einem Text um eine Anzeige oder einen Nachrichtenartikel handelte. Die Mittelstufler hatten keine Schwierigkeiten, die traditionellen Anzeigen mit Gutscheincodes zu erkennen. Doch über 80 Prozent glaubten, dass es sich bei einer bezahlten Anzeige, die deutlich mit dem Vermerk »gesponserter Inhalt« gekennzeichnet war, um einen echten Nachrichtenbeitrag handle.

Sind Schüler der Oberstufe besser in der Lage, Online-Inhalte zu beurteilen? In dieser Studie wurden sie aufgefordert, zwei Facebook-Posts zu beurteilen, in denen Trumps Präsidentschaftskandidatur bekanntgegeben wurde, einer von Fox News und einer von einem ähnlich aussehenden falschen Account. Der echte Post enthielt eine blaue Kennzeichnung, die zeigte, dass der Account von Facebook als legitim verifiziert war. Nur ein Viertel der Schüler kannte jedoch die Bedeutung der blauen Kennzeichnung, und jeder Dritte fand den falschen Account glaubwürdiger.

ABBILDUNG 11.2: Radioaktiv bedingte Missbildung? Mutierte Blumen, ähnlich denen in einer der Aufgaben des Civic Online Reasoning Test. Quelle: Perduejn/Wikicommons. Das ursprüngliche Bild findet man hier: https://imgur.com/gallery/BZWWx.

Ein anderer Post, der den Schülern der Oberstufe gezeigt wurde, stammt von dem Foto-Sharing-Portal Imgur und zeigt missgebildete Gänseblümchen gepaart mit der Behauptung, die Blumen seien das Produkt strahlenbedingter Gendefekte nach der Nuklearkatastrophe von Fukushima (Abbildung 11.2). Die Forscher fragten, ob das Bild einen starken Beweis für die Zustände in der Nähe des Kernkraftwerks lieferte. Eine naive Person könnte sich von dem suggestiven Bild überzeugen lassen, während ein kritischer Leser sorgfältiger hinsehen und bemerken würde, dass es keinen Beweis für die Annahme gibt, das Bild sei tatsächlich in der Nähe von Fukushima aufgenommen worden. Ein skeptischer Schüler schrieb:

Nein, es liefert wirklich keinen überzeugenden Beweis. Ein Foto, das ein Fremder online postet, ist nicht sehr glaubwürdig. Dieses Bild könnte leicht gephotoshoppt oder von einer anderen Quelle gestohlen sein; es ist völlig unklar, und das macht das Bild zu einer unzuverlässigen Quelle.

Doch die Mehrheit der Schüler stellte weder die Quelle noch die Beweislage in Frage, so auch dieser Schüler:[495]

Dieser Post liefert einen überzeugenden Beweis, weil er zeigt, wie sehr kleine und schöne Dinge beeinträchtigt wurden und dass sie vollkommen anders aussehen und wachsen, als sie eigentlich sollten. Außerdem zeigt er, dass solche Katastrophen auch Menschen zustoßen könnten.

Alles in allem hatte die weit überwiegende Mehrheit der Schüler nie gelernt, Posts kritisch zu beurteilen – obwohl sie Digital Natives waren.

Wie sah es bei den College-Studenten aus? Zusammen mit den Schülern der Oberstufe sollten sie herausfinden, ob eine bestimmte Webseite eine zuverlässige Informationsquelle zur Frage des Mindestlohns sei. Sie wurden zu einem Artikel auf minimumwage.com geleitet (Abbildung 11.3). Der Artikel greift eine Frage auf, die von der New York Times aufgeworfen wurde: Wenn Dänemark seinen Arbeitern einen vergleichsweise hohen Mindestlohn zahlt, warum können die Vereinigten Staaten das dann nicht auch? Der Artikel auf minimumwage.com lehnt den Mindestlohn ab, weil er die Arbeitskosten steigern und Big Macs verteuern würde. Das Äquivalent des US-amerikanischen »Dollar-Menüs« komme in Dänemark auf umgerechnet 1,41 Dollar, daher erwirtschafteten dänische Schellrestaurants weniger Gewinn. Folglich würde der Mindestlohn die Preise in den USA erhöhen und Hunderte von Arbeitsplätzen vernichten.

ABBILDUNG 11.3: Ist das eine zuverlässige Informationsquelle über den Mindestlohn? Eine der Aufgaben aus dem Civic Online Reasoning Test. Quelle: https://www.minimumwage.com/2014/10/denmarks-dollar-forty-one-menu/

Die Webseite sieht zuverlässig aus und beschreibt sich auf der Über-uns-Seite als ein »Projekt des Employment Policies Institute (EPI)«, einer »gemeinnützigen Forschungsorganisation, die sich mit politischen Fragen zum Beschäftigungswachstum befasst«.[496] In Reaktion auf den Artikel berichtete die New York Times, EPI werde »von dem Werbe- und PR-Manager Richard B. Berman geleitet, der Millionen verdient, indem er in Washington die Interessen der US-Konzerne vertritt«. Ein Journalist, der die Geschäftsstelle des EPI aufsuchte, stellte fest, dass dort niemand beschäftigt ist; es ist nur eines der vielen Online-Produkte von Berman. Natürlich findet man diese Information nicht auf minimumwage.com. Dazu hätten die Schüler und Studenten die Webseite verlassen und nachsehen müssen, was über ihre Quellen bekannt ist – ein Prozess, den man als »laterales Lesen« bezeichnet (im Gegensatz zum vertikalen Lesen, das heißt, der Art, wie wir üblicherweise gedruckte Texte lesen). Obwohl diese Möglichkeit ausdrücklich in den Anweisungen erwähnt wurde, gab sich die weit überwiegende Mehrheit der Schüler und Studenten mit dem Erscheinungsbild der Seite und der Auskunft auf der Über-uns-Seite zufrieden. So erklärte ein Student:

Ich habe die Über-uns-Seite von minimumwage.com und vom Employment Policies Institute gelesen. EPI sponsert minimumwage.com und ist eine gemeinnützige Forschungsorganisation, die sich mit Fragen der Beschäftigungspolitik befasst. Außerdem finanziert sie »unparteiische« Studien von internationalen Forschern. Die Tatsache, dass die Organisation gemeinnützig ist, dass sie unparteiische Studien sponsert und dass sie das Für und Wider einer Erhöhung des Mindestlohns auf ihrer Webseite auflistet, veranlasst mich, dieser Quelle zu trauen.

Dieser Student argumentierte vernünftig, verließ sich aber ausschließlich auf die Selbstauskünfte der Organisation. Weniger als zehn Prozent der Studenten und Schüler der Oberstufe gingen über das äußere Erscheinungsbild der Webseite hinaus und waren in der Lage, die Seite kritisch zu beurteilen.

Gleich, wie man über den Mindestlohn denkt, kann man durch Recherche erfahren, wer hinter der Seite steckt und was ihre verborgenen Ziele sind. Doch von der Mittelstufe bis zum College galt für die meisten Schüler und Studenten, dass sie

•  selten fragten, wer sich hinter einer Online-Quelle verbirgt,

•  nicht nach Belegen für die vorgebrachten Behauptungen fragten

•  und keine unabhängigen Quellen heranzogen, um die Behauptungen zu überprüfen.

Stattdessen nahmen sie alles, was gesagt wurde, für bare Münze und ließen sich von fesselnden Bildern und grafischer Gestaltung beeindrucken. Selbst wenn man sie zu einer Internetrecherche aufforderte, suchten sie nicht jenseits der Webseite. Alles in allem ließen sie sich online leicht hinters Licht führen. Ein Digital Native zu sein heißt noch lange nicht, digital auf der Höhe der Zeit zu sein.

Experten und Elitestudenten

Das bringt uns zu der Frage, ob Experten und Studenten an Elite-Universitäten bessere Kompetenzen besitzen, um die Vertrauenswürdigkeit von Webseiten zu beurteilen. Um hierauf eine Antwort zu finden, warben zwei Forscher des vorangehenden Experiments zehn professionelle Faktenchecker an, die in renommierten Organisationen arbeiten und die Aufgabe haben, in den Bereichen Nachrichten und Politik den Wahrheitsgehalt digitaler Medien zu überprüfen. Außerdem nahmen an der Studie noch zehn Professoren der Geschichte teil, deren täglich Brot es ist, die Glaubwürdigkeit schriftlicher Texte zu überprüfen und die Umstände ihrer Entstehung zu klären.[497] Eine dritte Teilnehmergruppe bestand aus fünfundzwanzig Studenten der Stanford University, einer der besten Universitäten der Welt mit Sitz im Herzen des Silicon Valley. Diese Studenten verkörpern die digitale Zukunft.

Jeder der Faktenchecker, Historiker und Studenten bekam pro Seite acht Minuten Zeit, um minimumwage.com und zwei weitere Webseiten zu bewerten. Alle Faktenchecker, aber nur 60 Prozent der Historiker und 40 Prozent der Studenten fanden heraus, welche Sponsoren hinter minimumwage.com und dem Employment Policies Institute standen. Außerdem waren die Faktenchecker viel schneller, im Durchschnitt brauchten sie 205 Sekunden, während die Studierenden, die es ebenfalls herausfanden, doppelt so lange damit beschäftigt waren (419 Sekunden); die Historiker lagen dazwischen (361 Sekunden; Abbildung 11.4).

ABBILDUNG 11.4: Die durchschnittliche Zeit, die professionelle Faktenchecker, Historiker und Digital Natives (Undergraduates aus Stanford) brauchten, um herauszufinden, wer sich hinter der Webseite minimumwage.com und dem Employment Policies Institute verbarg. Der Prozentsatz der Mitglieder jeder Gruppe, die die Antworten fanden, ist über den Symbolen für jede Gruppe angegeben, und die durchschnittliche Zeit, die sie dazu brauchten, ist in Sekunden gemessen. Siehe Wineburg und McGrew (2019).

Was war das Geheimnis der Faktenchecker?

Schauen wir uns die schnellste von ihnen an. Sie sah sich »Dänemarks Ein-Dollar-Vierzig-Menü« nur sechs Sekunden an, bevor sie auf »Über uns« klickte, woraufhin sie erfuhr, dass die Webseite ein Projekt des Employment Policies Institute ist. Daraufhin öffnete sie einen neuen Link zur EPI-Homepage. Nachdem sie gerade einmal drei Sekunden auf dieser verbrachte hatte, klickte sie auf deren »Über uns« und las, dass das Institut 1991 gegründet wurde und »eine gemeinnützige Forschungsorganisation ist, die sich mit gesellschaftspolitischen Problemen befasst«. »Das hilft mir kein Stück weiter«, meinte sie und googelte das EPI. Nach Lektüre einiger Snippets (die Kurzbeschreibungen in der Ergebnisliste) übersprang sie die ersten Ergebnisse, öffnete bei SourceWatch den Eintrag über EPI und bemerkte: »Hier heißt es, es sei eine von mehreren ›Frontgruppen‹ einer PR-Firma.« Sie scrollte weiter, bis sie auf das verlinkte Zitat des Journalisten von der New York Times stieß, der das EPI-Büro aufgesucht und keinerlei Hinweis gefunden hatte, dass es jemals existiert hatte. Sie klickte auf das Zitat von SourceWatch, um es zu prüfen, indem sie weiter auf die Webseite des National Public Radio ging, auf der sie ein Transkript des Interviews mit dem Reporter fand. Innerhalb eines Zeitraums von nur zwei Minuten entdeckte sie, dass minimumwage.com und EPI nicht waren, was sie zu sein schienen:[498]

Nach dem Bericht des Journalisten von der New York Times handelt es sich um keine legitime Organisation. Er schreibt, er sei tatsächlich dort gewesen, habe aber keinen Anhaltspunkt für die Existenz eines Büros oder von Angestellten gefunden. Alle Mitarbeiter arbeiten stattdessen für die PR-Firma.

Warum haben sämtliche Faktenchecker, aber nicht alle der Studenten und Historiker die verborgenen Absichten der Webseite entdeckt? Viele Studenten und Historiker haben andere Strategien verwendet; vor allem sind sie auf der Ausgangsseite geblieben und haben sie zur Gänze durchgelesen. Wenn sie die Seite doch verlassen haben, dann taten sie es viel später und verfolgten dabei persönliche Interessen. Zweifellos haben alle verstanden, dass Webseiten sorgfältig entworfen und möglicherweise von Gruppen finanziert werden, die ihre eigenen, häufig parteiischen Absichten verfolgen. Doch den meisten fehlten die Fertigkeiten, um diese versteckten Interessen herauszufinden. Dabei beruhen diese Fertigkeiten auf leicht erlernbaren Regeln.

Smarte Regeln für die Beurteilung von Vertrauenswürdigkeit

Nehmen wir an, Sie werden von einer neuen Webseite kontaktiert und haben nur begrenzte Zeit, sie zu beurteilen. Vielleicht werden Sie dort aufgefordert, sich einer Bewegung anzuschließen, die sich einsetzt für die Reduzierung des Mindestlohns, Erhöhung der Tabaksteuer, Legalisierung von Marihuana, eine Petition gegen die gleichgeschlechtliche Ehe zu unterschreiben, Geld für deren Sache zu spenden oder Sie einfach bittet, Nachrichten zu teilen. Sie möchten herausfinden, ob die Seite vertrauenswürdig ist. Hier sind vier Regeln, nach denen professionelle Faktenchecker verfahren:

1.  Laterales Lesen. Verlassen Sie die Seite rasch, noch bevor Sie alles gelesen haben. Werfen Sie nur einen kurzen Blick auf den Inhalt und gehen Sie auf andere Seiten, um den Hintergrund zu prüfen und in Erfahrung zu bringen, welche Reputation und Ziele die Webseite hat.

2.  Klickdisziplin. Wenn Sie Suchergebnisse haben, klicken Sie nicht auf den ersten Eintrag auf der ersten Seite. Verwenden Sie Snippets bei der Suche nach Hinweisen auf die Zuverlässigkeit der Seite, das heißt, überfliegen Sie die ganze erste Seite (oder mehrere Seiten) und machen Sie anhand der dabei gewonnenen Ergebnisse Ihren ersten wohlüberlegten Klick.

3.  Gehen Sie zurück und lesen Sie. Sobald Sie mehr über die Organisation hinter der Webseite herausgefunden haben, lesen Sie den Text sorgfältig mit dem Wissen über deren Programm und Zielsetzung.

4.  Kümmern Sie sich nicht um Äußerlichkeiten. Achten Sie nicht auf das Design der Webseiten oder auf Domains wie .COM oder .ORG.

Um rasch herauszufinden, wer sich hinter einer Webseite verbirgt, klicken Sie also am besten zuerst das »Über uns« auf der Seite an. Dann verlassen Sie die Seite, um nach dem Namen der Organisation zu suchen, unabhängige Quellen zu konsultieren und von dort aus die Recherche fortzusetzen. Dieser Schritt setzt eine gewisse Kenntnis von Quellen und Organisationen voraus, welchen politischen Parteien sie beispielsweise zuzuordnen sind und welche gesellschaftspolitischen Ziele sie verfolgen. Klickdisziplin verlangt etwas Vertrautheit mit Online-Strukturen, etwa das Wissen, dass das erste Ergebnis, das eine Suchmaschine präsentiert, nicht unbedingt das relevanteste für Ihre Suche ist. Manche Ergebnisse können ganz oben auf der Liste stehen, weil sich die verantwortliche Gruppe sehr lautstark im Netz bemerkbar macht, wie zum Beispiel Impfgegner, und nicht weil die Informationen so gut sind. Oder es handelt sich um eine getarnte Anzeige. Dieser erste Klick kann entscheidend sein; er schickt Sie vielleicht auf die falsche Spur. Überlegen Sie gut, bevor Sie klicken.

Nicht ganz so smarte Regeln

Diese vier Regeln verbessern nachweislich die Fähigkeit von Schülern und Studenten, Online-Quellen zu beurteilen.[499] Doch viele Digital Natives scheinen sie nicht zu kennen. Stattdessen halten sie sich öfters an einen alten Ratgeber, der die Form einer Checkliste hat. Diese weitverbreitete Liste ist auf Hunderten von Webseiten zu finden, auch denen von vielen Universitäten. Sie fordert den Nutzer auf, eine Webseite anhand von fünf Kriterien zu evaluieren:[500]

•  Genauigkeit. Wenn die Seite den Autor und die Institution aufführt, die die Seite veröffentlicht haben, und eine Möglichkeit der Kontaktaufnahme zu ihm oder ihr anbietet und …

•  Autorität. Wenn die Seite die Referenzen des Autors auflistet und die Domain seriös ist (.edu, .gov, .org oder .net) und …

•  Objektivität. Wenn die Seite genaue Informationen mit begrenzter Werbung bietet und die Information objektiv darstellt und …

•  Aktualität. Wenn die Seite auf dem neuesten Stand ist und (nach Auskunft der Seite) regelmäßig aktualisiert wird und wenn die Links (so es denn welche gibt) ebenfalls auf dem neuesten Stand sind und …

•  Zugänglichkeit. Wenn die Information leicht auffindbar und nicht durch Gebühren, Browsertechnik oder Softwareerfordernisse begrenzt ist, dann

… haben Sie es vielleicht mit einer Webseite zu tun, die Ihnen bei Ihrer Arbeit hilfreich sein kann!

Oder auch nicht. Diese Checkliste fordert die Nutzer nicht auf, die Seite zu verlassen und nach unabhängigen Informationen zu suchen. Sie geht davon aus, dass alle wichtigen Informationen auf der Seite stehen und dass sorgfältiges Lesen ausreicht. Sie nennt Merkmale und Erscheinungsbilder von Webseiten, denen sich Unternehmen ständig anpassen können, während die Regeln der Faktenchecker uns zeigen, wie wir kritisch vorgehen können, unabhängig von Strategien der Unternehmen. Versionen dieser Listen reichen bis ins Jahr 1998 zurück, also zu den Anfängen des Internets. Sie können Hinweise auf Vertrauenswürdigkeit geben, aber sie sind kein Mittel gegen heutige Strategien der Überredung und Täuschung.

Um ihre Absichten zu verbergen, versuchen viele Webseiten, die Kriterien auf diesen Listen perfekt zu erfüllen. Beispielsweise genügt die Webseite minimumwage.com allen Kriterien, abgesehen von ihrer Domain. Sie nennt Autoren und Institutionen und liefert Kontaktinformationen, die dem Punkt Genauigkeit gerecht werden. Es gibt keine Werbung, und die Information sieht objektiv aus; damit besteht sie den Objektivitätstest. Seite und Links sind aktualisiert, und Informationen kann man lesen, ohne Gebühren bezahlen zu müssen, also sind auch die Punkte Aktualität und Zugänglichkeit erfüllt. Wenn man diese Liste brav abarbeitet, kann es einem ein falsches Gefühl von Sicherheit vermitteln. Die Faktenchecker hatten Erfolg, weil sie wussten, dass jene, die ihre Absichten verbergen wollen, natürlich bemüht sind, so viele Punkte dieser vor dem Jahr 2000 entwickelten Liste wie möglich zu berücksichtigen.

Staaten geben Millionen aus, um Schüler mit digitalen Geräten auszurüsten, von Tablets bis zu interaktiven Whiteboards. Genauso wichtig sind indessen Investitionen in Lehrpläne, die den Schülern und Studierenden helfen, in einer smarten Welt smart zu bleiben. Bisher haben nur wenige Staaten diesen Aspekt in seiner Bedeutung erkannt. Da ist es keine große Überraschung, dass Finnland – das in Hinblick auf Glück, soziale Gerechtigkeit und Qualität der Schulen im Nationenvergleich immer ganz oben landet – auch den anderen darin voraus ist, Fakten von Fakes, Pseudowissenschaft von Wissenschaft und Klatsch von Information zu unterscheiden. Am bekanntesten ist sein Programm zur Entwicklung digitaler Kompetenz, die sogenannte Faktabaari (»Fakten-Bar«), die von der Grundschule bis zur Oberstufe unterrichtet wird.[501] Außerdem hat Finnland den preisgekrönten offenen Onlinekurs »Elemente der KI« entwickelt, der in vielen Sprachen vorliegt. Digitale Kompetenz sollte nicht auf das Land der glücklichen und egalitären Finnen beschränkt sein.

Der Zement der Gesellschaft

Der Zement einer Gesellschaft ist Vertrauen. In kleinen Dörfern stand vor Jahrhunderten jeder unter der genauesten Beobachtung aller anderen. Die Menschen wussten, was sie voneinander zu erwarten hatten. Man brauchte wenig Vertrauen in andere, außer, wie Martin Luther anmerkte, in Gott.[502] Wenn jemand betrog, stahl oder log, war der Täter rasch überführt, bestraft oder aus der Gemeinschaft ausgeschlossen. Vertrauen wurde erst wichtig, als die menschlichen Gesellschaften größer und mobiler wurden.[503] Kaufleute, die Handel zwischen Ländern und Kontinenten trieben, mussten Vertrauen aufbringen, ohne Vertrauen gibt es keinen Handel.

Durch die Erfindung des World Wide Web wurden unsere gesellschaftlichen und wirtschaftlichen Beziehungen noch abhängiger von Vertrauen. Häufiger als jemals zuvor in der Geschichte der Menschheit interagieren wir mit Fremden, vielleicht ohne ihnen jemals direkt zu begegnen. Sollen wir einer Person vertrauen, die wir nur durch Online-Dating kennengelernt haben? Sollen wir einem geheimen Algorithmus vertrauen, der ausrechnet, wer für eine Stellung, ein Darlehen oder Sozialhilfe in Frage kommt? Wie viele Fünf-Sterne-Beurteilungen eines Produktes, für das wir uns interessieren, sind echt, und wie viele sind gekauft? Können wir Social-Media-Plattformen trauen, wenn es deren Geschäftsmodell ist, unsere Aufmerksamkeit und Zeit an Werbekunden zu verkaufen? Und was ist mit Staaten? Nach den Ergebnissen eines Forschungsteams an der University of Oxford haben rund siebzig Staaten weltweit auf soziale Medien spezialisierte Desinformationsteams entwickelt, um Lügen zu verbreiten und Wahrheiten zu verschleiern.[504] Sollen wir uns angesichts dessen damit begnügen, achselzuckend durch den Newsfeed zu scrollen, um einen weiteren Schub Dopamin zu bekommen? Wir können unsere Augen schließen, als selige Konsumenten weiterleben und einfach auf das Beste hoffen.

Die Alternative ist, digital kompetente Bürger zu werden. Wenn Häuser, Fabriken und Städte smart werden, warum dann nicht auch die Menschen? Die digitale Welt hat Desinformation billiger und schneller gemacht als je zuvor.[505] Aber sie bietet uns auch Werkzeuge, um die Glaubwürdigkeit von Menschen und Quellen zu überprüfen. Wir können uns Informationen darüber beschaffen, was KI mühelos leisten kann und was nicht und wie das Zahl-mit-deinen-Daten-Geschäftsmodell unsere Zeit und Aufmerksamkeit verkauft. Und wir können Politiker wählen, die mit der Öffentlichkeit zusammenarbeiten, um den Nutzen und den potenziellen Schaden von KI besser zu verstehen und zu regulieren. Die EU-Datenschutz-Grundverordnung ist ein erster Schritt, um verlorenes Vertrauen zurückzugewinnen. Doch noch größerer politischer Mut ist erforderlich, um deren allgemeines Ideal von Transparenz und Würde in konkrete Maßnahmen zu überführen. Bislang versuchen viele Plattformen, die Verordnungen zu unterlaufen, indem sie etwa »alle Cookies akzeptieren« zu einer Ein-Klick-Option machen, während andere Optionen nervtötend langes Scrollen und häufiges Klicken erfordern.

Transparenz beginnt mit einfachen, konkreten Maßnahmen, etwa indem man den Menschen die Möglichkeit gibt, besser zu verstehen, was es bedeutet, wenn sie auf »Zustimmen« klicken. Viele Plattformen verstecken die Antwort hinter langen, manchmal 20-seitigen Nutzungsbedingungen in einer kaum lesbaren Schrift, die nicht geschrieben wurden, damit wir sie verstehen. Menschen erhalten die Wahl zwischen zwei unwürdigen Optionen – entweder ihre uninformierte Zustimmung zu erteilen oder stundenlang zu versuchen, diese überlangen Dokumente zu verstehen, bevor sie Zutritt zu einer neuen Plattform erhalten. Diese erzwungene Wahl ist ein persönlicher Affront gegen die menschliche Würde.

Ich habe argumentiert, dass es eine einfache Lösung für dieses Problem gibt: Die Tech-Unternehmen müssen gezwungen werden, ihre unleserlichen Dokumente durch einen One-Pager zu ersetzen, der ehrlich und verständlich erklärt, welche persönlichen Informationen gesammelt und an welche Dritte sie geschickt werden. Außerdem müssen die Nutzer ausdrücklich gefragt werden, ob sie damit einverstanden sind, dass die Plattform der neue Besitzer ihrer Bilder und Daten wird.[506] Um dahin zu gelangen, brauchen wir entschlossene Politiker, die bereit sind, für diesen Wandel zu kämpfen.

Doch der Kampf um die menschliche Würde setzt sich auf einer tieferen Ebene fort. Social-Media-Plattformen sind fast alle im Besitz ungeheuer reicher Männer, die Konkurrenten aufkaufen, statt den Wettbewerb im Markt zu fördern. Wie wir während der Finanzkrise an den Banken gesehen haben, können diese Plattformen eine Bedrohung für eine gesunde Demokratie darstellen, indem sie so mächtig und groß werden, dass ihre Pleite nicht mehr tragbar wäre. Eine gesunde Wirtschaft profitiert von mehr wettbewerbsorientierter Innovation und weniger Zentralisierung. Statt unseren Freunden die Ohren vollzujammern, dass unsere Kinder zu wenig Schlaf bekommen und durch die sozialen Medien depressiv werden, müssen wir die Regierungen dazu bringen, das Problem an der Wurzel zu packen und das auf Überwachung beruhende Geschäftsmodell Zahl-mit-deinen-Daten zu beenden.[507]

All diese Maßnahmen würden Tech-Unternehmen wie Politikern ermöglichen, das Vertrauen wiederzugewinnen, das verloren ging, als den Menschen immer klarer wurde, wie viel Geheimhaltung und Desinformation wir uns gegenübersehen und in welchem Maße wir alle der kommerziellen und staatlichen Überwachung unterworfen sind. Wir sollten die sozialen Medien genießen können, ohne dass Tausende von Ingenieuren und Psychologen damit beschäftigt sind, Methoden zu ersinnen, die uns noch tiefer in die digitale Sucht treiben. Wir sollten in der Lage sein, die KI für Aufgaben zu nutzen, die sie besser und schneller als Menschen erledigt, ohne dass man uns zu dem Irrglauben verführt, sie könne unser Verhalten restlos vorhersagen und alle Aspekte unseres Lebens verbessern.

Der ursprüngliche Traum vom Internet war, dass es das Tor zum Informationszeitalter aufstoßen würde. Heute leben wir in einer Welt, die das Zeitalter sowohl der Information wie der Desinformation ist. Letztere ist eine Bedrohung für die menschliche Zivilisation: Sie kann das Vertrauen in die Institutionen untergraben, die wir zum Wohl der Gesellschaft errichtet haben – wie Regierung, Rechtsprechung, Wissenschaft und investigativen Journalismus. Wir müssen das Internet neu denken. Die auf Überwachung beruhenden Geschäftsmodelle beseitigen. Privatsphäre und Würde wieder zu ihrem Recht verhelfen. Der digitalen Technologie bewundernd auf Augenhöhe begegnen, statt mit unbegründeter Euphorie oder Argwohn. Um die digitale Welt zu einer Welt zu machen, in der wir leben möchten.

DANK

Klick baut auf zwei früheren populärwissenschaftlichen Büchern von mir auf, Bauchentscheidungen und Risiko. Bauchentscheidungen (2007) beförderte Verständnis und wissenschaftliche Seriosität der Intuition, während Risiko (2013) half, sich bei Risiko und Unsicherheit zurechtzufinden. Klick ist eine Anleitung, wie wir in einer zunehmend von Algorithmen bevölkerten Welt souverän bleiben und das Steuer in der Hand behalten.

Ich habe dieses Buch für eine breite Öffentlichkeit geschrieben, um sie durch die Herausforderungen einer digitalen Welt zu navigieren. Es hat keinen akademischen Charakter, basiert jedoch wesentlich auf Forschungsergebnissen, auch meinen eigenen über Entscheidungsfindung unter Unsicherheit am Max-Planck-Institut für Bildungsforschung in Berlin. Ich habe das Glück, die großzügige und einzigartige Unterstützung der Max-Planck-Gesellschaft zu genießen und von ihrer wunderbaren intellektuellen Atmosphäre zu profitieren. Sie ist ein Forschungsparadies. Ich möchte mich auch bei David und Claudia Harding für ihre langjährige Unterstützung des von mir geleiteten Harding-Zentrums für Risikokompetenz bedanken, das nunmehr bei der Universität Potsdam angesiedelt ist (hardingcenter.de). Wer mehr über die zugrunde liegende Forschung erfahren möchte, dem empfehle ich Classification in the Wild (Katsikopoulos, Simsek, Buckman und Gigerenzer 2020, MIT Press) und Simply Rational: Decision Making in the Real World (Gigerenzer 2015, Oxford University Press). Weitere Hinweise auf Forschungsliteratur finden Sie in der Literaturliste dieses Buches.

Für viele hilfreiche Kommentare möchte ich mich bedanken bei: Tom Chan, Eli Finkel, Wolfgang Gaissmaier, Josephine Greywoode, Sophie Hartmann, Gisela Henkes, Ralph Hertwig, Ulrich Hoffrage, Konstantinos Katsikopoulos, Gary Klein, Brenden Lake, Shengua Luan, Sarah McGrew, John Monahan, Felix Rebitschek, Raul Rojas, Cynthia Rudin, Natasha D. Schüll, Katharina Schüller, Stephen Shladover, Özgür Şimşek, Amy Slep, Isaac Stanley-Becker, Peter Todd, Riccardo Viale, Jean Czerlinski Whitmore, Sam Wineburg, Jason Yosinski und John Zerilli. Danke auch an Hainer Kober für seine Übersetzung und Arno Matschiner vom Bertelsmann Verlag, der die Entstehung des Buches von Anfang an begleitet hat. Mein besonderer Dank gilt Rona Unrau, die das gesamte Manuskript in Form brachte, bei der Quellensuche assistierte und das Buch mit jeder Überarbeitung besser werden ließ. Rona war eine wundervolle Unterstützung für mich. Ich danke auch Sarah Otterstetter, die die Abbildungen entwarf. Mein Dank geht, last but not least, an meine Frau Lorraine Daston, meine Tochter Thalia Gigerenzer und meinen Schwiegersohn Kyle Chan, die mir intellektuelle Inspiration und emotionale Stütze waren in den Jahren, die ich mit der Arbeit an diesem Buch verbrachte, einschließlich des außergewöhnlichen Jahres 2020. Das Coronavirus bedeutete für die meisten meiner eingeplanten Aufgaben und Reisen das Ende, das Unglück hatte in meinem Fall aber auch sein Gutes: Plötzlich hatte ich mehr Zeit, mich diesem Buch zu widmen.

ANMERKUNGEN

1 Persönliches Gespräch. [zurück]

2 Lee (2018). [zurück]

3 Beispielsweise scheint Shoshana Zuboff in ihrer wegweisenden Analyse des Überwachungskapitalismus davon auszugehen, dass diese Fähigkeit generell vorhanden ist, etwa wenn sie von einer »Überwachung und Formung menschlichen Verhaltens mit beispielsloser Genauigkeit« schreibt (2019a, S. 17) oder erklärt: »Überwachungskapitalisten wissen alles über uns« (2018, S. 25). [zurück]

4 Breakstone, Smith, Connors et al. (2021) und Breakstone, Smith, Wineburg et al. (2021); siehe auch McGrew et al. (2018); Meßmer et al. (2021); Wineburg und McGrew (2019). Siehe ebenfalls Kapitel 11. [zurück]

5 Rogers (2012). [zurück]

6 National Consortium for the Study of Terrorism and Responses to Terrorism (2020). [zurück]

7 Centers for Disease Control and Prevention (2020). [zurück]

8 Britt (2015). [zurück]

9 ERGO (2019). [zurück]

10 https://www.youtube.com/watch?v=t7911kgJJZc. [zurück]

11 Beispielsweise schrieb der Vorsitzende der Deutschen Polizeigewerkschaft, der sich für das Massenscreening aussprach, die Falschtrefferrate von 0,1 Prozent sei sehr gering und »liegt in einem akzeptablen, kaum messbaren Bereich«. Siehe Wendt, R. (2020). Die Presseerklärung ist hier: https://www.bmi.bund.de/SharedDocs/pressemitteilungen/DE/2018/10/gesichtserkennung-suedkreuz.html. [zurück]

12 Die leidenschaftliche Debatte wurde durch mangelnde Risikokompetenz angeheizt. In einem Beitrag auf Twitter wurde richtig gesagt, dass aus der Fehlalarmrate von 0,1 Prozent zusammen mit der geringen Zahl Verdächtiger folgt, dass die überwältigende Mehrheit der Alarme falsch ist. Zum besseren Verständnis: Nehmen wir an, 500 Verdächtige lungern an Bahnhöfen herum, von denen das System 400 richtig identifiziert (eine Trefferquote von 80 Prozent). Es gibt also 400 richtig-positive Ergebnisse auf jeweils knapp 12 000 Fehlalarme, woraus folgt, dass rund 97 Prozent aller positiven Klassifikationen falsch sind. Daraufhin verteidigte eine Abgeordnete des Europäischen Parlaments die Massenüberwachung und twitterte: »Irgendwie sollten Sie an Ihrer Mathematik arbeiten: 0,1% Fehlerquote bedeutet 99,9% Treffer bei fachlich optimierter Anwendung. Das ist optimal.« (https://twitter.com/mhohlmeier/status/1050766534564548609) Sie ging von der irrigen Annahme aus, eine Fehlalarm-Rate von 0,1 Prozent bedeute, dass 99,9 Prozent aller Klassifikationen richtig seien. Als man sie über ihren Fehler aufklärte, bestand sie dennoch darauf, dass sie die Wahrscheinlichkeitsrechnung beherrsche, aber dass diese irrelevant sei, weil es in Wirklichkeit um die präventive und erzieherische Wirkung von Gesichtserkennungssystemen gehe. Politiker brauchen mehr Risikokompetenz – und die Demut, Fehler zuzugeben. [zurück]

13 Tolentino (2019), S. 71. Auch Frank Schirrmacher, ehemaliger Mit-Herausgeber der FAZ, schrieb öffentlich über seine digitale Abhängigkeit: »Ich bin unkonzentriert, vergesslich, und mein Hirn gibt jeder Ablenkung nach. Ich lebe ständig mit dem Gefühl, eine Information zu versäumen oder zu vergessen … Kurzum: Ich werde aufgefressen.« (Schirrmacher, 2009, S. 15). [zurück]

14 Eine bekannte Redensart lautet: »Wenn du für ein Produkt nicht bezahlst, bist du das Produkt.« Genauer, die Vorhersagen über deine Vorlieben und dein Verhalten sind das Produkt. Einen unterhaltsamen Vortrag zur Überwachung durch Unternehmen finden Sie unter https://idlewords.com/talks/internet_with_a_human_face.htm. [zurück]

15 Brin und Page (2012/1998). [zurück]

16 Diverse Unternehmen, unter anderem Mozilla und Google Contributor, experimentieren auch mit Mikrozahlungen (Melendez, 2019). Netflix bemüht sich ebenfalls um unser Interesse an seinem Angebot, weil es die Anzahl an Abonnenten möglich hoch halten möchte, braucht aber keine Rücksicht auf Werbekunden zu nehmen. Einige Plattformen bieten ihren Nutzern die Möglichkeit, gegen eine Gebühr von Werbung verschont zu werden, aber nur wenige garantieren, dass zahlende Nutzer tatsächlich nicht mehr nachverfolgt werden. Beispielsweise bieten geschäftliche Netzwerke wie LinkedIn und Xing sogenannte Premium-Mitgliedschaften an, die den Zugriff auf Daten anderer Mitglieder ermöglichen (etwa, wer die eigene Seite besucht hat), schützen aber die Daten des Premiummitglieds nicht. [zurück]

17 Wie sich das Verständnis der Nutzer bessern ließe, wird im Bericht der Europäischen Kommission erörtert (Lewandowsky et al. 2020). Mit den digitalen Risiken für Kinder haben sich private Organisationen wie das DQ Institute beschäftigt (Chawla 2018). Nida-Rümelin und Weidenfeld (2018) plädieren für einen digitalen Humanismus, der den Menschen in den Mittelpunkt stellt. [zurück]

18 Genauer, die Plätze werden versteigert und an den Bieter verkauft, für den ein Algorithmus die höchsten Einkünfte für das Tech-Unternehmen errechnet – eine Funktion aus dem Angebot des Bieters und der erwarteten Zahl von Nutzern, die die Anzeige anschauen oder anklicken werden. Werbekunden bezahlen Google für Klicks, daher möchte Google natürlich, dass Sie die Anzeigen anklicken. [zurück]

19 https://www.samsung.com/hk_en/info/privacy/smarttv/. Fowler (2019, 18. September). [zurück]

20 ERGO (2019). [zurück]

21 https://www.searchenginewatch.com/2016/04/27/do-50-of-adults-really-not-recognise-ads-in-search-results/. [zurück]

22 Kawohl und Becker (2017). [zurück]

23 »What to make of Mark Zuckerberg’s testimony« (2018). [zurück]

24 SVRV (Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz) (2018). Der Umstand, dass sich Überprüfungen von Scoring-Systemen auf Berichte stützten, die die Auskunfteien selbst in Auftrag gegeben hatten, wurde von Journalisten des Bayerischen Rundfunks aufgedeckt: https://www.br.de/nachricht/luecken-im-pruefsystem-von-auskunfteien-100.html. [zurück]

25 http://2045.com/ideology/. Einige Autoren träumen davon, man könne eines Tages unsere Gehirne in diese Superintelligenz hochladen und uns dadurch unsterblich machen. [zurück]

26 Daniel und Palmer (2007). [zurück]

27 Unbelegte, übertriebene Behauptungen über Algorithmen finden sich beispielsweise in Harari (2015). Mehr dazu in Kapitel 11. [zurück]

28 Siehe »Das Meinungsspektrum« in Brockman (2019). Auch Kahneman (2019, S. 609) wirft die Frage auf, ob KI vielleicht am Ende alles das leisten werde, was Menschen tun können: »Wird es noch irgendetwas geben, was Menschen vorbehalten ist? Ehrlich gesagt, ich sehe keinen Grund, den Erwartungen an KI Grenzen zu setzen.« Und: »Man sollte Menschen durch Algorithmen ersetzen, wann immer es möglich ist« (S. 610). [zurück]

29 Gigerenzer (2014). [zurück]

30 Zu Angstzyklen siehe Orben (2020). [zurück]

31 Taylor, A. (2018). [zurück]

32 Rilke (1929). [zurück]

33 Sales (2016). [zurück]

34 Anderson et al. (2020). [zurück]

35 Grzymek und Puntschuh (2019). [zurück]

36 Parship gibt jährlich etwa 100 Millionen Euro für Fernseh-, Internet- und Plakatwerbung aus, in der professionelle Models als Singles posieren. Theile (2020). [zurück]

37 https://www.unstatistik.de. [zurück]

38 Deutsches Institut für Service-Qualität (2017). [zurück]

39 https://www.elitesingles.com. [zurück]

40 Zitiert in: Finkel et al. (2012), S. 24. [zurück]

41 https://www.jdate.com/en/jlife/success-stories/shlomit-ryan. [zurück]

42 Finkel et al. (2012), S. 3. [zurück]

43 Epstein (2013). Mitarbeiter von eHarmony behaupteten in einem Manuskript, verheiratete Paare, die sich durch eHarmony kennengelernt hätten, seien glücklicher als Paare, die auf andere Weise zusammengefunden hätten. Allerdings verglichen sie frischverheiratete eHarmony-Paare (im Durchschnitt 6 Monate) mit Paaren in der Kontrollgruppe, die im Durchschnitt mehr als zwei Jahre verheiratet waren. Weder überstand die Studie das Gutachterverfahren noch wurde sie veröffentlicht. Man kann sich denken, warum. [zurück]

44 Als ich mich beispielsweise an ElitePartner wandte und um ein Interview für diese Studie bat, forderte man mich auf, die Fragen vorher einzuschicken. Ich übersandte ihnen zehn Fragen. Wie sie mir mitteilten, wollten sie mir die Hälfte nicht beantworten – etwa, wie viele neue zahlende Mitglieder sie pro Jahr bekämen und wie viele sich in einem Jahr verliebten. Die Antworten auf die andere Hälfte der Fragen habe ich bis heute nicht erhalten. Es gibt einigen Grund für Zweifel an den von den Datingagenturen veröffentlichten Zahlen; die vollmundigen Behauptungen der Online-Datingbranche sind von Zoe Strimpel (2017) analysiert worden. [zurück]

45 Cacioppo et al. (2013). [zurück]

46 Danielsbacka et al. (2020); Potarca (2020), Paul (2014). [zurück]

47 Potarca (2020), Thomas (2020), Brown (2019). [zurück]

48 Auch Tinder verwendet einen Algorithmus, der allerdings nicht auf Profilen beruht. Tinders Algorithmus ordnet jedem Nutzer einen Begehrtheitswert zu, abhängig von der Anzahl der Swipes, die jemand bekommt, und von den Nutzern, die sie ausführen. [zurück]

49 https://www.youtube.com/watch?v=m9PiPlRuy6E. [zurück]

50 Aus Gründen der Vereinfachung verwende ich hier das arithmetische Mittel. OKCupids Algorithmus verwendet das geometrische Mittel, das heißt, die Quadratwurzel aus dem Produkt der Werte. [zurück]

51 Bruch und Newman (2018). [zurück]

52 Rudder (2014). [zurück]

53 Buss (2019). [zurück]

54 Finkel et al. (2012), S. 30. [zurück]

55 Joel et al. (2017). [zurück]

56 Todd et al. (2007). Siehe auch Finkel et al. (2012). [zurück]

57 Montoya et al. (2008). [zurück]

58 Dyrenforth et al. (2010). [zurück]

59 Finkel et al. (2012), S. 44. [zurück]

60 Sales (2016). [zurück]

61 Epstein (2013). [zurück]

62 Hancock et al. (2007). [zurück]

63 Hitsch et al. (2010). [zurück]

64 Epstein (2013). [zurück]

65 Epstein (2013). [zurück]

66 Anderson (2016). [zurück]

67 Epstein (2013). [zurück]

68 Lea et al. (2009), S. 42. [zurück]

69 Facebook verbietet irreführende Werbung, doch Betrüger verwenden eine Technik namens Cloaking (Tarnen), bei der den Facebook-Robotern harmlose Inhalte gezeigt werden, während das Opfer eine ganz andere Nachricht liest (Kayser-Bril, 2019). [zurück]

70 Office of Fair Trading, Vereinigtes Königreich (2007). [zurück]

71 Whitty und Buchanan (2015). [zurück]

72 Suarez-Tangil et al. (2019). [zurück]

73 Whitty und Buchanan (2015). [zurück]

74 Tsvetkova et al. (2017). [zurück]

75 Brown (2017). [zurück]

76 Federal Trade Commission (2019). [zurück]

77 Bostrom (2015), S. 211. [zurück]

78 Youyou et al. (2015). [zurück]

79 Newell et al. (1958a). [zurück]

80 Soll Richard Feynman auf einer Rede bei einer Graduiertenfeier am Caltech gesagt haben (Quelle unklar). [zurück]

81 Zitiert in: Boden (2008), S. 840. In Simons Arbeiten herrscht eine verwirrende Spannung zwischen zwei Polen: einerseits seiner Arbeit über begrenzte Rationalität, die Unsicherheit in den Mittelpunkt rückt, und andererseits seiner Forschung über KI, die sich auf wohldefinierte Probleme wie Schach konzentriert. In seinen Arbeiten über begrenzte Rationalität unterscheidet Simon zwischen Ungewissheit und wohldefinierten Problemen, während sich dieser Unterschied in seinen Schriften über KI verflüchtigt (Gigerenzer, 2021). [zurück]

82 Dreyfus (1979), S. 33. [zurück]

83 Siehe Katsikopoulos et al. (2020), wo wir es das »Prinzip der instabilen Welt« nennen, was dasselbe Prinzip ist. [zurück]

84 Kay und King (2020); Taleb (2010). [zurück]

85 Makoff (2011). [zurück]

86 Ferrucci et al. (2010). [zurück]

87 Lee (2018). [zurück]

88 Russell (2019), S. 47 f. [zurück]

89 Kumar et al. (2009). In diesem Experiment zeigten 50 Prozent der dargebotenen Paare dieselbe Person und die anderen 50 Prozent verschiedene Menschen. [zurück]

90 Zu diesem und den folgenden Beispielen siehe Katsikopoulos et al. (2020), Kapitel 4. [zurück]

91 Chiuisi (2020), S. 195. [zurück]

92 Simon und Newell (1958). [zurück]

93 Krauthammer (1997). [zurück]

94 Gigerenzer et al. (2011) und Katsikopoulos et al. (2020). [zurück]

95 Siehe Katsikopoulos et al. (2020). [zurück]

96 Aikman et al. (2021). [zurück]

97 Gigerenzer et al. (2011) und Katsikopoulos et al. (2020). [zurück]

98 Wachter (2017). [zurück]

99 Kellermann und Jones (2013). [zurück]

100 Kellermann und Jones (2013). [zurück]

101 Wachter (2017). [zurück]

102 Schulte und Fry (2019). [zurück]

103 Siehe Carr (2014). [zurück]

104 Young et al. (2018). [zurück]

105 Wachter (2017). [zurück]

106 Schulte und Fry (2019). [zurück]

107 AFP (2020). [zurück]

108 Wachter (2017), S. 71. [zurück]

109 Gigerenzer und Muir Gray (2011); Rebitschek et al. (2017). [zurück]

110 Gottman und Gottman (2017), S. 10. https://www.gottman.com/about/research/, Gottman et al. (1998). [zurück]

111 Siehe Heyman und Slep (2001). [zurück]

112 https://www.gottman.com. Siehe auch Barrowman (2014). [zurück]

113 Roberts und Pashler (2000). [zurück]

114 Heyman und Slep (2001). [zurück]

115 Heyman und Slep (2001). [zurück]

116 Heyman und Slep (2001). Der Unterschied zwischen 65 Prozent und 21 Prozent heißt »Überanpassung« (overfitting). [zurück]

117 Für den Bereich der Verhaltensökonomie siehe beispielsweise Berg und Gigerenzer (2010). [zurück]

118 Anpassung (fitting) war auch die Regel in der Statistik, beispielsweise im Journal of the American Statistical Association; siehe Breiman (2001). [zurück]

119 Bis in die 1990er Jahre musste man lange suchen, um überhaupt Vorhersagen in der kognitiven Modellierung zu finden. Siehe Roberts und Pashler (2000) sowie Brandstätter et al. (2008). [zurück]

120 Bailey et al. (2014). [zurück]

121 https://quoteinvestigator.com/tag/niels-bohr/. [zurück]

122 Russell und Norvig (2010). [zurück]

123 Strickland (2019). [zurück]

124 Ross und Swetlitz (2018). [zurück]

125 Topol (2019). [zurück]

126 Best (2013). [zurück]

127 Schwertfeger (2019). [zurück]

128 Brown (2017). [zurück]

129 Weiser (1991). [zurück]

130 Turing (1950). [zurück]

131 Gigerenzer und Goldstein (1996) sowie Gigerenzer und Murray (2015). [zurück]

132 Daston (1994) sowie Gigerenzer und Goldstein (1996). [zurück]

133 In ähnlicher Weise wurde Babbage von der Arbeitsteilung in der englischen Textilindustrie beeinflusst, die Lochkarten zur Programmierung von Webmaschinen verwendete. Das beeindruckte Babbage und viele seiner Zeitgenossen so sehr, dass ein regelrechter »Fabriktourismus« in Mode kam. Siehe Daston (1994) und Gigerenzer (2001). [zurück]

134 Es gibt viele Versionen dieser Geschichte. Die hier wiedergegebene Fassung beruht auf jener von Franz Mathé aus dem Jahr 1906, einer der ersten Versionen, in denen die Zahlen von 1 bis 100 erwähnt werden. Siehe Hayes (2006). [zurück]

135 Zitiert in: Wood (2005). Dieses Zitat ist auch einem anderen Sir Alec zugeschrieben worden, nämlich Alec Guinness. Ex-Präsident Barack Obama (Martosko, 2013) und Ex-Bundeskanzler Gerhard Schröder (Stadler, 2006) haben ebenfalls mit ihrem begrenzten Mathe-Verständnis kokettiert. [zurück]

136 Gleick (1992). [zurück]

137 Daston (2018). [zurück]

138 https://www.computerscience.org/resources/women-in-computer-science/. [zurück]

139 von Neumann (1958); Turing (1950). Über die Unterschiede zwischen von Neumanns, Turings und Simons Auffassungen von der Beziehung zwischen Computer und Gehirn oder Geist siehe Gigerenzer und Goldstein (1996). [zurück]

140 Newell et al. (1958b). [zurück]

141 Simon spricht Klartext: »Die Hypothese lautet, dass ein physikalisches Symbolsystem wie das eben beschriebene die notwendigen und hinreichenden Mittel für allgemeine Intelligenz aufweist.« (1969, S. 28). [zurück]

142 Simon (1991). [zurück]

143 Cohen (1998). [zurück]

144 Gigerenzer und Goldstein (1996). [zurück]

145 Gigerenzer (1991) und Gigerenzer und Murray (2015). [zurück]

146 Elon Musk in einer Videobotschaft auf der World Artificial Intelligence Conference in Shanghai, Juli 2020. https://bdtechtalks.com/2020/07/29/self-driving-tesla-car-deep-learning/. [zurück]

147 https://twitter.com/senblumenthal/status/981257797269688321. [zurück]

148 Uber verkaufte seine Abteilung für autonome Automobile (Uber ATG) im Dezember 2020. [zurück]

149 National Transportation Safety Board (2019). Stern (2018). [zurück]

150 Stilgoe (2019). [zurück]

151 Efrati (2018). [zurück]

152 Stilgoe (2019). [zurück]

153 Beispielsweise verkündete Carlos Ghosn, der frühere CEO von Nissan, in Hinblick auf seine Zusammenarbeit mit Microsoft: »2020 werden Sie ein Fahrzeug bekommen, das wir als vollkommen autonomes Auto bezeichnen«, bevor er hinzufügte. »Das unterscheidet sich allerdings vom fahrerlosen Auto … 2020 ist der Termin für das autonome Auto unter städtischen Bedingungen, 2025 der für das fahrerlose Auto« (Dillet, 2016). Siehe auch Elias (2019). [zurück]

154 Dickmanns und Zapp (1987). [zurück]

155 Shladover (2016). [zurück]

156 Shladover (2016). [zurück]

157 Daston (2021). [zurück]

158 Siehe Geirhos (2020) zum Shortcut Learning. [zurück]

159 Simonite (2018). [zurück]

160 Szegedy et al. (2014). [zurück]

161 Hier sind einige der Einwände, die Statistiker gegen den neuen KI-Jargon vorgebracht haben: Was heute als Input-Layer bezeichnet werde, entspreche den unabhängigen Variablen in der Statistik, und Ouput-Layer sei ein neuer Begriff für abhängige Variablen. Das sogenannte neuronale Netz sei im Wesentlichen eine nicht lineare Regression oder eine Diskriminanzanalyse für eine numerische Schätzung beziehungsweise Klassifizierung. Außerdem gebe es lernfähige Algorithmen schon seit Längerem, so die Regression, die – wie beim überwachten Lernen – Gewichte von den Daten lerne. In der Statistik habe auch das unüberwachte Lernen eine lange Tradition, beispielsweise Methoden der Clusteranalyse und der Faktorenanalyse. Doch trotz dieser Ähnlichkeit zwischen Statistik und KI bleibt ein entscheidender Unterschied: In der Statistik passt man Modelle in der Regel an eine gegebene Datenstichprobe an, während neuronale Netze die Daten sequenziell erhalten und ihren Algorithmus nach jedem Feedback aktualisieren. Siehe Sarle (1994). [zurück]

162 Kosko (2015). [zurück]

163 Szegedy et al. (2014). [zurück]

164 Diese winzigen systematischen Störungen, die neuronale Netze täuschen, lassen sich mithilfe evolutionärer Algorithmen finden. Die Technik wird auch als »hard-negative mining« bezeichnet, das heißt, es werden »gegnerische Beispiele« (adversarial examples) identifiziert, denen das Netz fälschlicherweise eine niedrige Wahrscheinlichkeit zuordnet, dass sie die richtigen Objekte oder Zahlen seien. Die gleiche Störung kann nicht nur bei den hier gezeigten Beispielen, sondern auch in anderen Trainingsdaten und mit anderen Netzen falsche Klassifikationen verursachen. Um die Netze zu schützen, versucht man gegnerische Beispiele in den Trainingssatz aufzunehmen, doch auch diese Methode bleibt anfällig für einfache Angriffe (Tramer et al., 2018). [zurück]

165 Wang et al. (2019). [zurück]

166 Die Bilder, die die tiefen neuronalen Netze täuschen, werden durch evolutionäre Algorithmen oder Gradientenanstiegsverfahren erzeugt (Nguyen et al., 2015). [zurück]

167 Su et al. (2019). Zur Logik der Angriffe auf künstliche neuronale Netze siehe Rocca (2019) sowie https://towardsdatascience.com/understanding-generative-adversarial-networks-gans-cd6e4651a29 und https://blog.eduonix.com/artificial-intelligence/grand-finale-applications-gans/. [zurück]

168 Brooks (2015). [zurück]

169 Titz (2018). Siehe auch Rocca (2019). [zurück]

170 Ranjan et al. (2019). [zurück]

171 Dingus et al. (2016). [zurück]

172 Webb (2019), S. 183. Um diese Probleme zu beheben, arbeiten Ingenieure an multisensorischen Systemen, die eine Kombination aus Sehen, Laser (Lidar) und Standortsbestimmungen verwenden. Beispielsweise ist der Standort mit einer Karte vernetzt, die über Höchstgeschwindigkeiten informiert, sodass ein Verkehrsschild mit einer Geschwindigkeitsbegrenzung von 100 Stundenkilometern, das vom Sehsystem »entdeckt« wird, ignoriert werden kann. [zurück]

173 Gleave (2020). [zurück]

174 Luetge (2017). [zurück]

175 Awad et al. (2018). [zurück]

176 Fleischhut et al. (2017). [zurück]

177 Steven E. Shladover. Persönliches Gespräch, Dezember 2020. [zurück]

178 https://www.sparkassen-direkt.de/auto-mobilitaet/telematik/. Das Beispiel stammt von Sparkassen.direkt, der ersten deutschen Telematik-Versicherungsgesellschaft. Starkes Beschleunigen ist nach der Definition des Versicherers mehr als 0,235 g = 2,3 m/sec^2 und starkes Bremsen mehr als 0,286 g = 2,8 m/sec^2. Das Unternehmen bot am Ende keine Telematik-Versicherungen mehr an, weil die Kosten der Blackbox zu hoch waren. Trotzdem wurden sie zu einem finanziellen Erfolg, aber aus anderen Gründen: Da sie viel Aufsehen erregten, lockten sie neue Kunden an. Infolge neuer Bestimmungen der Europäischen Union müssen jetzt alle Neuwagen mit dem Notrufsystem eCall ausgerüstet werden, das heißt, einer Blackbox, die die Polizei bei einem schweren Autounfall informiert. Durch diese Bestimmung wird eine Telematik-Versicherung profitabler. [zurück]

179 ERGO (2019). Die Studie wurde an einer repräsentativen Stichprobe von 3200 in Deutschland lebenden Menschen durchgeführt. [zurück]

180 Medvin (2019). [zurück]

181 Doll (2016). [zurück]

182 Fowler (27. Dezember 2019). [zurück]

183 Maack (2020). [zurück]

184 Bliss (2019). [zurück]

185 National Geographic (2014). [zurück]

186 Branwen (2011). [zurück]

187 Siehe Geirhos et al. (2020). [zurück]

188 Szabo (2019). [zurück]

189 Zech et al. (2018). [zurück]

190 Siehe z. B. Youyou et al. (2015). [zurück]

191 Koh et al. (2021); Geirhos et al. (2020). [zurück]

192 Calaprice (2011). Das Zitat wird Einstein zugeschrieben. [zurück]

193 Coleridge (1838). [zurück]

194 Church (2019). Die 85 Milliarden Nervenzellen im Gehirn verbrauchen ungefähr 20 Prozent der Körperenergie; daher beläuft sich der durchschnittliche Energieverbrauch eines Erwachsenen auf 100 Watt. [zurück]

195 Gigerenzer (2007). [zurück]

196 Kruglanski und Gigerenzer (2011). [zurück]

197 Tomasello (2019). [zurück]

198 Judea Pearl ist vielleicht der prominenteste Forscher, der sich mit dem kausalen Denken in der künstlichen Intelligenz beschäftigt, doch wir sind noch himmelweit davon entfernt, unsere Algorithmen mit dieser Fähigkeit zu versehen. [zurück]

199 Poibeau (2017). [zurück]

200 Zu Beispielen von Übersetzungen aus dem Chinesischen, Französischen und Deutschen ins Englische siehe Hofstadter (2018). [zurück]

201 https://www.deepl.com/en/translator#de/en/Papstschuss. Bei DeepL ist die Information fließend, das heißt, diese Übersetzungen können sich mit der Zeit verändern. [zurück]

202 Poibeau (2017). [zurück]

203 Poibeau (2017), S. 71. [zurück]

204 Kayser-Bril (2020). [zurück]

205 Niven und Kao (2019). Gururangan et al. (2018) weisen ebenfalls darauf hin, dass der Erfolg computerlinguistischer Modelle gegenwärtig überschätzt wird, da dieser oft auf der Fähigkeit beruht, irrelevante Merkmale in den Daten zu finden – also wiederum das Problem des russischen Panzers (Kapitel 4). [zurück]

206 Kurzweil (2012), S. 7. [zurück]

207 Quinn et al. (2001). [zurück]

208 Sinha et al. (im Druck). [zurück]

209 Brunswik (1956). [zurück]

210 Sinha und Poggio (1996). [zurück]

211 Asch (1951). [zurück]

212 Szegedy (2014). [zurück]

213 Burell (2016). [zurück]

214 Lake et al. (2017). [zurück]

215 Nguyen et al. (2015). [zurück]

216 Lake et al. (2017). [zurück]

217 Hsu (2015). [zurück]

218 Luria (1968). [zurück]

219 Anderson (2008). [zurück]

220 Harford (2014). [zurück]

221 Daston (2017). [zurück]

222 Daston (2017), S. 161 f. [zurück]

223 Die Google-Ingenieure trainierten die Algorithmen an Daten aus den Jahren 2003–2007 und überprüften sie an den Daten von 2007 und 2008. Ginsberg et al. (2009). [zurück]

224 Olson et al. (2013). [zurück]

225 Lazer et al. (2014). [zurück]

226 Copeland et al. (ohne Datum). [zurück]

227 Trotzdem verbreiten Bestsellerautoren in der Öffentlichkeit nach wie vor die Mär, Google Flu Trends sei, wie IBMs Watson for Oncology, eine gigantische Erfolgsgeschichte für Big Data. Ich erinnere mich noch an einen Vortrag, der im Mai 2014 in München von Victor Mayer-Schönberger gehalten wurde, einem der Autoren des Bestsellers Big Data von 2013, in dem er Google Flu Trends immer noch als das Vorzeigeprojekt von Big Data präsentierte, obwohl es zu dieser Zeit längst sein Gespür für die Entwicklung der Grippe verloren hatte. Die etlichen Hundert Topmanager im Publikum waren dennoch sichtlich beeindruckt. Zwei Jahre später spricht Harari (2015, S. 241; 2016) noch immer von Googles »Zauberwerk« und stellt die Geschichte ganz ähnlich dar, um ahnungslose Leser zu beeindrucken. [zurück]

228 Anderson (2008). [zurück]

229 Brown (1838). [zurück]

230 Katsikopoulos et al. (2020, 2021). [zurück]

231 Katsikopoulos et al. (2020, 2021). Unsere Analyse ist angelehnt an den Anhang in: Lazer et al. (2014). Dort sind verschiedene mehr oder weniger komplexe Regeln beschrieben, die bessere Vorhersagen liefern als Google Flu Trends. Für Leser, die an statistischen Einzelheiten interessiert sind, sei angemerkt, dass diese Regeln eine einfache Regression mit einem einzigen Prädiktor enthielten, der den gleichen Fehler hatte wie die Vorwoche-Heuristik. Das Regressionsmodell unterscheidet sich von der Heuristik aber dadurch, dass man jedes Mal, wenn man eine Vorhersage macht, die Regressionskoeffizienten berechnen und aktualisieren muss. Das ist keine Verbesserung gegenüber der einfachen Heuristik. Lazer berichtete, dass ein hybrides Modell, das Google Flu Trends mit Daten über den Anteil der grippebezogenen Arztbesuche der letzten Wochen verbindet, die besten Erfolge erzielt. Doch dieses hybride Modell braucht all die komplizierten Berechnungen, die vorher von Google Flu Trends angestellt wurden. [zurück]

232 Katsikopoulos et al. (2021). [zurück]

233 Siehe Artinger et al. (2018), Green und Armstrong (2015) und Katsikopoulos et al. (2020). [zurück]

234 Dosi et al. (2020). [zurück]

235 Messerli (2012). Abdruck mit Genehmigung der Massachusetts Medical Society. [zurück]

236 Porter (2004). [zurück]

237 Anderson (2008). [zurück]

238 Ginsberg et al. (2009). [zurück]

239 Vigen (2015). [zurück]

240 https://tylervigen.com/old-version.html. [zurück]

241 Aschwanden (2016). [zurück]

242 SVRV (2018), S. 62. In der Finanzwelt lassen sich die Akteure häufig vom Zufall hinters Licht führen; siehe Taleb (2001). [zurück]

243 Mullard (2011) und Begley (28. März 2012). [zurück]

244 Chalmers und Glasziou (2009). [zurück]

245 Leetaru (2018). [zurück]

246 Bergin (2018). [zurück]

247 Anderson (2013). [zurück]

248 Neumann et al. (2019). [zurück]

249 Salganik et al. (2020). [zurück]

250 Clayton et al. (2020). [zurück]

251 Chiusi (2020). Beispielsweise experimentierten dänische Stadtverwaltungen mit einem Algorithmus, um Kinder in gefährdeten Familien zu ermitteln, bis die Datenschutzbehörde eingriff. [zurück]

252 Istituto Superiore di Sanità (2020). Der Bericht stützt sich auf die verfügbaren Daten vom 18. November 2020. [zurück]

253 Gigerenzer (2014). [zurück]

254 Feynman et al. (1987), S. 454. [zurück]

255 Europäische Union (2016), Artikel 5 (1a). https://dsgvo-gesetz.de/. [zurück]

256 Calaprice (2011). Das Zitat wird Albert Einstein zugeschrieben. [zurück]

257 Loomis v. Wisconsin, 881 N. W.2d 749 (Wis. 2016), cert. denied, 137 S.Ct. 2290 (2017) [zurück]

258 Liptak (2017). [zurück]

259 Siehe Gigerenzer (2003), S. 186. [zurück]

260 Grisso und Tomkins (1996), S. 928. [zurück]

261 Die Studie analysierte mehr als 1000 Urteile von acht israelischen Richtern (Danziger et al., 2011). Für eine Kritik ihrer Schlussfolgerungen siehe Weinshall-Margel und Shapard (2011) und Glöckner (2016). [zurück]

262 DeMichele et al. (2020). [zurück]

263 Epstein (1995). [zurück]

264 Dressel und Farid (2018). [zurück]

265 Dressel und Farid (2018). [zurück]

266 Matacic (2018). [zurück]

267 Der Durchschnitt der einzelnen Teilnehmer war 63 % und der Wert des Mehrheitsentscheids in Zwanzigergruppen 67 %. [zurück]

268 Geraghty und Woodhams (2015). Die Dressel-und-Farid-Studie wurde von Lin et al. (2020) mit ähnlichen Ergebnissen bestätigt, außer wenn die Rückfallquote niedrig (nur 11%) war und die Teilnehmer keine Rückmeldung bekamen, sodass sie nichts von den niedrigen Ausgangsraten erfuhren. Wenn die Rückfallquoten von Anfang an niedrig waren, schnitt COMPAS nicht besser ab als der einfachste Algorithmus, der durchgehend keinen Rückfall vorhersagt. [zurück]

269 Siehe DeMichele et al. (2020) und Rudin et al. (2020). [zurück]

270 Angelino et al. (2018). [zurück]

271 Rudin und Radin (2019). Siehe Katsikopoulos et al. (2020), falls Sie genauer erfahren möchten, wie Maschinenlerntools die wichtigsten Merkmale herausfiltern. Auch die Definition für Transparenz im vorliegenden Abschnitt ist aus diesem Buch übernommen. [zurück]

272 https://advancingpretrial.org/psa/factors/#fta. [zurück]

273 Meine Kollegen und ich haben transparentere Entscheidungslisten erarbeitet, indem wir ihre Größe beschnitten, die beim Maschinenlernen in der Regel unbegrenzt ist (Katsikopoulos et al., 2020). [zurück]

274 https://advancingpretrial.org/psa/research/. [zurück]

275 Siehe Stevenson (2018) zu den Problemen und Fallen der Leistungsmessung von Algorithmen zur Risikobewertung. [zurück]

276 Grossman et al. (2011). [zurück]

277 Peteranderl (2020). [zurück]

278 Gorner und Sweeney (2020). [zurück]

279 Peteranderl (2020). [zurück]

280 Knobloch (2018) und Rolfes (2020). [zurück]

281 Hauber et al. (2019). [zurück]

282 Snook et al. (2005). [zurück]

283 Siehe Bennell et al. (2007) und Paulsen (2006). [zurück]

284 Gigerenzer et al. (2011). [zurück]

285 Sergeant und Himonides (2019). [zurück]

286 Dastin (2018). Siehe O’Neill (2016) zu der Frage, wie sehr Big Data Ungleichheit verstärken kann. [zurück]

287 Buolamwini und Gebru (2018). [zurück]

288 Raji und Buolamwini (2019). [zurück]

289 Zhao et al. (2017). Dieser Artikel entwickelt auch Maßnahmen, welche die Zunahme des Gender-Bias um fast die Hälfte verringerten, sie aber nicht gänzlich beseitigen konnten. [zurück]

290 Von den zwei Dritteln als »Frauen« klassifizierten Bildern war bei zwei Dritteln zu erwarten, dass sie richtig waren (weil zwei Drittel aller Bilder Frauen zeigten). Entsprechend war von dem einen Drittel der als »Männer« klassifizierten Bilder zu einem Drittel zu erwarten, dass sie richtig waren (weil nur ein Drittel aller Bilder Männer zeigten). Das ergibt 2/3 x 2/3 + 1/3 x 1/3 = 5/9 richtige Antworten, also rund 56 Prozent. [zurück]

291 Chin (2018). Google erklärt, über 20 Prozent der IT-Stellen seien von Frauen besetzt, aber diese Zahl gilt nicht für den Bereich des Maschinenlernens. [zurück]

292 Hao (2020). [zurück]

293 https://googlewalkout.medium.com/standing-with-dr-timnit-gebru-isupporttimnit-believeblackwomen-6dadc300d382. [zurück]

294 Gigerenzer et al. (2007). [zurück]

295 https://www.hardingcenter.de/de. [zurück]

296 Benoliel und Becher (2019). [zurück]

297 McDonald und Cranor (2008). [zurück]

298 Zuboff (2019b), S. 196–198. [zurück]

299 SVRV (2017). [zurück]

300 Rudin und Radin (2019). [zurück]

301 https://www.fico.com/en/newsroom/fico-announces-winners-inaugural-xml-challenge. [zurück]

302 Rudin (2019). Für den medizinischen Bereich siehe Holzinger et al. (2017). [zurück]

303 Katsikopoulos et al. (2020). [zurück]

304 Turek (undatiert), S. 7–10. Siehe auch Gunning und Aha (2019). [zurück]

305 Siehe etwa Gigerenzer et al. (2011); Green und Armstrong (2015); Jung et al. (2017); und Katsikopoulos et al. (2020, 2021). [zurück]

306 Artinger et al. (2018). [zurück]

307 Im Maschinenlernen bezeichnet man diese einfachen Heuristiken als 1-Regeln, erlernt durch das 1R-Programm; siehe Holte (1993). [zurück]

308 Rivest (1987). [zurück]

309 Der Umstand, dass einfache Strichlisten (Tallying) bei Ungewissheit ebenso genau oder genauer als komplexe Algorithmen sein können, ist in der Psychologie seit Dawes und Corrigan (1974), Einhorn und Hogarth (1975), Czerlinski et al. (1999) bekannt. Katsikopoulos et al. (2020) vergleichen Strichlisten mit Maschinenlernalgorithmen. [zurück]

310 Markman (2016). [zurück]

311 Silver (2016). [zurück]

312 Lichtman (2016). Die folgende Darstellung stützt sich auf Katsikopoulos et al. (2020). [zurück]

313 Stevenson (2016). [zurück]

314 Bei der US-amerikanischen Präsidentschaftswahl 2020 sagten die Schlüssel richtig vorher, Biden werde gewinnen. Die Umfragen jedoch unterschätzten Trump abermals, wenn auch die meisten beim Endergebnis richtiglagen. [zurück]

315 Spinelli und Crovella (2020). [zurück]

316 Pasquale (2015). [zurück]

317 Siehe Gigerenzer (2003), S. 91. [zurück]

318 Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz (2018). Die Mitglieder des Rates waren geteilter Meinung in der Frage, ob Wirtschaftsauskunfteien alle Merkmale offenlegen sollten oder nur die für die Öffentlichkeit relevantesten Informationen. [zurück]

319 Siehe die Artikel 13 und 22 der DSGVO (Europäische Union, 2016). [zurück]

320 https://docs.google.com/forms/d/e/1FAIpQLSfdmQGrgdCBCexTrpne7KXUzpbiI9LeEtd0Am-qRFimpwuv1A/viewform. [zurück]

321 Zuckerman (2014). [zurück]

322 Snowden (2019). [zurück]

323 Nasiopoulos et al. (2015) berichten, das Tragen einer Smartbrille steigere sozialverträgliches Verhalten, aber nur so lange, bis die Träger die Augen-Tracker vergessen. Zum positiven Effekt von Sicherheitskameras auf prosoziales Verhalten siehe Rompay et al. (2009). [zurück]

324 Cho (2020). Zu Venezuela siehe Berwick (2018). [zurück]

325 Kostka und Antione (2019). [zurück]

326 Kostka (2019). [zurück]

327 SVRV (2018). [zurück]

328 ERGO (2019). [zurück]

329 Rötzer (2019). [zurück]

330 Christl (2017). [zurück]

331 Leetaru (2018). [zurück]

332 Barnes (2006). [zurück]

333 Vodafone Institut für Gesellschaft und Kommunikation (2016). [zurück]

334 Norton LifeLock (2019). [zurück]

335 ERGO (2019). [zurück]

336 Freed et al. (2018). [zurück]

337 In Dave Eggers’ Silicon-Valley-Satire Der Circle beherrscht ein kultartiges Internetunternehmen – eine Mischung aus Google und Facebook – die ganze Welt. Auf einer Unternehmensversammlung singen die Mitarbeiter »Teilen ist Heilen« und »Alles Private ist Diebstahl«. (Der Circle, Köln 2014, S. 344 f.) [zurück]

338 Farnham (2014). [zurück]

339 Johnson (2010). [zurück]

340 What to make of Mark Zuckerberg’s testimony (2018). [zurück]

341 Zuboff (2020). [zurück]

342 Brin und Page (2012/1998), S. 3832. [zurück]

343 Zuboff (2019b), S. 71–75. [zurück]

344 Zuckerman (2014). [zurück]

345 Zuboff (2019b). [zurück]

346 Zuboff (2019b), S. 87. [zurück]

347 https://www.techtransparencyproject.org/articles/googles-revolving-door-us. [zurück]

348 Baltrusaitis (2019). [zurück]

349 Elliott und Meyer (2013). [zurück]

350 Cahall et al. (2014). [zurück]

351 Zu weiteren Einzelheiten siehe Zuboff (2019b). [zurück]

352 Watson (2015). [zurück]

353 Smith et al. (2011). [zurück]

354 Twenge (2017). Die Frage, ob diese Assoziationen kausal sind und wie groß der Effekt ist, wird in der Psychologie lebhaft diskutiert. Siehe auch Turkle (2016). [zurück]

355 Lanier und Weyl (2018). [zurück]

356 Hier habe ich eine Berechnung aktualisiert, die ursprünglich von Felix Stalder (2014) angestellt wurde. [zurück]

357 Noyes (2020). [zurück]

358 Facebook (2020). [zurück]

359 Zu anderen Schätzungen siehe Munro (2019). Einige höhere Schätzungen kommen dadurch zustande, dass Facebooks Umsatz durch die Zahl der Nutzer geteilt wird, eine Methode, die erstens übersieht, dass Umsatz nicht gleich Einnahmen ist, und zweitens außer Acht lässt, dass Facebook einen Teil seiner Einnahmen als Gewinn zurückbehalten muss. [zurück]

360 Melendez (2019); Pogue (2016). [zurück]

361 Eames (1990). Mattel hat mehr als eine Milliarde Barbies verkauft. [zurück]

362 K. Bondy, zitiert in: Gigerenzer (2003), S. 23, 260. [zurück]

363 Praschl (2015). [zurück]

364 Digital Courage (2016). Andere Unternehmen folgten dem Beispiel und produzierten ihre eigenen intelligenten Puppen, wie Meine Freundin Cayla, ein Spielzeug, das in Deutschland als »illegale Sendeanlage« klassifiziert und verboten wurde. Illegale Sendeanlagen kennt man von Filmen aus dem Kalten Krieg, in denen Spione Privatgespräche aufnehmen, indem sie Kugelschreiber oder Feuerzeuge mit eingebauten Mikrofonen verwenden. [zurück]

365 Hu (2018). [zurück]

366 Tzezana (2016). [zurück]

367 University of Michigan (2016). Siehe auch Davis et al. (2020). [zurück]

368 Elsberg (2013). Siehe auch Kurz und Rieger (2018). [zurück]

369 https://www.samsung.com/hk_en/info/privacy/smarttv/. 2015 fand man heraus, dass Samsung-Fernseher alles aufzeichneten, was sie hören konnten. Nun behauptet das Unternehmen, es habe das System so verändert, dass es nur noch aufzeichne, was man ihm direkt sage. Das Muster ist vertraut: Die Unternehmen testen ständig aus, wie weit sie gehen können, das heißt, wie weit das Publikum seine Ansprüche auf Privatsphäre heruntergeschraubt hat, um dann erst auf Proteste zu reagieren. 2017 rügte die US-Handelsbehörde Federal Trade Commission die TV-Hersteller und bezeichnete ihr Verhalten als irreführend und unfair. Sie sollten, so forderte die Behörde, mit offenen Karten spielen und die Kunden selbst entscheiden lassen, ob sie mit diesen Praktiken einverstanden seien. Die Industrie reagierte mit noch mehr Kleingedrucktem, das wohl nur wenige Kunden lesen dürften; die Mehrheit wird einfach auf »Zustimmen« klicken, Fowler (18. September 2019); Nguyen (2017). Die erwähnte Umfrage wurde zusammen mit der deutschen Versicherungsgesellschaft ERGO durchgeführt, 2019. [zurück]

370 https://www.washingtonpost.com/news/the-switch/wp/2017/03/08/ex-cia-chief-to-stephen-colbert-no-the-government-is-not-spying-on-you-through-your-microwave/. [zurück]

371 Weiser (1991). [zurück]

372 Die beste Darstellung von Nudging und der Philosophie dahinter findet sich bei Rebonato (2012). [zurück]

373 Epstein und Robertson (2015). [zurück]

374 Epstein und Robertson (2015) sowie Zweig (2017). [zurück]

375 Prozent unentschlossene Wähler sind der Durchschnitt bei den US-Präsidentschaftswahlen von 2012 und 2016. Silver (2018). [zurück]

376 Bond et al. (2012). [zurück]

377 Siehe etwa Zuboff (2019a,b). [zurück]

378 Coppock et al. (2020). Siehe auch Howard (2020). [zurück]

379 Kramer et al. (2014). Eine Nebenbemerkung: Der Herausgeber der wissenschaftlichen Zeitschrift, in welcher der Facebook-Artikel erschien, äußerte ausdrücklich ethische Bedenken. [zurück]

380 Booth (2014) und McNeal (2014). [zurück]

381 Snowden (2019). [zurück]

382 Zuckerberg (2018). Siehe auch Morozov (2013). [zurück]

383 Shahin und Zheng (2020). [zurück]

384 Kostka (2019). [zurück]

385 Zuckerman (2014). [zurück]

386 Greenwald (2014). [zurück]

387 Snowden (2019). [zurück]

388 Snowden (2019). [zurück]

389 Lotan (2014). [zurück]

390 https://www.youtube.com/watch?v=A6e7wfDHzew. [zurück]

391 Kostka & Zhang (2018). Shenzhen, eine Stadt in der Nähe von Hongkong mit mehr als 12 Millionen Einwohnern, war die erste Großstadt der Welt, in der Taxis und Busse ausschließlich mit Elektrizität angetrieben wurden. [zurück]

392 Beispielsweise hängen quer durch ganz Ecuador, vom Amazonasdschungel bis zu den Galapagos-Inseln, Überwachungskameras von Dächern und Masten. Ecuador hat sich für ein chinesisches System namens ECU-911 entschieden. Andere Länder in Asien, Europa und Afrika scheinen seinem Beispiel zu folgen. [zurück]

393 Der Begriff »Great Firewall« – deutsch: »Große Firewall« (wobei der englische Wortwitz leider verloren geht) – wurde 1997 vom Wire Magazine geprägt. Siehe Griffiths (2019). [zurück]

394 Griffiths (2019), S. 64. [zurück]

395 Griffiths (2019), S. 118. Die zensierte Suchmaschine Google.cn ging im Januar 2006 online. [zurück]

396 Isaac (2016). [zurück]

397 Skinner (1972). [zurück]

398 Eyal (2014), S. 123. In einem jüngeren Buch, Die Kunst, sich nicht ablenken zu lassen: Indistractable – Werden Sie unablenkbar (2019), vollzieht Eyal eine Kehrtwendung und wird zu einem Verfechter der Befreiung von der digitalen Sucht. [zurück]

399 Skinner unterscheidet zwei Arten der intermittierenden (variablen) Verstärkung und zwei der regelmäßigen (festen) Verstärkung, die zu vier Verstärkungsplänen führen: (1) Bei einem regelmäßigen Verhältnisplan wird ein Verhalten verstärkt, nachdem es genau x-mal aufgetreten ist. (2) Bei einem variablen Verhältnisplan wird ein Verhalten verstärkt, nachdem es sich in einer nicht genau vorhersagbaren, variablen Anzahl gezeigt hat. (3) Bei einem regelmäßigen Intervallplan wird ein Verhalten verstärkt, wenn es nach einer festgelegten Zeit aufgetreten ist. (4) Bei einem variablen Intervallplan wird ein Verhalten verstärkt, wenn es nach einem nicht genau vorhersagbaren, variablen Zeitintervall auftritt. Die beiden variablen Verstärkungspläne erzeugen eine stetige Verhaltensrate, und der variable Verhältnisplan weist die höchste Reaktionsrate auf. Der feste Intervallplan führt zu der geringsten Reaktionsrate – nach einer Verstärkung setzt das Verhalten ganz aus und wird nur allmählich wiederaufgenommen. [zurück]

400 Halpern (2014). [zurück]

401 Lindström et al. (2021). [zurück]

402 Siehe Lindström et al. (2021). [zurück]

403 Solon (2017). [zurück]

404 https://www.facebook.com/notes/facebook/facebook-gets-a-facelift/2207967130. [zurück]

405 Zuboff (2019b), S. 458. [zurück]

406 Luckerson (2015). [zurück]

407 Haynes (2018). [zurück]

408 Solsman (2018). [zurück]

409 Spinelli und Crovella (2020). Diese Autoren zeigen auch, dass auf Privatsphäre bedachte Nutzer (die Cookies deaktivieren oder Tor verwenden) durch YouTubes Empfehlungssystem eher zu unzuverlässigen Videos hingelenkt werden als Nutzer, die sich bei einem Google-Konto eingeloggt haben. Zwar hat YouTube seine Richtlinien 2019 verändert und diesen Effekt etwas abgeschwächt, aber er ist immer noch in Kraft. [zurück]

410 https://suntrics.com/tech-blogs/longest-snapchat-streak-a-brief-guide/. [zurück]

411 https://99firms.com/blog/snapchat-statistics/. [zurück]

412 Tanz (2011). [zurück]

413 Fletcher (2010). [zurück]

414 Eyal (2014), S. 175. [zurück]

415 Zendle und Cairns (2018). [zurück]

416 https://www.england.nhs.uk/2020/01/countrys-top-mental-health-nurse-warns-video-games-pushing-young-people-into-under-the-radar-gambling/. [zurück]

417 Gibbs (2018). [zurück]

418 Ward et al. (2017). [zurück]

419 Newport (2015). [zurück]

420 Schüll (2012), S. 215. [zurück]

421 Schüll (2012), S. 109. [zurück]

422 Addiction Resource.net (2020). [zurück]

423 Schüll (2012), S. 58. Neben Videopoker sind auch Mehrzeilen-Automaten Beispiele für das eskapistische Glücksspiel, das dazu dient, so viel Zeit wie möglich an der Maschine zu verbringen. [zurück]

424 Schüll (2012), S. 33. [zurück]

425 Schüll (2012), S. 2. [zurück]

426 Montaigne (1580), 2. Buch, 17. Kapitel. [zurück]

427 Smith (2020). [zurück]

428 Centers for Disease Control and Prevention (2020). [zurück]

429 Kleinhubbert (2013). [zurück]

430 Gendron (2016). [zurück]

431 http://www.txtresponsibly.org/share-your-stories/. [zurück]

432 Kleinhubbert (2013). [zurück]

433 Tombu und Jolicoeur (2004). [zurück]

434 Ophir et al. (2009). [zurück]

435 Watson und Strayer (2010). Das Zitat stammt aus dem Abstract. [zurück]

436 Gliklich et al. (2019). [zurück]

437 https://www.flightsafetyaustralia.com/2018/07/flying-to-distraction/. [zurück]

438 Kim (2015). [zurück]

439 Connolly (2018). [zurück]

440 Allen (2017). [zurück]

441 Für einen Überblick zu den hier erwähnten Studien siehe McDaniel (2019). [zurück]

442 Reed et al. (2017). [zurück]

443 Zimmerman et al. (2007). [zurück]

444 Clifford et al. (2020). Kozyreva et al. (2020) liefern einen Überblick zur digitalen Selbstbeherrschung. [zurück]

445 Hartmann (2017). [zurück]

446 BEA, Final Report AF 447, S. 185, zitiert in Hartmann (2017). [zurück]

447 Federal Aviation Administration (2013). Siehe auch Carr (2014), S. 1 f. [zurück]

448 Brumfiel (2016). [zurück]

449 Brainbridge (1983). [zurück]

450 Ruginski et al. (2019). [zurück]

451 Baraniuk (2016). [zurück]

452 Milner (2016) und CNS/ATM (2017). [zurück]

453 Mead (1965). [zurück]

454 Lee (2018). [zurück]

455 Locke (1986/1690), S. 346. [zurück]

456 Topsell (1967). [zurück]

457 Einhorn: https://commons.wikimedia.org/wiki/File:Oftheunicorn.jpg. Rhinozeros: https://commons.wikimedia.org/wiki/File:D%C3%BCrer_rhino_full.png. [zurück]

458 Simanek (2009). [zurück]

459 Newton (2018). [zurück]

460 Götz (2019). [zurück]

461 Lavin (2020). [zurück]

462 Islam et al. (2020). [zurück]

463 O’Toole (2018). [zurück]

464 O’Toole (2018). [zurück]

465 Carroll (1876/2020). Zu Wiederholung und Überzeugung im Allgemeinen siehe Armstrong (2010). [zurück]

466 Gigerenzer (1984). [zurück]

467 Mønsted et al. (2017). [zurück]

468 Siehe https://www.unstatistik.de (April 2017); die Schlagzeile steht auf https://www.ispo.com, https://www.woman.at. Die ursprüngliche Studie ist: Lee et al. (2017). [zurück]

469 Reynolds (2017). [zurück]

470 Tesla (2016). [zurück]

471 Hawkins (2019). [zurück]

472 Ewing (2020). [zurück]

473 Topol (2019). [zurück]

474 Ein solches Argument, das nahelegt, man solle sich der KI-Autorität unterwerfen, findet man beispielsweise in Harari (2016). [zurück]

475 Siehe Gigerenzer (2014), Kapitel 5. [zurück]

476 Lewis (2003). [zurück]

477 Lewis (2003), S. 247. [zurück]

478 Siehe Hirsch und Hirsch (2011). [zurück]

479 Gigerenzer et al. (1989). [zurück]

480 Hirsch und Hirsch (2011), S. 32. [zurück]

481 Barra (2011). [zurück]

482 Siehe z. B. Harari (2015), S. 374. [zurück]

483 Frederik und Martijn (2019). [zurück]

484 Frederik und Martijn (2019). [zurück]

485 Blake et al. (2015). [zurück]

486 Coviello et al. (2017). [zurück]

487 Eine Analyse von 15 Experimenten auf Facebook, mit je zwei Millionen bis 140 Millionen Nutzern, zeigt ebenfalls, dass Korrelationsmethoden den Nutzen der Werbung überschätzen. Siehe Gordon et al. (2019). [zurück]

488 Blake et al. (2015). Einige kontern, dass selbst wenn Anzeigen keinen messbaren direkten Effekt haben, sie einen langfristigen Effekt auf die Markenerkennung ausüben könnten. Doch Unternehmen wie eBay mit bestens bekannten Namen gaben den größten Teil ihres Werbebudgets für Kunden aus, die die Marke bereits kannten und explizit danach gesucht hatten. Das macht gesponserte Anzeigen (Brand Keyword Advertising) überflüssig. [zurück]

489 Lewis und Rao (2013). [zurück]

490 Lewis und Reiley (2014). [zurück]

491 Siehe Huang et al. (2020). [zurück]

492 Siehe Huang et al. (2020). [zurück]

493 Frederik und Martijn (2019). [zurück]

494 McGrew et al. (2018). [zurück]

495 McGrew et al. (2018), S. 178. [zurück]

496 https://www.minimumwage.com/2014/10/denmarks-dollar-forty-one-menu/. [zurück]

497 Wineburg und McGrew (2019). [zurück]

498 Wineburg und McGrew (2019). [zurück]

499 McGrew et al. (2019); Breakstone et al. (2021). [zurück]

500 https://ccconline.libguides.com/c.php?g=242130&p=1609638. Siehe Kapoun (1998). [zurück]

501 https://www.faktabaari.fi/assets/FactBar_EDU_Fact-checking_for_educators_and_future_voters_13112018.pdf. Zur Rolle der Verhaltenswissenschaften in der Förderung der digitalen Kompetenz siehe Lorenz-Spreen et al. (2020) und Kozyreva et al. (2020). [zurück]

502 Weltecke (2003). [zurück]

503 Mercier und Sperber (2011). [zurück]

504 Howard (2020). [zurück]

505 Rid (2020). [zurück]

506 SVRV (Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz) (2017). [zurück]

507 Helbing et al. (2017). [zurück]

LITERATUR

AddictionResource.net (5. März 2020). The average cost of illegal street drugs. https://www.addictionresource.net/blog/cost-of-illegal-drugs/

AFP (26. Oktober 2020). ›Shocking‹ hack of psychotherapy records in Finland affects thousands. The Guardian. https://www.theguardian.com/world/2020/oct/26/tens-of-thousands-psychotherapy-records-hacked-in-finland.

Aikman, D., Galesic, M., Gigerenzer, G., Kapadia, S., Katsikopoulos, K. V., Kothiyal, A., Murphy, E. und Neumann, T. (2021). Taking uncertainty seriously: Simplicity versus complexity in financial regulation. Industrial and Corporate Change.

Allen, M. (9. November 2017). Sean Parker unloads on Facebook: »God only knows what it’s doing to our children’s brains.« Axios. https://www.axios.com/sean-parker-unloads-on-facebook-god-only-knows-what-its-doing-to-our-childrens-brains-1513306792-f855e7b4-4e99-4d60-8d51-2775559c2671.html.

Anderson, C. (23. Juni 2008). The end of theory: The data deluge makes the scientific method obsolete. Wired. https://www.wired.com/2008/06/pb-theory/.

Anderson, G. (10. September 2013). What happens to big data if the small data is wrong? RetailWire. https://retailwire.com/discussion/what-happens-to-big-data-if-the-small-data-is-wrong/.

Anderson, M., Vogels, E. A. und Turner, E. (6. Februar 2020). The upsides and downsides of online of online dating. Pew Research Center. https://www.pewresearch.org/internet/2020/02/06/the-virtues-and-downsides-of-online-dating/.

Anderson, R. (6. September 2016). The ugly truth about dating: Are we sacrificing love for convenience? Psychology Today. https://www.psychologytoday.com/us/blog/the-mating-game/201609/the-ugly-truth-about-online-dating.

Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M. und Rudin, C. (2018). Learning certifiably optimal rule lists for categorial data. Journal of Machine Learning Research, 18, 1–78.

Armstrong, J. S. (2010). Persuasive advertising: Evidence-based principles. London: Palgrave Macmillan.

Artinger, F. M., Kozodi, N., Wangenheim, F. und Gigerenzer, G. (2018). Recency: Prediction with smart data. In J. Goldenberg, J. Laran und A. Stephen (Hg.), 2018 AMA Winter Academic Conference: Integrating paradigms in a world where marketing is everywhere, February 23–25, 2018, New Orleans, LA. Proceedings (Bd. 29, S. L-2–L-6). Chicago, IL: American Marketing Association.

Asch, S. E. (1951). Effects of group pressure on the modification and distortion of judgments. In H. Guetzkow (Hg.), Groups, leadership, and men (S. 177–190). Pittsburgh, PA: Carnegie Press.

Aschwanden, C. (6. Januar 2016). You can’t trust what you read about nutrition. FiveThirtyEight. https://fivethirtyeight.com/features/you-cant-trust-what-you-read-about-nutrition/.

Awad, E. et al. (2018). The moral machine experiment. Nature, 563, 59–64.

Bailey, D. H., Borwein, J. M., Lopez de Prado, M. und Zhu, Q. (2014). Pseudo-mathematics and financial charlatanism: the effect of backtest overfitting on out-of-sample prediction. Notices of the American Mathematical Society, 61, 458–471.

Baltrusaitis, J. (4. Dezember 2019 [Update 20. Juni 2020]). Top 10 countries and cities by number of CCTV cameras. Precise Security. https://www.precisesecurity.com/articles/Top-10-Countries-by-Number-of-CCTV-Cameras.

Baraniuk, C. (4. Februar 2016). GPS error caused ›12 hours of problems‹ for companies. BBC News. https://www.bbc.com/news/technology-35491962.

Barnes, S. B. (2006). A privacy paradox: social networking in the United States. First Monday, 11(9). https://firstmonday.org/article/view/1394/.

Barra, A. (27. September 2011). The many problems with ›Moneyball.‹ The Atlantic. https://www.theatlantic.com/entertainment/archive/2011/09/the-many-problems-with-moneyball/245769/.

Barrowman, N. (2014). Correlation, causation, and confusion. The New Atlantis. https://www.thenewatlantis.com/publications/correlation-causation-and-confusion.

Begley, S. (28. März 2012). In cancer science, many »discoveries« don’t hold up. Science News. http://www.reuters.com/article/us-science-cancer-idUSBRE82R12P20120328.

Belluck, P. (20. September 2019). America’s abortion rate has dropped to its lowest ever. New York Times. https://www.nytimes.com/2019/09/18/health/abortion-rate-dropped.html.

Bennell, C., Taylor, P. J. und Snook, B. (2007). Clinical versus actuarial geographic profiling strategies: a review of the research. Police Practice & Research, 8, 335–345.

Benoliel, U. und Becher, S. I. (2019). The duty to read the unreadable. Boston College Law Review, 60, 2255–2296.

Berg, N. und Gigerenzer, G. (2010), As-if behavioral economics: Neoclassical economics in disguise? History of Economic Ideas, 18, 133–165.

Bergin, T. (29. März 2018). How a data mining giant got me wrong. Reuters. https://www.reuters.com/article/us-data-privacy-acxiom-insight/how-a-data-mining-giant-got-me-wrong-idUSKBN1H513K.

Berwick, A. (14. November 2018). How ZTE helps Venezuela create China-style social control. Reuters. https://www.reuters.com/investigates/special-report/venezuela-zte/.

Best, J. (9. September 2013). IBM Watson: The inside story of how the Jeopardy-winning supercomputer was born, and what it wants to do next. TechRepublic. https://www.techrepublic.com/article/ibm-watson-the-inside-story-of-how-the-jeopardy-winning-supercomputer-was-born-and-what-it-wants-to-do-next/.

Blake, T., Nosko, C. und Tadelis, S. (2015). Consumer heterogeneity and paid search effectiveness: a large scale field experiment. Econometrica, 83, 155–174.

Bliss, L. (5. Juli 2019). How Utrecht became a paradise for cyclists. Bloomberg CityLab. https://www.bloomberg.com/news/articles/2019-07-05/how-the-dutch-made-utrecht-a-bicycle-first-city.

Boden, M. (2008), Mind as machine. A history of cognitive science. Clarendon, UK: Oxford.

Bond, R. M. et al. (2012). A 61-million-person experiment in social influence and political mobilization. Nature, 489, 295–298.

Booth, R. (30. Juni 2014). Facebook reveals news feed experiment to control emotions. The Guardian. https://www.theguardian.com/technology/2014/jun/29/facebook-users-emotions-news-feeds.

Bostrom, N. (2015). Superintelligence. Oxford: Oxford University Press (Deutsch 2016: Superintelligenz: Szenarien einer kommenden Revolution. Berlin: Suhrkamp).

Brainbridge, L. (1983). Ironies of automation. Automatica, 19, 775–779.

Brandstätter, E., Gigerenzer, G. und Hertwig, R. (2008). Risky choice with heuristics: Reply to Birnbaum (2008), Johnson, Schulte-Mecklenbeck, and Willemsen (2008), and Rieger and Wang (2008). Psychological Review, 115(1), 281–289.

Branwen, G. (2011). The neural net tank urban legend. https://www.gwern.net/Tanks.

Breakstone, J., Smith, M., Connors, P. et al. (2021). Lateral reading: college students learn to critically evaluate internet sources in an online course. Harvard Kennedy School Misinformation Review, 2(1).

Breakstone, J., Smith, M., Wineburg, S. et al. (2021). Student’s civic online reasoning: A national portrait. Educational Researcher.

Breiman, L. (2001). Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical Science, 16, 199–231.

Brin, S. und Page, L. (2012). Reprint of: The anatomy of a large-scale hypertextual web search engine. Computer Networks, 56, 3825–3833 (Original 1998).

Britt, R. R. (1. Februar 2015). Drivers on cell phones kill thousands, snarl traffic. Live Science. https://www.livescience.com/121-drivers-cell-phones-kill-thousands-snarl-traffic.html.

Brockman, J. (Hg.). (2019). Possible minds. New York: Penguin.

Brooks, R. (2015). Mistaking performance for competence. In J. Brockman (Hg.), What to think about machines that think (S. 108–111). New York: Harper (Deutsch 2017: Was sollen wir von künstlicher Intelligenz halten? Frankfurt am Main: Fischer Taschenbuch).

Brown, A. (24. Juni 2019). Couples who meet online are more diverse than those who meet in other ways, largely because they’re younger. Pew Research Center. https://www.pewresearch.org/fact-tank/2019/06/24/couples-who-meet-online-are-more-diverse-than-those-who-meet-in-other-ways-largely-because-theyre-younger/.

Brown, J. (10. August 2017). Why everyone is hating on IBM Watson – including the people who helped make it. Gizmodo. https://gizmodo.com/why-everyone-is-hating-on-watson-including-the-people-w-1797510888.

Brown, K. V. (19. August 2015). We talked to 24 victims of the Ashley Madison hack about their exposed secrets. Splinter. https://splinternews.com/we-talked-to-24-victims-of-the-ashley-madison-hack-abou-1793850144.

Brown, T. (1838). Lectures on the philosophy of the human mind. London: William Tait.

Bruch, E. E. und Newman, M. E. J. (2018). Aspirational pursuit of mates in online dating markets. Science Advances, 4(8): eaap9815.

Brumfiel, G. (28. Februar 2016). U. S. Navy brings back navigation by the stars for officers. NPR. https://text.npr.org/467210492.

Brunswik, E. (1956). Perception and the representative design of psychological experiments. Los Angeles: University of California Press.

Buolamwini, J. und Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings in Machine Learning Research, 81, 1–15.

Burell, J. (2016). How the machine ›thinks‹: Understanding opacity in machine learning algorithms. Big Data & Society, Januar–Juni 2016, 1–12.

Buss, D. (2019). Evolutionary psychology: the new science of the mind (6th ed.). New York: Routledge.

Cacioppo, J., Cacioppo, S., Gonzaga, G. C., Ogburn, E. L. und VanderWeele, T. J. (2013). Marital satisfaction and break-ups differ across on-line and off-line meeting venues. PNAS, 110, 10135–10140.

Cahall, B., Bergen, P., Sterman, D. und Schneider, E. (13. Januar 2014). Do NSA’s bulk surveillance programs stop terrorists? New America. https://www.newamerica.org/international-security/policy-papers/do-nsas-bulk-surveillance-programs-stop-terrorists/.

Calaprice, A. (2011). The ultimate quotable Einstein. Princeton, NJ: Princeton University Press.

Carr, N. (2014). The glass cage. New York: Norton.

Carroll, L. (1995). The hunting of the snark/Die Jagd nach dem Schnark. Englisch/Deutsch Frankfurt am Main: Insel (Original 1876).

Centers for Disease Control and Prevention. (6. Oktober 2020). Transportation safety: Distracted driving. https://www.cdc.gov/transportationsafety/distracted_driving/.

Chalmers, I. und Glasziou, P. (2009). Avoidable waste in the production and reporting of research evidence. Lancet, 374(9683), 86–89.

Chawla, D. S. (2018). The need for digital intelligence. Nature, 562, S15 f.

Chin, C. (17. August 2018). AI is the future – But where are the women? WIRED. https://www.wired.com/story/artificial-intelligence-researchers-gender-imbalance/.

Chiusi, F. (2020). Life in the automated society: How automated decision-making systems became mainstream, and what to do about it. Introduction: Automating Society Report 2020. AlgorithmWatch/Bertelsmann Stiftung. https://automatingsociety.algorithmwatch.org.

Cho, E. (1. Mai 2020). The social credit system: not just another Chinese idiosyncrasy. Journal of Public and International Affairs. Wien: Cracked Lab. https://crackedlabs.org/dl/CrackedLabs_Christl_CorporateSurveillance.pdf.

Christl, W. (2017). Corporate surveillance in everyday life: How companies collect, combine, analyze, trade, and use personal data on billions. https://jpia.princeton.edu/news/social-credit-system-not-just-another-chinese-idiosyncrasy.

Church, G. M. (2019). The rights of machines. In J. Brockman. (Hg.), Possible minds (S. 240–253). New York: Penguin.

Clayton, V., Sanders, M., Schoenwald, E., Surkis, L. und Gibbons, D. (September 2020). Machine learning in children’s services. What Works for Children’s Social Care. https://whatworks-csc.org.uk/wp-content/uploads/WWCSC_technical-_report_machine_learning_in_childrens_services_does_it_work_Sep_2020.pdf.

Clifford, S., Doane, L. D., Breitenstein, R., Grimm, K. J. und Lemery-Chalfant, K. (2020). Effortful control moderates the relation between electronic-media use and objective sleep indicators in childhood. Psychological Science, 31, 822–834.

CNS/ATM (2017). CNS/ATM Resource Guide (Kapitel 8). Canberra: Civil Aviation Safety Authority. https://www.casa.gov.au/book-page/chapter-8-human-factors.

Cohen, I. B. (1998). Howard Aiken on the number of computers needed for the nation. IEEE Annals of the History of Computing, 20, 27–32.

Coleridge, S. T. (1838). The literary remains of Samuel Taylor Coleridge (Bd. 3), S. 186. London: H. Pickering (https://archive.org/details/literaryremainso03coleuoft/page/186/mode/2up).

Connolly, K. (15. August 2018). Child drowning in Germany linked to parents’ phone ›fixation.‹ The Guardian. https://www.theguardian.com/lifeandstyle/2018/aug/15/parents-fixated-by-phones-linked-to-child-drownings-in-germany.

Copeland, P. et al. (undatiert). Google disease trends: An update. https://storage.googleapis.com/pub-tools-public-publication-data/pdf/41763.pdf.

Coppock, A., Hill, S. J. und Vavreck, L. (2020). The small effects of political advertising are small regardless of context, message, sender, or receiver: Evidence from 59 real-time randomized experiments. Science Advances, 6: eabc4046.

Coviello, L., Gneezy, U. und Götte, L. (2017). A large-scale field experiment to evaluate the effectiveness of paid search advertising. CESifo Working paper, No. 6684, Center for Economic Studies and ifo Institute, München.

Czerlinski, J., Gigerenzer, G. und Goldstein, D. G. (1999). How good are simple heuristics? In Simple heuristics that make us smart, G. Gigerenzer, P. M. Todd und die ABC Research Group (S. 97–118). New York: Oxford University Press.

Daniel, C. und Palmer, M. (27. Mai 2007). Google’s goal: To organise your daily life. Financial Times. https://www.ft.com/content/c3e49548-088e-11dc-b11e-000b5df10621.

Danielsbacka, M., Tanskanen, A. O. und Billari, F. C. (2020). Meeting online and family-relatied outcomes: evidence from three German cohorts. Journal of Family Studies. https://doi.org/10.1080/13229400.2020.1835694.

Danziger, S., Levav, J. und Avnaim-Pesso, L. (2011). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences, 108, 6889–6892.

Dastin, J. (11. Oktober 2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G.

Daston, L. (1994). Enlightenment calculations. Critical Inquiry, 21, 182–202.

Daston, L. (2017). The immortal archive: Nineteenth-century science imagines the future. In L. Daston (Hg.), Science in the archives: Pasts, presents, futures (S. 159–182). Chicago, IL: University of Chicago Press.

Daston, L. (2018). Calculation and the division of labor, 1750–1950. Bulletin of the German Historical Institute, 62, 9–30.

Daston, L. (2021). Rules: A short history of what we live by. Princeton, NJ: Princeton University Press.

Davis, B. D., Mason, J. C. und Anwar, M. (2020). Vulnerability studies and security postures of IoT devices: a smart home case study. IEEE Internet of Things Journal, 7, 10102–10110.

Dawes, R. und Corrigan, B. (1974). Linear models in decision making. Psychological Bulletin, 81(2), 95–106.

DeMichele, M. Baumgartner, P., Wenger, M., Barrick, K. und Comfort, M. (2020). Public safety assessment: predictive utility and differential prediction by race in Kentucky. Criminology & Public Policy, 19, 409–431.

Deutsches Institut für Service-Qualität (2017). Kundenbefragung Online-Partnerbörsen. https://disq.de/2017/20170426-Online-Partnerboersen.html#GesamtP.

Dickmanns, E. D. und Zapp, A. (1987). Autonomous high speed road vehicle guidance by computer vision. IFAC Proceedings Volumes, 20, 221–226.

Digital Courage (26. Januar 2016). »Stasi-Barbie« – Der Spion in der Spielzeugkiste [Pressemitteilung]. https://digitalcourage.de/blog/2016/stasi-barbie-der-spion-in-der-spielzeugkiste.

Dillet, R. (13. Oktober 2016). Renault-Nissan CEO Carlos Ghosn on the future of cars. TechCrunch. https://techcrunch.com/2016/10/13/renault-nissan-ceo-carlos-ghosn-on-the-future-of-cars/.

Dingus, T. A. et al. (2016). Driver crash risk factors and prevalence evaluation using naturalistic driving data. Proceedings of the National Academy of Sciences, 113(10), 2636–2341.

Doll, N. (22. November 2016). Moderne Autos sind Datenkraken. Welt. https://www.welt.de/print/die_welt/finanzen/article159665896.

Dosi, G., Napoletano, M., Roventini, A., Stiglitz, J. E. und Treibich, T. (2020). Rational heuristics? Expectations and behaviors in evolving economies with heterogeneous interacting agents. Economic Inquiry, 53, 1487–1516.

Dressel, J. und Farid, H. (2018). The accuracy, fairness, and limits of predicting recidivism. Science Advances, 4(1): eaao5580.

Dreyfus, H. L. (1979). What computers can’t do (überarbeitete Aufl.) New York: Harper (Deutsch 1985: Was Computer nicht können. Die Grenzen künstlicher Intelligenz. Königstein/Ts.: Athenäum).

Duke University (undatiert). The thermodynamics of brains and computers. http://webhome.phy.duke.edu/~hsg/363/table-images/brain-vs-computer.html.

Dyrenforth, P. S., Kashy, D. A., Donnellan, M. B. und Lucas, R. E. (2010). Predicting relationship and life satisfaction from personality in nationally representative samples from three countries. The relative importance of actor, partner, and similarity effects. Journal of Personality and Social Psychology, 99, 690–702.

Eames, S. S. (1990). Barbie Doll fashion: 1959–1967. Paducah, KY: Collector Books.

Efrati, A. (10. Dezember 2018). How an Uber whistleblower tried to stop self-driving car disaster. The Information. https://www.theinformation.com/articles/how-an-uber-whistleblower-tried-to-stop-self-driving-car-disaster.

Eggers, D. (2013). The circle. New York: Knopf (Deutsch 2014: Der Circle. Köln: Kiepenheuer & Witsch).

Einhorn, H. J. und Hogarth, R.(1975). Unit weighting schemes for decision making. Organizational Behavior and Human Performance, 13(2), 171–192.

Elias, J. (23. Oktober 2019). Alphabet exec says self-driving cars ›have gone through a lot of hype,‹ but Google helped drive that hype. CNBC. https://www.cnbc.com/2019/10/23/alphabet-exec-admits-google-overhyped-self-driving-cars.html.

Elliott, J. und Meyer, T. (23. Oktober 2013). Claim on »attacks thwarted« by NSA spreads despite lack of evidence. ProPublica. https://www.propublica.org/article/claim-on-attacks-thwarted-by-nsa-spreads-despite-lack-of-evidence.

Elsberg, M. (2012). Blackout. München: Blanvalet.

Epstein, R. (1995). Simple rules for a complex world. Cambridge, MA: Harvard University Press.

Epstein, R. (2013). The truth about online dating. In Editors of Scientific American (Hg.), Disarming Cupid: Love, sex, and science (Kapitel 3.3). NY: Scientific American.

Epstein, R. und Robertson, R. E. (2015). The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections. Proceedings of the National Academy of Sciences, 112(33), E4512–E4521.

ERGO. (2019). ERGO Risiko-Report. https://www.ergo.com/en/Media-Relations/Pressemeldungen/PM-2019/20190912-ERGO-Risiko-Report.

Europäische Kommission (2020). White Paper: Artificial intelligence – A European approach to excellence and trust. https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf.

Europäische Union. (2016). Datenschutzgrundverordnung. https://dsgvo-gesetz.de/.

Ewing, J. (14. Juli 2020). German court says Tesla self-driving claims are misleading. New York Times. https://www.nytimes.com/2020/07/14/business/tesla-autopilot-germany.html.

Eyal, N. (2014). Hooked. London: Penguin (Deutsch 2014: Hooked. Wie Sie Produkte schaffen, die süchtig machen. München: Redline).

Facebook. (29. Januar 2020). Facebook reports fourth quarter and full year 2019 results [Pressemitteilung]. https://investor.fb.com/investor-news/press-release-details/2020/Facebook-Reports-Fourth-Quarter-and-Full-Year-2019-Results/default.aspx.

Farnham, A. (2. Juni 2014). Hot or Not’s co-founders: Where are they now? ABC News. https://abcnews.go.com/Business/founders-hot-today/story?id=23901082.

Federal Aviation Administration. (2013). Safety alert for operators: Manual flight operations. (SAFO 13002). https://www.faa.gov/other_visit/aviation_industry/airline_operators/airline_safety/safo/all_safos/media/2013/SAFO13002.pdf.

Federal Trade Commission. (25. September 2019). FTC sues owner of online dating service Match.com for using fake love interest ads to trick consumers into paying for a Match.com subscription [Pressemitteilung]. https://www.ftc.gov/news-events/press-releases/2019/09/ftc-sues-owner-online-dating-service-matchcom-using-fake-love.

Ferrucci, D. et al. (2010). Building Watson: An overview of the DeepQA Project. AI Magazine, 31(3), 59–79.

Feynman, R. P., Leighton, R. und Hutchings, E. (1985). »Surely you’re joking, Mr. Feynman!«: Adventures of a curious character. New York: W. W. Norton (Deutsch 1989: Sie belieben wohl zu scherzen, Mr. Feynman! Abenteuer eines neugierigen Physikers. München: Piper).

Finkel, E. J., Eastwick, P. W., Karney, B. R., Reis, H. T. und Sprecher, S. (2012). Online dating: a critical analysis from the perspective of psychological science. Psychological Science in the Public Interest, 13, 3–66.

Fleischhut, N., Meder, B. und Gigerenzer, G. (2017). Moral hindsight. Experimental Psychology, 64, 110–123.

Fletcher, D. (27. Mai 2010). The 50 worst inventions: Farmville. TIME. http://content.time.com/time/specials/packages/article/0,28804,1991915_1991909_1991768,00.html.

Fowler, G. A. (18. September 2019). You watch TV. Your TV watches back. The Washington Post. https://www.washingtonpost.com/technology/2019/09/18/you-watch-tv-your-tv-watches-back/.

Fowler, G. A. (27. Dezember 2019). What does your car know about you? We hacked a Chevy to find out. Washington Post. https://www.washingtonpost.com/technology/2019/12/17/what-does-your-car-know-about-you-we-hacked-chevy-find-out/.

Frederik, J. und Martijn, M. (6. November 2019). The new dot com bubble is here: it’s called online advertising. The Correspondent. https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24.

Freed, D. et al. (2018). ›A stalker’s paradise‹: How intimate partner abusers exploit technology. CHI 2018, Montreal, Kanada. http://nixdell.com/papers/stalkers-paradise-intimate.pdf.

Freuler, R. (14. September 2019). Abtreibungen nehmen in der Schweiz erstmals seit langem wieder zu – sind Verhütungs-Apps dafür verantwortlich? NZZ am Sonntag. https://nzzas.nzz.ch/wissen/fuehren-verhuetungs-apps-zu-mehr-abtreibungen-ld.1508749.

Geirhos, R. et al. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2, 665–673.

Gendron, S. (4. Mai 2016). Croisade contre les textos au volant. Le Journal de Montréal. https://www.journaldemontreal.com/2016/05/04/croisade-contre-les-textos-au-volant.

Geraghty, K. und Woodhams, J. (2015). The predictive validity of risk assessment tools for female offenders: A systematic review. Aggression and Violent Behavior, 21, 25–38.

Gibbs, S. (19. Januar 2018). Apple’s Tim Cook: ›I don’t want my nephew on a social network.‹ The Guardian. https://www.theguardian.com/technology/2018/jan/19/tim-cook-i-dont-want-my-nephew-on-a-social-network.

Gigerenzer, G. (1984). The frequency-validity relationship. American Journal of Psychology, 97, 185–195.

Gigerenzer, G. (1991). From tools to theories: A heuristic of discovery in cognitive psychology. Psychological Review, 98, 254–267.

Gigerenzer, G. (2001). Digital computer: Impact on the social sciences. In N. J. Smelser und P. B. Baltes (Hg.), International encyclopedia of the social and behavioral sciences (Bd. 6, S. 3684–3688). Amsterdam: Elsevier.

Gigerenzer, G. (2002). Calculated risks: How to know when numbers deceive you. New York: Simon & Schuster (Deutsch 2002: Das Einmaleins der Skepsis. Über den richtigen Umgang mit Zahlen und Risiken. Berlin: Berlin Verlag).

Gigerenzer, G. (2007). Bauchentscheidungen: Die Intelligenz des Unbewussten und die Macht der Intuition. München: Bertelsmann.

Gigerenzer, G. (2014). Risk Savvy: How to Make Good Decisions. New York: Viking (Deutsch 2013: Risiko. Wie man die richtigen Entscheidungen trifft. München: C. Bertelsmann).

Gigerenzer, G. (2021). What is bounded rationality? In R. Viale (Hg.), Routledge Handbook of Bounded Rationality (S. 55–69). London: Routledge.

Gigerenzer, G. et al. (1989). The empire of chance: How probability changed science and everyday life. Cambridge, UK: Cambridge University Press.

Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M. und Woloshin, S. W. (2007). Helping doctors and patients make sense of health statistics. Psychological Science in the Public Interest, 8, 53–96.

Gigerenzer, G. und Goldstein, D. G. (1996). Mind as computer: Birth of a metaphor. Creativity Research Journal, 9, 131–144.

Gigerenzer, G., Hertwig, R. und Pachur, T. (Hg.). (2011). Heuristics: The foundations of adaptive behavior. New York: Oxford University Press.

Gigerenzer, G. und Muir Gray, J. A. (Hg.). (2011). Better doctors, better patients, better decisions. Cambridge, MA: MIT Press (Deutsch 2013: Bessere Ärzte, bessere Patienten, bessere Medizin. Aufbruch in ein transparentes Gesundheitssystem. Berlin: Medizinisch Wissenschaftliche Verlagsgesellschaft).

Gigerenzer, G. und Murray, D. J. (2015). Cognition as intuitive statistics. New York: Psychology Press.

Ginsberg, J. et al. (2009). Detecting influenza epidemics using search engine query data. Nature, 457, 1012–1014.

Gleave, A. (27. März 2020). Physically realistic attacks on deep reinforcement learning. Berkeley Artificial Intelligence Research Blog. https://bair.berkeley.edu/blog/2020/03/27/attacks/.

Gleick, J. (1992). Genius. The life and science of Richard Feynman. New York: Pantheon (Deutsch 1993: Richard Feynman: Das Leben und Werk des genialen Physikers. München: Droemer Knaur).

Gliklich, J., Maurer, R. und Bergmark, R. W. (2019). Patterns of texting and driving in a US national survey of millennial parents vs older parents. JAMA Pediatrics, 173, 689–690.

Glöckner, A. (2016). The irrational hungry judge effect revisited: Simulations reveal that the magnitude of the effect is overestimated. Judgment and Decision Making, 11, 601–610.

Gordon, B. R. et al. (2019). A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook. Marketing Science, 38, 193–364.

Gorner, J. und Sweeney, A. (24. Januar 2020). For years Chicago police rated the risk of tens of thousands being caught up in violence. That controversial effort has quietly been ended. Chicago Tribune. com/news/criminal-justice/ct-chicago-police-strategic-subject-list-ended-20200125-spn4kjmrxrh4tmktdjckhtox4i-story.html

Gottman, J. und Gottman, J. (2017). The natural principles of love. Journal of Family Theory & Review, 9, 7–26.

Gottman, J. M., Coan, J., Carrere, S. und Swanson, C. (1998). Predicting marital happiness and stability from newlywed interactions. Journal of Marriage and the Family, 60, 5–22.

Götz, M., Wunderer, E., Greithanner, J. und Maslanka, E. (2019). »Warum kann ich nicht so perfekt sein?« Televizion, 32(1). https://www.br-online.de/jugend/izi/deutsch/publikation/televizion/32_2019_1/Goetz_Wunderer-perfekt_sein.pdf.

Green, K. C. und Armstrong, J. S. (2015). Simple versus complex forecasting: The evidence. Journal of Business Research, 68, 1678–1685.

Greenwald, G. (2014). No place to hide. Edward Snowden, the NSA and the surveillance state. London: Penguin Books (Deutsch 2014: Die globale Überwachung: Der Fall Snowden, die amerikanischen Geheimdienste und die Folgen. München: Knaur).

Griffiths, J. (2019). The Great Firewall of China. London: Zed Books.

Grisso, T. und Tomkins, A. J. (1996). Communicating violence risk assessments. American Psychologist, 51(9), 928–930.

Grossman, L. et al. (28. November 2011). The 50 best inventions. Time. http://content.time.com/time/subscriber/article/0,33009,2099708-1,00.html.

Grzymek, V. und Puntschuh, M. (2019). What Europe knows and thinks about algorithms. Results of a representative survey. Gütersloh: Bertelsmann Stiftung. https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/WhatEuropeKnowsAndThinkAboutAlgorithm.pdf.

Gunning, D. und Aha, D. W. (2019). DARPA’s explainable artificial intelligence program. AI Magazine, 40(2), 44–58.

Gururangan, S. et al. (2018). Annotation artifacts in natural language inference data. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2, 107–112. https://www.aclweb.org/anthology/N18-2017/.

Halpern, S. (2014). The creepy new wave of the internet. The New York Review of Books, November 20, 22–24.

Hancock, J. T., Toma, C. und Ellison, N. (2007). The truth about lying in online dating profiles. CHI 2007, San Jose, California. https://collablab.northwestern.edu//CollabolabDistro/nucmc/p449-hancock.pdf.

Hao, K. (4. Dezember 2020). We read the paper that forced Timnit Gebru out of Google. Here’s what it says. MIT Technology Review. https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/.

Harari, Y. N. (2015), Homo Deus. A brief history of tomorrow. New York: Harper (Deutsch 2017: Homo Deus – Eine Geschichte von Morgen. München: C. H. Beck).

Harari, Y. N. (16. August 2016). Yuval Noah Harari on big data, Google and the end of free will. Financial Times. https://www.ft.com/content/50bb4830-6a4c-11e6-ae5b-a7cc5dd5a28c.

Harford, T. (28. März 2014). Big data: Are we making a big mistake? Financial Times. https://www.ft.com/content/21a6e7d8-b479-11e3-a09a-00144feabdc0.

Hartmann, S. (2017). Risikobewältigung in der Luftfahrt und in der Medizin – eine vergleichende Untersuchung. Dissertation Humboldt Universität Berlin.

Hauber, J., Jarchow, E. und Rabitz-Suhr, S. (2019). Prädiktionspotenzial schwere Einbruchskriminalität: Ergebnisse einer wissenschaftlichen Befassung mit Predictive Policing. Hamburg: Landeskriminalamt Hamburg. https://publikationen.uni-tuebingen.de/xmlui/bitstream/handle/10900/99541/abschlussbericht-praediktionspotenzial-schwere-einbruchskrminalitaet-do_p.pdf?sequence=1.

Hawkins, A. J. (22. April 2019). Here are Elon Musk’s wildest predictions about Tesla’s self-driving cars. The Verge. https://www.theverge.com/2019/4/22/18510828/tesla-elon-musk-autonomy-day-investor-comments-self-driving-cars-predictions.

Hayes, B. (2006). Gauss’s day of reckoning. American Scientist, 94, 200–205.

Haynes, T. (1. Mai 2018). Dopamine, smartphones, and you: A battle for your time. Harvard University. http://sitn.hms.harvard.edu/flash/2018/dopamine-smartphones-battle-time/.

Helbing, D. et al. (25. Februar 2017). Will democracy survive big data and artificial intelligence? Scientific American. https://www.scientificamerican.com/article/will-democracy-survive-big-data-and-artificial-intelligence/. Deutsche Fassung: https://www.spektrum.de/news/wie-algorithmen-und-big-data-unsere-zukunft-bestimmen/1375933.

Heyman, R. E. und Slep, A. M. S. (2001). The hazards of predicting divorce without crossvalidation. Journal of Marriage and the Family, 63, 473–479.

Hirsch, S. und Hirsch, A. (2011). The beauty of short hops: how chance and circumstance confound the moneyball approach to baseball. Jefferson, NC: McFarland & Co.

Hitsch, G. J., Hortaçsu, A. und Ariely, D. (2010). Matching and sorting in online dating. American Economic Review, 100, 130–163.

Hofstadter, D. (30. Januar 2018). The shallowness of Google Translate. The Atlantic. https://www.theatlantic.com/technology/archive/2018/01/the-shallowness-of-google-translate/551570/.

Holte, C. H. (1993). Very simple classification rules perform well on most commonly used datasets. Machine Learning, 11, 63–91.

Holzinger, A., Biemann, C., Pattichis, C. S. und Kell, D. B. (2017). What do we need to build explainable AI systems for the medical domain? ArXiv. https://arxiv.org/abs/1712.09923.

Howard, P. N. (2020). Lie machines. New Haven: Yale University Press.

Hsu, J. W. (2. Juli 2015). Transasia pilot shut down wrong engine before Taiwan crash. The Wall Street Journal. https://www.wsj.com/articles/transasia-pilot-shut-down-working-engine-before-taiwan-crash-1435815552.

Hu, J. C. (18. Dezember 2018). How one light bulb could allow hackers to burgle your home. Quartz. https://qz.com/1493748/how-one-lightbulb-could-allow-hackers-to-burgle-your-home/.

Huang, S. et al. (2020). Social advertising effectiveness across products: a large-scale field experiment. Marketing Science, 39, 1142–1165.

Isaac, M. (22. November 2016). Facebook said to create censorship tool to get back into China. New York Times. https://www.nytimes.com/2016/11/22/technology/facebook-censorship-tool-china.html.

Islam, M. S. et al. (2020). COVID-19-related infodemic and its impact on public health: A global social media analysis. American Journal of Tropical Medicine and Hygiene, 103, 1621–1629.

Istituto Superiore di Sanità. (2020). Characteristics of COVID-19 patients dying in Italy. Report based on available data from November 18, 2020. https://www.epicentro.iss.it/en/coronavirus/sars-cov-2-analysis-of-deaths.

Joel, S., Eastwick, P. W. und Finkel, E. J. (2017). Is romantic desire predictable? Machine learning applied to initial romantic attraction. Psychological Science, 28, 1478–1489.

Johnson, B. (11. Januar 2010). Privacy no longer a social norm, says Facebook founder. The Guardian. https://www.theguardian.com/technology/2010/jan/11/facebook-privacy.

Jung, J., Concannon, C., Shroff, R., Goel, S. und Goldstein, D. G. (2017). Simple rules for complex decisions. ArXiv. https://arxiv.org/abs/1702.04690.

Kahneman, D. (2019). Comment on »Artificial intelligence and behavioral economics.« In A. Agrawal, J. Gans und A. Goldfarb (Hg.), The economics of artificial intelligence (S. 608–610). Chicago, IL: University of Chicago Press.

Kapoun, J. (August 1998). Teaching Web evaluation to undergrads. College and Research Libraries News, 522–523.

Katsikopoulos, K., Şimşek, O., Buckmann, M. und Gigerenzer, G. (2020). Classification in the wild. Cambridge, MA: MIT Press.

Katsikopoulos, K., Şimşek, O., Buckmann, M. und Gigerenzer, G. (2021). Transparent modeling of influenza incidence: Big data or a single data point from psychological theory? International Journal of Forecasting.

Kawohl, J. und Becker, J. (2017). Unternehmergeist und Digitalkompetenz im Topmanagement: Verfügen deutsche Vorstände über die Zukunftsfähigkeiten, die die digitale Transformation erfordert? Berlin: Hochschule für Technik und Wirtschaft Berlin. https://18340a7b-c60f-42a9-b283-542b49515092.filesusr.com/ugd/63eb59_83844d3bffea42c1ad71d824871f5ff1.pdf.

Kay, J. und King, M. (2020). Radical uncertainty. London: Bridge Street Press.

Kayser-Bril, N. (4. November 2019). Facebook enables automated scams, but fails to automate the fight against them. Algorithm Watch. https://algorithmwatch.org/en/story/facebook-enables-automated-scams-but-fails-to-automate-the-fight-against-them/.

Kayser-Bril, N. (17. September 2020). Female historians and male nurses do not exist, Google Translate tells its European users. Algorithm Watch. https://algorithmwatch.org/en/story/google-translate-gender-bias/.

Kellermann, A. L. und Jones, S. S. (2013). What it will take to achieve the as-yet-unfilled promises of health information technology. Health Affairs, 32, 63–68.

Kim, M. (8. Januar 2015). Are smartphones causing more kid injuries? Philly Voice. https://www.phillyvoice.com/cell-phone-too-deadly-kids/.

Kleinhubbert, G. (25. November 2013). Abgelenkt. Der Spiegel. https://www.spiegel.de/spiegel/print/d-122579480.html.

Knobloch, T. (2018). Vor die Lage kommen: Predictive Policing in Deutschland. Berlin: Bertelsmann Stiftung.

Koh, P. W. et al. (9. März 2021). WILDS: A benchmark of in-the-wild distribution shifts. ArXiv. https://arxiv.org/abs/2012.07421v2.

Kosko, B. (2015). Thinking machines = old algorithms on faster computers. In J. Brockman (Hg.), What to think about machines that think (S. 423–426). New York: Harper.

Kostka, G. (2019). China’s social credit system and public opinion: Explaining high levels of approval. New Media & Society, 21, 1565–1593.

Kostka, G. und Antoine, L. (2019). Fostering model citizenship: Behavioral responses to China’s emerging social credit systems. Policy & Internet, 12, 256–289.

Kostka, G. und Zhang, C. (2018). Tightening the grip: Environmental governance under Xi Jinping. Environmental Politics, 27, 769–781.

Kozyreva, A., Lewandowsky, S. und Hertwig, R. (2020). Citizens versus the internet: confronting digital challenges with cognitive tools. Psychological Science in the Public Interest, 21, 103–156.

Kramer, A. D. I., Guillory, J. E. und Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 111, 8788–8790.

Krauthammer, C. (26. Mai 1997). Be afraid. Washington Examiner. https://www.washingtonexaminer.com/weekly-standard/be-afraid-9802.

Kruglanski, A. und Gigerenzer, G. (2011). Intuitive and deliberate judgments are based on common principles. Psychological Review, 118, 97–109.

Kumar, N., Berg, A. C., Belhumeur, P. N. und Nayar, S. K. (2009). Attribute and simile classifiers for face verification. 2009 IEEE 12th International Conference on Computer Vision, Kyoto, 365–372.

Kurz, C. und Rieger, F. (2018). Cyberwar – die Gefahr aus dem Netz. München: C. Bertelsmann.

Kurzweil, R. (2012). How to create a mind. New York: Penguin.

Lake, B. M., Ulman, T. D., Tenenbaum, J. B. und Gershman, S. J. (2017). Ingredients of intelligence: From classic debates to an engineering roadmap. The Behavioral and Brain Sciences, 40: e281.

Lanier, J. (23. September 2019). Jaron Lanier fixes the internet. New York Times. https://www.nytimes.com/interactive/2019/09/23/opinion/data-privacy-jaron-lanier.html.

Lanier, J. und Weyl, E. G. (26. September 2018). A blueprint for a better digital society. Harvard Business Review. https://hbr.org/2018/09/a-blueprint-for-a-better-digital-society.

Lavin, T. (29. September 2020). QAnon, blood libel, and the Satanic panic. The New Republic. https://newrepublic.com/article/159529/qanon-blood-libel-satanic-panic.

Lazer, D., Kennedy, R., King, G. und Vespignani, A. (14. März 2014). The parable of Google Flu: Traps in big data analysis. Science, 343, 1203–1205.

Lea, S., Fischer, P. und Evans, K. (2009). The psychology of scams: Provoking and committing errors of judgement. (Report No. 1070). Office of Fair Trading/ University of Exeter.

Lee, D.-C. et al. (2017). Running as a key lifestyle medicine for longevity. Progress in Cardiovascular Diseases, 60(1), 45–55.

Lee, K.-F. (2018). AI superpowers: China, Silicon Valley, and the new world order. Boston: Houghton Mifflin Harcourt.

Leetaru, K. (5. April 2018). The data brokers so powerful that even Facebook bought their data–but they got me wildly wrong. Forbes. https://www.forbes.com/sites/kalevleetaru/2018/04/05/the-data-brokers-so-powerful-even-facebook-bought-their-data-but-they-got-me-wildly-wrong/#3d727faf3107.

Lewandowsky, S. et al. (2020). Technology and democracy: Understanding the influence of online technologies on political behaviour and decision-making. EUR 30422 EN. Luxembourg: Publications Office of the European Union.

Lewis, M. (2003). Moneyball. New York: Norton.

Lewis, R. A. und Rao, J. M. (2014). On the near impossibility of measuring the returns of advertising. Paper presented at the AEA Annual Meeting, 4. Januar 2014. https://www.aeaweb.org/conference/2014/preliminary.php.

Lewis, R. A. und Reiley, D. (2014). Advertising effectively influences older users: How field experiments can improve measurement and targeting. Review of Industrial Organization, 44, 147–159.

Lichtman, A. J. (2016). Predicting the next president: The keys to the White House. Lanham, MD: Rowman and Littlefield.

Lin, Z. J., Jung, J., Goel, S. und Skeem, J. (2020). The limits of human prediction of recidivism. Science Advances, 6: eaaz0652.

Lindström, B. et al. (2021). A computational reinforcement learning account of social media engagement. Nature Communications, 12: 1311.

Liptak, A. (1. Mai 2017). Sent to prison by a software program’s secret algorithms. New York Times. https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html.

Locke, J. (2000/1988). Versuch über den menschlichen Verstand. 2 Bde. Hamburg: Meiner (Original 1690).

Lorenz-Spreen, P., Lewandowsky, S., Sunstein, C. R. und Hertwig, R. (2020). How behavioral sciences can promote truth, autonomy and democratic discourse. Nature Human Behavior, 4, 1102–1109.

Lotan, G. (4. August 2014). Israel, Gaza, war und data–The art of personalizing propaganda. Global Voices. https://globalvoices.org/2014/08/04/israel-gaza-war-data-the-art-of-personalizing-propaganda/.

Luckerson, V. (9. Juli 2015). Here’s how Facebook’s News Feed actually works. TIME. https://time.com/collection-post/3950525/facebook-news-feed-algorithm/.

Luetge, C. (2017). The German Ethics Code for automated and connected driving. Philosophy of Technology, 30, 547–558.

Luria, A. R. (1968). The mind of a mnemonist. New York: Basic Books.

Maack, N. (22. Januar 2020). Diese Stadt ist ein großer Roboter. Frankfurter Allgemeine Zeitung. https://www.faz.net/aktuell/feuilleton/debatten/toyotas-smart-city-diese-stadt-ist-ein-grosser-roboter-16588460.html.

Makoff, J. (16. Februar 2011). Computer wins on »Jeopardy!«: Trivial, it’s not. New York Times. https://www.nytimes.com/2011/02/17/science/17jeopardy-watson.html.

Markman, J. (8. August 2016). Big data and the 2016 election. Forbes. https://www.forbes.com/sites/jonmarkman/2016/08/08/big-data-and-the-2016-election/#29fe5d7b1450.

Martosko, D. (25. Oktober 2013). I’m bad at math, says Obama – but so is Congress – during visit to Brooklyn school. Daily Mail. https://www.dailymail.co.uk/news/article-2477130/Im-bad-math-says-Obama--Congress--visit-Brooklyn-school.

Matacic, C. (2018). Are algorithms good guides? Science, 359, 263.

McDaniel, B. T. (2019). Parent distraction with phones, reasons for use, and impacts on parenting and child outcomes: A review of the emerging research. Human Behavior and Emerging Technologies, 1, 72–80.

McDonald, A. M. und Cranor, L. F. (2008). The cost of reading privacy policies. Journal of Law and Policy for the Information Society, 4, 543–568.

McGrew, S., Breakstone, J., Ortega, T., Smith, M. und Wineberg, S. (2018). Can students evaluate online sources? Learning from assessments of civic online reasoning. Theory and Research in Social Education, 46, 165–193.

McGrew, S., Smith, M., Breakstone, J., Ortega, T. und Wineburg, S. (2019). Improving university students’ web savvy: An intervention study. British Journal of Educational Psychology, 89, 485–500.

McNeal, G. S. (28. Juni 2014). Facebook manipulated user news feeds to create emotional responses. Forbes. https://www.forbes.com/sites/gregorymcneal/2014/06/28/facebook-manipulated-user-news-feeds-to-create-emotional-contagion/.

Mead, M. (1928). Coming of age in Samoa. New York: William Morrow (Deutsch 1970: Kindheit und Jugend auf Samoa. München: dtv).

Medvin, M. (8. Januar 2019). Your vehicle black box: A ›witness‹ against you in court. Forbes. https://www.forbes.com/sites/marinamedvin/2019/01/08/your-vehicle-black-box-a-witness-against-you-in-court-2/#461a443831c5.

Melendez, S. (16. September 2019). Mozilla and Creative Commons want to reimage the internet without ads, and they have $100M to do it. Fast Company. https://www.fastcompany.com/90403645/mozilla-and-creative-commons-want-to-reimagine-the-internet-without-ads-and-they-have-100m-to-do-it.

Mercier, H. und Sperber, D. (2011). Why do humans reason? Arguments for an argumentative theory. Behavioral and Brain Science, 34, 57–74.

Messerli, F. H. (2012). Chocolate consumption, cognitive function, and Nobel laureates. New England Journal of Medicine, 367, 1562–1564.

Meßmer, A.-K., Sängerlaub, A. und Schulz, L. (2021). »Quelle Internet«? Digitale Nachrichten- und Informationskompetenzen der deutschen Bevölkerung im Test. Stiftung Neue Verantwortung.

Milner, G. (25. Juni 2016). Death by GPS: Are satnavs changing our brains? BBC. https://www.bbc.com/news/technology-35491962.

Mønsted, B., Sapiezynski, P., Ferrara, E. und Lehmann, S. (2017). Evidence of complex contagion of information in social media: An experiment using Twitter bots. PLOS ONE 12(9): e0184148.

Montaigne, M. de (1998). Essais. Frankfurt am Main: Eichborn (Original 1580).

Montoya, R. M., Horton, R. S. und Kirchner, J. (2008). Is actual similarity necessary for attraction? A meta-analysis of actual and perceived similarity. Journal of Social and Personal Relationships, 25, 889–922.

Morozov, E. (2013). To save everything, click here: The follies of technological solutionism. New York: Public Affairs.

Mullard, A. (2011). Reliability of ›new drug target‹ claims called into question. Nature Reviews: Drug Discovery, 10(9), 643–644.

Munro, D. (28. November 2019). Should tech firms pay people for their data? Centre for International Governance Innovation. https://www.cigionline.org/articles/should-tech-firms-pay-people-their-data.

Nasiopoulos, E., Risko, E. F., Foulsham, T. und Kingstone, A. (2015). Wearable computing: will it make people prosocial? British Journal of Psychology, 106, 209–216.

National Consortium for the Study of Terrorism and Responses to Terrorism. (2020). Global Terrorism Overview: Terrorism in 2019. https://www.start.umd.edu/pubs/START_GTD_GlobalTerrorismOverview2019_July2020.pdf.

National Geographic (2014). Greendex 2014: Consumer choice and the environment: A worldwide tracking survey. https://globescan.com/wp-content/uploads/2017/07/Greendex_2014_Full_Report_NationalGeographic_GlobeScan.pdf.

National Transportation Safety Board (2019). Preliminary report highway HWY18MH010. https://www.ntsb.gov/investigations/AccidentReports/Reports/HWY18MH010-prelim.pdf.

Neumann, N., Tucker, C. E. und Whitfield, T. (2019). Frontiers: How effective is third-party consumer profiling? Evidence from field studies. Marketing Science, 38, 918–926.

Newell, A., Shaw, J.C. und Simon, H. A. (1958a). Chess-playing programs and the problem of complexity. IBM Journal of Research and Development, 2(4), 320–335.

Newell, A., Shaw, J. C. und Simon, H. A. (1958b). Elements of a theory of human problem solving. Psychological Review, 65, 151–166.

Newell, A. und Simon. H. A. (1972). Human problem solving. Englewood Cliffs, NJ: Prentice-Hall.

Newport, F. (9. Juli 2015). Most U. S. smartphone owners check phone at least hourly. Gallup. https://news.gallup.com/poll/184046/smartphone-owners-check-phone-least-hourly.aspx.

Newton, C. (12. September 2018). A partisan war over fact-checking is putting pressure on Facebook. The Verge. com/2018/9/12/17848478/thinkprogress-weekly-standard-facebook-fact-check-false

Nguyen, A., Yosinski, J. und Clune, J. (2015). Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. 2015 IEEE Conference on Computer Vision and Pattern Recognition. https://ieeexplore.ieee.org/document/7298640.

Nguyen, N. (9. März 2017). If you have a smart TV, take a closer look at your privacy settings. CNBC. https://www.cnbc.com/2017/03/09/if-you-have-a-smart-tv-take-a-closer-look-at-your-privacy-settings.html.

Nida-Rümelin, J. und Weidenfeld, N. (2018). Digitaler Humanismus. München: Piper.

Niven, T. und Kao, H.-Y. (2019). Probing neural network comprehension of natural language arguments. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 4658–4664. https://www.aclweb.org/anthology/P19-1459.pdf.

Norton LifeLock (2019). Norton LifeLock Cyber safety insights report: Global results. Symantec Corporation. https://now.symassets.com/content/dam/norton/campaign/NortonReport/2020/2019_NortonLifeLock_Cyber_Safety_Insights_Report_Global_Results.pdf.

Noyes, D. (Oktober 2020). The top 20 valuable Facebook statistics. Zephoria Digital Marketing. https://zephoria.com/top-15-valuable-facebook-statistics/.

OECD (2017). Key issues for digital transformation in the G20. https://www.oecd.org/g20/key-issues-for-digital-transformation-in-the-g20.pdf.

Office of Fair Trading, United Kingdom (2007). Research on impact of mass marketed scams: A summary of research into the impact of scams on UK consumers. (OFT Report 883.) https://webarchive.nationalarchives.gov.uk/20140402214439/http:/www.oft.gov.uk/shared_oft/reports/consumer_protection/oft883.pdf.

Olson, D. R., Konty, K. J., Paladini, M., Viboud, C. und Simonsen, L. (2013). Reassessing Google Flu Trends data for detection of seasonal and pandemic influenza: A comparative epidemiological study at three geographic scales. PLoS Computational Biology, 9(10): e1003256.

O’Neill, C. (2016). Weapons of mass destruction. London: Allen Lane.

Ophir, E., Nass, C. und Wagner, A. D. (2009). Cognitive control in media multitaskers. Proceedings of the National Academy of Sciences, 106(37), 15583–15587.

Orben, A. (2020). The Sisyphean cycle of technology panics. Perspectives on Psychological Science, 15, 1143–1157.

Orwell, G. (2021). 1984. Frankfurt am Main: Fischer Taschenbuch. (Original 1949).

O’Toole, F. (2018). Heroic failure. Brexit and the politics of pain. London: Head of Zeus.

Pasquale, F. (2015). The black box society. Cambridge, MA: Harvard University Press.

Paul, A. (2014). Is online better than offline for meeting partners? Depends: Are you looking to marry or to date? Cyberspychology, Behavior, and Social Networking, 17, 664–667.

Paulsen, D. (2006). Human versus machine: A comparison of the accuracy of geographic profiling methods. Journal of Investigative Psychology and Offender Profiling, 3, 77–89.

Peteranderl, S. (2020). Under fire: The rise and fall of predictive policing. https://www.acgusa.org/wp-content/uploads/2020/03/2020_Predpol_Peteranderl_Kellen.pdf.

Pogue, D. (1. Januar 2016). How to end online ads forever. Scientific American. https://www.scientificamerican.com/article/how-to-end-online-ads-forever/.

Poibeau, T. (2017). Machine translation. Cambridge, MA: MIT Press.

Porter, T. M. (2004). Karl Pearson: The scientific life in a statistical age. Princeton, NJ: Princeton University Press.

Potarca, G. (2020). The demography of swiping right. An overview of couples who met through dating apps in Switzerland. PLoS ONE, 15(12): e0243733.

Praschl, P. (22. April 2015). Eine Barbie mit WLAN ist das Ende der Kindheit. Welt. https://www.welt.de/kultur/article139863883/.

Quinn, P. C., Eimas, P. D. und Tarr, M. J. (2001). Perceptual categorization of cat and dog silhouettes by 3- to 4-month-old infants. Journal of Experimental Child Psychology, 79, 78–94.

Raji, I. D. und Buolamwini, J. (2019). Actionable auditing: investigating the impact of public naming biased performance results of commercial AI Products. Conference on Artificial Intelligence, Ethics, and Society. https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact-of-publicly-naming-biased-performance-results-of-commercial-ai-products/.

Ranjan, A., Janai, J., Geiger, A. und Black, M. J . (2019). Attacking optical flow. Proceedings International Conference on Computer Vision, (ICCV), 2404–2413. IEEE. https://arxiv.org/abs/1910.10053.

Rebitschek, F. G., Gigerenzer, G. und Wagner, G. G. (2017). Kritische Voraussetzungen für ein digitales Gesundheitswesen in Deutschland. Abschnitt in Lux, T., Breil, B., Dörries, M. et al. Digitalisierung im Gesundheitswesen – zwischen Datenschutz und moderner Medizinversorgung. Wirtschaftsdienst, 97, 699–703.

Rebonato, R. (2012). Taking liberties. A critical examination of libertarian paternalism. Basingstoke, UK: Palgrave Macmillan.

Reed, J., Hirsh-Pasek, K. und Golinkoff, R. M. (2017). Learning on hold: Cell phones sidetrack parent-child interactions. Developmental Psychology, 53, 1428–1436.

Reynolds, G. (12. April 2017). An hour of running may add 7 hours to your life. New York Times. https://www.nytimes.com/2017/04/12/well/move/an-hour-of-running-may-add-seven-hours-to-your-life.html.

Rid, T. (2020). Active measures. London: Profile Books.

Rifkin, J. (2014). The zero marginal cost society. New York: Palgrave Macmillan (Deutsch 2014: Die Null-Grenzkosten-Gesellschaft: Das Internet der Dinge, kollaboratives Gemeingut und der Rückzug des Kapitalismus. Frankfurt am Main: S. Fischer).

Rilke, R. M. (1929). Briefe an einen jungen Dichter. Leipzig: Insel.

Rivest, R. L. (1987). Learning decision lists. Machine Learning, 2, 229–246.

Roberts, S. und Pashler, H. (2000). How pervasive is a good fit? A comment on theory testing. Psychological Review, 107, 358–367.

Rocca, J. (7. Januar 2019). Understanding generative adversarial networks (GANs). Towards Data Science. https://towardsdatascience.com/understanding-generative-adversarial-networks-gans-cd6e4651a29.

Rogers, S. (11. Dezember 2012). Census in pictures: From suffragettes to arms protesters. The Guardian. https://www.theguardian.com/uk/datablog/gallery/2012/dec/11/census-2011-pictures-suffragettes-arms-protesters.

Rolfes, M. (2020). Predictive Policing in politischen Debatten. In F. Bode und K. Seidensticker (Hg.), Predictive Policing – eine Bestandsaufnahme für den deutschsprachigen Raum (S. 215–248). Frankfurt am Main: Verlag für Polizeiwissenschaft.

Rompay, T. J. L. van, Vonk, D. J. und Fransen, M. L. (2009). The eye of the camera: Effects of security cameras on prosocial behavior. Environment and Behavior, 41, 60–74.

Ross, C. und Swetlitz, I. (14. Juni 2018). IBM Watson Health hampered by internal rivalries and disorganization, former employees say. STAT+. https://www.statnews.com/2018/06/14/ibm-watson-health-rivalries-disorganization/.

Rötzer, F. (4. Februar 2019). Jeder sechste Deutsche findet ein Social-Scoring-System gut. Telepolis. https://www.heise.de/tp/features/Jeder-sechste-Deutsche-findet-ein-Social-Scoring-System-nach-chinesischem-Vorbild-gut-4297208.html.

Rudder, C. (2014). Dataclysm. London: Harper.

Rudin, C. (2019). Stop explaining black box machine learning models of high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1, 206–215.

Rudin, C. und Radin, J. (2019). Why are we using black box models in AI when we don’t need to? A lesson from an Explainable AI competition. Harvard Data Science Review, 1(2). https://hdsr.mitpress.mit.edu/pub/f9kuryi8/release/6.

Rudin, C., Wang, C. und Coker, B. (2020). The age of secrecy and unfairness in recidivism prediction. Harvard Data Science Review, 2(1). https://hdsr.mitpress.mit.edu/pub/7z10o269/release/4.

Ruginski, I. T., Creem-Regeht, S. H., Stefanucci, J. K. und Cashdan, E. (2019). GPS use negatively affects environmental learning through spatial transformation abilities. Journal of Environmental Psychology, 64, 12–20.

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. New York: Viking.

Russell, S. und Norvig, R. (Hg.) (2010). Artificial intelligence: A modern approach (3. Aufl.). Upper Saddle River, NJ: Pearson Education.

Sales, N. J. (2016). American girls: Social media and the secret lives of teenagers. New York: Knopf.

Salganik, M. J. et al. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398–8403.

Sarle, W. S. (1994). Neural networks and statistical models. Proceedings of the Nineteenth Annual SAS Users Group International Conference, Cary, NC: SAS Institute, S. 1538–1550.

Schirrmacher, F. (2009). Payback. München: Blessing.

Schüll, N. D. (2012). Addiction by design. Princeton, NJ: Princeton University Press.

Schulte, F. und Fry, E. (18. März 2019). Death by 1,000 clicks: Where electronic health records went wrong. Fortune. https://fortune.com/longform/medical-records/.

Schwertfeger, B. (2019). Künstliche Intelligenz trifft »künstliche Dummheit«. Interview mit Gert Antes. wirtschaft + weiterbildung, 9, 46–49.

Sergeant, D. C. und Himonides, E. (2019). Orchestrated sex: the representation of male and female musicians in world-class symphony orchestras. Frontiers in Psychology, 10, 1760.

Shahin, S. und Zheng, P. (2020). Big data and the illusion of choice: Comparing the evolution of India’s Aadhaar and China’s social credit system as technosocial discourses. Social Science Computer Review, 38, 25–41.

Shladover, S. E. (2016). The truth about »self-driving« cars. Scientific American, 29, 80–83.

Silver, N. (24. Oktober 2016). Election update: Why our model is more bullish than others on Trump. FiveThirtyEight. https://fivethirtyeight.com/features/election-update-why-our-model-is-more-bullish-than-others-on-trump/.

Silver, N. (25. Oktober 2018). Election update: Where are the undecided voters? FiveThirtyEight. https://fivethirtyeight.com/features/election-update-where-are-the-undecided-voters/.

Simanek, D. E. (2009). Arthur Conan Doyle, spiritualism, and fairies. https://www.lockhaven.edu/~dsimanek/doyle.htm.

Simon, H A. (1969). The sciences of the artificial. Cambridge, MA: MIT Press (Deutsch 1990: Die Wissenschaften vom Künstlichen. Berlin: Kammerer & Unverzagt).

Simon, H. A. (1991). Models of my life. New York: Basic Books.

Simon, H. A. und Newell, A. (1958). Heuristic problem solving: The next advance in operations research. Operations Research, 6, 1–10.

Simonite, T. (1. November 2018). When it comes to gorillas, Google photos remains blind. WIRED. https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/.

Sinha, P., Balas, B. J., Ostrovsky, Y. und Russell, R. (im Druck). Face recognition by humans. In Face Recognition: Advanced Modeling and Methods, Academic Press.

Sinha, P. und Poggio, T. (1996). I think I know that face … Nature, 384, 404.

Skinner, B. F. (1969). Contingencies of reinforcement: A theoretical analysis. New York: Appleton-Century-Crofts (Deutsch 1974: Die Funktion der Verstärkung in der Verhaltenswissenschaft. München: Kindler).

Skinner, B. F. (1971). Beyond freedom and dignity. New York: Knopf (Deutsch 1982: Jenseits von Freiheit und Würde. Reinbek: Rowohlt).

Smith, B. (10. Januar 2020). We worked together on the internet. Last week, he stormed the Capitol. New York Times. https://www.nytimes.com/2021/01/10/business/media/capitol-anthime-gionet-buzzfeed-vine.html.

Smith, T., Darling, E. und Searles, B. (2011). 2010 survey on cell phone use while performing cardiopulmonary bypass. Perfusion, 26, 375–380.

Snook, B., Zito, M., Bennel, C. und Taylor, P. J. (2005). On the complexity and accuracy of geographic profiling strategies. Journal of Quantitative Criminology, 21, 1–25.

Snowden, E. (2019). Permanent record. New York: Metropolitan Books/Henry Holt & Company (Deutsch 2019: Permanent Record. Meine Geschichte. Frankfurt am Main: S. Fischer).

Society of Automotive Engineers (SAE) (11. Dezember 2018). SAE issues update visual chart for its »Levels of Driving Automation«standard for self-driving vehicles [Pressemitteilung]. https://www.sae.org/news/press-room/2018/12/sae-international-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-driving-automation%E2%80%9D-standard-for-self-driving-vehicles.

Solon, O. (9. November 2017). Ex-Facebook president Sean Parker: Site made to exploit human ›vulnerability.‹ The Guardian. https://www.theguardian.com/technology/2017/nov/09/facebook-sean-parker-vulnerability-brain-psychology.

Solsman, J. E. (10. Januar 2018). YouTube’s AI is the puppet master of most of what you watch. CNET. https://www.cnet.com/news/youtube-ces-2018-neal-mohan/.

Spinelli, L. und Crovella, M. (2020). How YouTube leads privacy-seeking users away from reliable information. Adjunct Publication of the 28th ACM Conference on User Modeling, Adaptation and Personalization, 244–251. https://doi.org/10.1145/3386392.3399566.

Stadler, R. (9. Mai 2006). Jetzt wird abgerechnet. Süddeutsche Zeitung. https://sz-magazin.sueddeutsche.de/gesellschaft-leben/jetzt-wird-abgerechnet-73071.

Stalder, F. (24. Juli 2014). Paying users for their data. The Mail Archive. https://www.mail-archive.com/nettime-l@mail.kein.org/msg02721.html.

Stern, R. (21. Juni 2018). Self-driving Uber crash ›avoidable,‹ driver’s phone playing video before woman struck. Phoenix News. https://www.phoenixnewtimes.com/news/self-driving-uber-crash-avoidable-drivers-phone-playing-video-before-woman-struck-10543284.

Stevenson, M. (2018). Assessing risk assessment in action. Minnesota Law Review, 103, 303–384.

Stevenson, P. W. (23. September 2016). Trump is headed for a win, says professor who has predicted 30 years of presidential outcomes correctly. Washington Post. https://www.washingtonpost.com/news/the-fix/wp/2016/09/23/trump-is-headed-for-a-win-says-professor-whos-predicted-30-years-of-presidential-outcomes-correctly/?utm_term=.e3a8b731325c.

Stilgoe, J. (12. Dezember 2019). Who killed Elaine Herzberg? OneZero. https://onezero.medium.com/who-killed-elaine-herzberg-ea01fb14fc5e.

Strickland, E. (2. April 2019). How IBM Watson overpromised and underdelivered on AI health care. IEEE Spectrum. https://spectrum.ieee.org/biomedical/diagnostics/how-ibm-watson-overpromised-and-underdelivered-on-ai-health-care.

Strimple, Z. (2017). The matchmaking industry and singles culture in Britain 1970–2000. [Dissertation.] http://sro.sussex.ac.uk/id/eprint/71609/1/Strimpel,%20Zoe.pdf.

Su, J., Vargas, D. V. und Sakurai, K. (2019). One pixel attack for fooling deep neural networks. IEEE Transactions on Evolutionary Computation, 23, 828–841.

Suarez-Tangil, G. et al. (2019). Automatically dismantling online data fraud. IEEE Transactions on Information Forensics and Security, 15, 1128–1137.

SVRV (2017). Digitale Souveränität. Gutachten des Sachverständigenrats für Verbraucherfragen. Berlin: Sachverständigenrat für Verbraucherfragen. https://www.svr-verbraucherfragen.de/wp-content/uploads/Gutachten_Digitale_Souver%C3%A4nit%C3%A4t_.pdf.

SVRV (2018). Verbrauchergerechtes Scoring. Gutachten des Sachverständigenrats für Verbraucherfragen. Berlin: Sachverständigenrat für Verbraucherfragen. https://www.svr-verbraucherfragen.de/wp-content/uploads/SVRV_Verbrauchergerechtes_Scoring.pdf.

Szabo, L. (24. Dezember 2019). Artificial intelligence is rushing into patient care – and could raise risks. Scientific American. https://www.scientificamerican.com/article/artificial-intelligence-is-rushing-into-patient-care-and-could-raise-risks/.

Szegedy, C. et al. (2014). Intriguing properties of neural networks. In Proceedings of International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1312.6199.

Taleb, N. N. (2001). Fooled by randomness. New York: Random House (Deutsch 2005: Narren des Zufalls: Die verborgene Rolle des Glücks an den Finanzmärkten und im Rest des Lebens. Weinheim: Wiley).

Taleb, N. N. (2007). The black swan. New York: Random House (Deutsch 2008: Der Schwarze Schwan: Die Macht höchst unwahrscheinlicher Ereignisse. München: Hanser).

Tanz, J. (20. Dezember 2011). The curse of Cow Clicker: How a cheeky satire became a videogame hit. WIRED. https://www.wired.com/2011/12/ff-cowclicker/.

Taylor, A. (2018). Praise for the book Re-engineering Humanity (von Brett Frischman und Evan Selinger. Cambridge, UK: Cambridge University Press).

Tesla. (19. Oktober 2016). All Tesla cars being produced now have full self-driving hardware [Pressemitteilung]. https://www.tesla.com/de_DE/blog/all-tesla-cars-being-produced-now-have-full-self-driving-hardware.

Theile, G. (14. Februar 2020). Parship-Chef im Gespräch: »Gut ausgebildete Frauen haben es schwerer«. Frankfurter Allgemeine Zeitung. https://www.faz.net/aktuell/wirtschaft/parship-chef-ueber-das-flirten-menschen-sollten-sich-mehr-trauen-16632496.html.

Thomas, R. J. (2020). Online exogamy reconsidered: Estimating the internet’s effects on racial, educational, religious, political and age assortative mating. Social Forces, 98, 1257–1286.

Titz, S. (3. August 2018). Deep neural networks: Researchers outsmart algorithms in order to understand them better. Horizons. https://www.horizons-mag.ch/2018/03/08/gamers-can-solve-science-problems/.

Todd, P. M., Penke, L., Fasolo, B. und Lenton, A. P. (2007). Different cognitive processes underlie human mate choices and mate preferences. Proceedings of the National Academy of Sciences, 104, 15011–15016.

Tolentino, J. (22. April 2019). What it takes to put your phone away. The New Yorker. https://www.newyorker.com/magazine/2019/04/29/what-it-takes-to-put-your-phone-away.

Tomasello, M. (2019). Becoming human. Cambridge, MA: Belknap (Deutsch 2020: Mensch werden: eine Theorie der Ontogenese. Berlin: Suhrkamp).

Tombu, M. und Jolicoeur, P. (2004). Virtually no evidence for virtually perfect time-sharing. Journal of Experimental Psychology: Human Perception & Performance, 30, 795–810.

Tönnesmann, J. (28. September 2017). Aus der alten Welt. Die Zeit. https://www.zeit.de/2017/40/digitalisierung-deutsche-konzerne-vorstaende-wissensstand.

Topol, E. (2019). Deep medicine: how artificial intelligence can make healthcare human again. New York: Basic Books.

Topsell, E. (1967). The history of four-footed beasts and serpents. New York: Da Capo Press (Original 1658).

Tramer, F. et al. (2018). Ensemble adversarial training: Attacks and defenses. ICLR 6 th International Conference on Learning Representations. https://arxiv.org/abs/1705.07204.

T. S. (29. Mai 2019). Why Uber’s self-driving car killed a pedestrian. The Economist. https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian.

Tsvetkova, M., García-Gavilanes, R., Floridi, L. und Yasseri, T. (2017). Even good bots fight: The case of Wikipedia. PLoS ONE, 12(2): e0171774.

Turek, M. (undatiert). Explainable artificial intelligence (XAI). Defense Advanced Research Projects Agency (DARPA). https://www.darpa.mil/program/explainable-artificial-intelligence.

Turing, A. (1950). Computing machinery and intelligence. Mind, 54, 433–460.

Turkle, S. (2016). Reclaiming conversation. New York: Penguin Books.

Twenge, J. M. (2017). iGen. New York: Atria Books (Deutsch 2018: Me, My Selfie and I: Was Jugendliche heute wirklich bewegt. München: Mosaik).

Tzezana, R. (2016). Scenarios for crime and terrorist attacks using the internet of things. European Journal of Futures Research, 4, 18.

University of Michigan. (2. Mai 2016). Hacking into home: ›Smart home‹ security flaws found in popular system [Pressemitteilung]. https://news.umich.edu/404 hacking-into-homes-smart-home-security-flaws-found-in-popular-system/.

Vigen, T. (2015). Spurious correlations. https://tylervigen.com/spurious-correlations.

Vodafone Institut für Gesellschaft und Kommunikation (Januar 2016). Big Data: Wann Menschen bereit sind, ihre Daten zu teilen. https://www.vodafone-institut.de/wp-content/uploads/2016/01/VodafoneInstitute-Survey-BigData-Highlights-de.pdf.

von Neumann, J. (1958). The computer and the brain. New Haven, CT: Yale University Press (Deutsch 1958: Die Rechenmaschine und das Gehirn. München: Oldenbourg).

Wachter, R. (2017). The digital doctor. New York: MacGraw-Hill.

Wang, W., Tang, B., Wang, R., Wang, L. und Ye, A. (2019). Towards a robust deep neural network in texts: A survey. ArXiv. https://arxiv.org/abs/1902.07285.

Ward, A. F., Duke, K., Gneezy, A. und Bos, M. W. (2017). Brain drain: The mere presence of one’s own smartphone reduces available cognitive capacity. Journal of the Association for Computer Research, 2, 140–154.

Watson, J. M. und Strayer, D. L. (2010). Supertaskers: profiles in extraordinary multitasking ability. Psychonomic Bulletin & Review, 17, 479–485.

Watson, L. (15. Mai 2015). Humans have shorter attention span than goldfish, thanks to smartphones. The Telegraph. https://www.telegraph.co.uk/science/2016/03/12/humans-have-shorter-attention-span-than-goldfish-thanks-to-smart/.

Webb, A. (2019). The big nine. New York: Public Affairs (Deutsch 2019: Die großen Neun: Wie wir die Tech-Titanen bändigen und eine Künstliche Intelligenz zum Wohle aller entwickeln können. Kulmbach: Plassen).

Wegwarth, O., Gaissmaier, W. und Gigerenzer, G. (2009). Smart strategies for doctors and doctors-in-training: Heuristics in medicine. Medical Education, 43, 721–728.

Weinshall-Margel, K. und Shapard, J. (2011). Overlooked factors in the analysis of parole decisions. PNAS, 108(42), E833.

Weiser, M. (September 1991). The computer for the twenty-first century. Scientific American, 94–104.

Weltecke, D. (2003). Gab es »Vertrauen« im Mittelalter? In U. Frevert (Hg.), Vertrauen. Historische Annäherungen (S. 67–89). Göttingen: Vandenhoeck & Ruprecht.

Wendt, R. (11. Februar 2020). Moderne Technik kann die Sicherheit in Deutschland gewährleisten. Der Tagesspiegel. https://causa.tagesspiegel.de/politik/brauchen-wir-die-automatisierte-gesichtserkennung/moderne-technik-kann-die-sicherheit-in-deutschland-gewaehrleisten.html.

What to make of Mark Zuckerberg’s testimony (14. April 2018). The Economist. https://www.economist.com/leaders/2018/04/14/what-to-make-of-mark-zuckerbergs-testimony.

Whitty, M. T. und Buchanan, T. (2015). The online dating romance scam: The psychological impact on victims–both financial and non-financial. Criminology and Criminal Justice, 1–9.

Wineburg, S. und McGrew, S. (2019). Lateral reading and the nature of expertise: Reading less and learning more when evaluating digital information. Teachers College Record, 121(11), 1–40.

Wood, J. (20. Juli 2005). He made the Mini – and broke the mould. Independent. https://www.independent.co.uk/life-style/motoring/features/he-made-the-mini-and-broke-the-mould-301594.html.

Wu, T. (2016). The attention merchants. London: Atlantic Books.

Young, R. A., Burge, S. K., Kumar, K. A., Wilson, J. M. und Ortiz, D. F. (2018). A time-motion study of primary care physician’s work in the electronic health record era. Family Medicine, 50, 91–99.

Youyou, W., Kosinski, M. und Stillwell, D. (2015). Computer-based personality judgments are more accurate than those made by humans. Proceedings of the National Academy of Sciences, 112, 1036–1040.

Zech, J. R. et al. (2018). Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Medicine, 15(11): e1002683.

Zeller, N. (10. März 2018). Die großen Schwächen der Verhütung per Handy. Der Tagesspiegel. https://www.tagesspiegel.de/wissen/app-statt-pille-die-grossen-schwaechen-der-verhuetung-per-handy/21050016.html.

Zendle, D. und Cairns P. (2018). Video game loot boxes are linked to problem gambling: Results of a large-scale survey. PLoS ONE 13(11): e0206767.

Zhao, J. et al. (2017). Men also like shopping: Reducing gender bias amplification using corpus-level constraints. Proceedings of the 2017 Conference on Empirical Methods in Language Processing, 2979–2989. https://www.aclweb.org/anthology/D17-1323.pdf.

Zimmerman, F. J., Christakis, D. A. und Meltzoff, A. N. (2007). Associations between media viewing and language development in children under age 2 years. Journal of Pediatrics, 151, 364–368.

Zuboff, S. (2019a). Surveillance capitalism and the challenge of collective action. New Labor Forum, 28, 10–29.

Zuboff, S. (2019b). The age of surveillance capitalism. London: Profile Books (Deutsch 2018: Das Zeitalter des Überwachungskapitalismus. Frankfurt am Main: Campus).

Zuboff, S. (24. Januar 2020). You are now remotely controlled. The New York Times. https://www.nytimes.com/2020/01/24/opinion/sunday/surveillance-capitalism.html.

Zuckerberg, M. (12. April 2018). We need to rely on and build more AI tools to help flag certain content. CNBC. https://www.youtube.com/watch?v=riFuznlZvyY.

Zuckerman, E. (14. August 2014). The Internet’s original sin. The Atlantic. https://www.theatlantic.com/technology/archive/2014/08/advertising-is-the-internets-original-sin/376041/.

Zweig, K. A. (7. April 2017). Watching the watchers: Epstein and Robertson’s »search engine manipulation effect.« Algorithm Watch. https://algorithmwatch.org/en/watching-the-watchers-epstein-and-robertsons-search-engine-manipulation-effect/.

BILDTEIL

1  Täuschung neuronaler Netze. Links: Das Bild eines Schulbusses, das von einem tiefen neuronalen Netz richtig erkannt wird. Mitte: Ein Pixelmuster (hier um einen Faktor zehn vergrößert), das von einem »gegnerischen« Algorithmus gefunden wurde. Rechts: Das Muster in der Mitte wird dem Bild des Schulbusses links hinzugefügt, daraus ergibt sich das rechte Bild. Jetzt erkennt das neuronale Netz den Schulbus nicht mehr, sondern klassifiziert ihn als einen Vogel Strauß (Szegedy et al., 2014).

2  Ein tiefes neuronales Netz hält Streifen irrtümlich für einen Schulbus. Das Bild links (wie in 1 links) wird korrekt als Schulbus klassifiziert. Aber das Netzwerk ist sich auch zu 99 Prozent sicher, dass das Bild rechts ein weiterer Schulbus ist. Nach Szegedy et al. (2014) und Nguyen et al. (2015, © IEEE).

3  Ein Beispiel für die Farbaufkleber, die die Vorhersagen neuronaler Netze zum Verkehrsfluss stören, wenn sie auf die T-Shirts von Fußgängern oder auf Autohecks angebracht werden. Diese Sticker sind »universell« in dem Sinne, dass sie nicht ein bestimmtes Netz stören, sondern größere Klassen von Netzen. Es genügt, wenn ein Sticker knapp ein Prozent des ganzen Bildes überdeckt. © Max-Planck-Institut für intelligente Systeme 2019.

4  Das neuronale Netz hat gelernt, das Bild links korrekterweise als Gitarre zu identifizieren, ist sich aber zu 99,9 Prozent sicher, dass es sich bei dem Bild auf der rechten Seite ebenfalls um eine Gitarre handelt. Nach Szegedy et al. (2014) und Nguyen et al. (2015, © IEEE).

5  Bildlegenden, die von einem tiefen neuronalen Netz erzeugt wurden. Die Objekte erkennt das Netz meistens richtig, täuscht sich aber bei den Beziehungen zwischen den Objekten, bei den mentalen Zuständen der Menschen und den physikalischen Kräften, die am Werk sind. Mit freundlicher Genehmigung von Gabriel Villena Fernández/Wikicommons, picture alliance/AP Images und picture alliance/AP Photo/Dave Martin.

6  Handy-Bett. Kinder lernen die Gewohnheit, ihr Handy in sein kleines Bett zu legen, bevor sie selbst ins Bett gehen. Während es »schläft«, lädt sich das Handy – wie der Mensch – mit Energie auf. Das Bild zeigt die ursprüngliche deutsche Version, die von der Auerbach-Stiftung vertrieben wird.

Jetzt anmelden

DATENSCHUTZHINWEIS

Table of Contents

EINLEITUNG

Teil 1

1

2

3

4

5

6

Teil 2

7

8

9

10

11

DANK

ANMERKUNGEN

LITERATUR

BILDTEIL

Newsletter-Anmeldung