Warum Fehler nicht nur menschlich sind, sondern auch Maschinen inhärent innewohnen, hat Martina Heßler im Blick. Wir sprachen mit der Technikhistorikerin über Fehlerkultur im Zeitalter komplexer Technologien, über Null-Fehler-Strategien, ein Museum der Unfälle und die Frage, was Design für eine positive Fehlerkultur tun kann.

Interview von Armin Scharf

Macht uns der Umgang mit Fehlern zu Experten?

Absolut. Die amerikanische Medienwissenschaftlerin Lisa Nakamura hat vor einigen Jahren davon gesprochen, dass wir Expert*innen des Nichtfunktionierens geworden sind. Sie sagt, wir sollen stolz darauf sein, dass wir diese Fähigkeiten entwickelt haben, im Alltag damit umzugehen.

Wenn Maschinen, die eigentlich den Nimbus der Fehlerfreiheit haben, dann aber doch Fehler produzieren, tröstet uns das in gewisser Weise angesichts unserer menschlichen Unvollkommenheit?

Ja, durchaus. Es gibt ja dieses Phänomen, dass man Technik vermenschlicht oder vertierlicht. Mit der Fehlerhaftigkeit der Maschinen geht oft eine anteilnehmende Anthropomorphisierung einher. Dann sind die Maschinen nicht mehr die Überlegenen, sondern brauchen unsere Hilfe. Etwa der Staubsaugroboter, der sich in Kabeln verfängt und ohne unser Einschreiten nicht mehr funktioniert.

Auf der anderen Seite beobachten wir auch Wut, wenn Technik nicht das macht, was wir von ihr erwarten – Stichwort Computer-Rage. Funktionieren Computer nicht, werden manche Leute aggressiv. Es gibt dieses schöne Beispiel eines Mannes, der in den USA seinen Computer im Hinterhof erschossen hat, weil er es nicht mehr aushielt, dass dieses Gerät nicht das macht, was er will. Interessant finde ich, dass er viel Anteilnahme erfahren hat, obwohl es ja ein ziemlich irrationaler und irgendwie auch erschreckender Vorgang ist.

Sie plädieren in Ihrem Buch dafür, den Stein, den Sisyphus hochrollt, einfach liegen zu lassen. Was meinen Sie damit?

Technologie wird immer komplexer und undurchschaubarer. Mit den aktuellen KI-Systemen und dem Quantencomputer haben wir eine neue Stufe nicht durchschaubarer Technologie erreicht. Wir produzieren neue Technik, benötigen aber weitere Technologien, um diese zu kontrollieren. Wir befinden uns in einer technologischen Steigerungsspirale. Mit dem Liegenlassen meine ich, dass wir vielleicht innehalten sollten, um zu überlegen, ob wir den Pfad der Komplexitätssteigerung verlassen und besser nach anderen, also nicht technologischen oder weniger komplexen technologischen Lösungen suchen sollten.

In Baden-Württemberg hat man kürzlich 1440 Geisterlehrer entdeckt. Also Lehrerstellen, die vom Verwaltungssystem irrtümlich als besetzt gemeldet wurden. Wie lassen sich solche Fehler erklären?

Ich finde sehr bemerkenswert, dass dieser Fehler so lange unbemerkt blieb. Soweit ich informiert bin, wurde eine Kommission eingesetzt, um die Gründe zu klären. Ob es ein banaler Fehler im Code war oder ein Zusammenwirken verschiedener Faktoren, ist scheinbar noch nicht klar. Leider wird der Öffentlichkeit kaum erklärt, wie diese Fehler zustande kamen. Aber mitunter verstehen ja selbst Softwareentwickler nicht, woran der Fehler lag. Das ist ein interessantes Phänomen, das bereits in den 1970er Jahren festgestellt wurde. Für ein gesellschaftliches Bewusstsein über Softwarefehler wäre aber Transparenz wichtig. Wir müssen also dranbleiben. Ich als Wissenschaftlerin und Sie als Journalist.

Das stimmt. Vielleicht würde uns das auch beim Thema KI weiterhelfen, die ja alles andere als fehler- oder vorurteilsfrei als Blackbox arbeitet.

KI geht definitiv mit einer neuen Kategorie von Fehlern einher, also neue Typen und Ursachen. Wir brauchen Kenntnisse über die Art und Gründe der Fehler, man muss verstehen, warum KI diese Fehler macht, ihre statistische Funktionsweise begreifen und wissen: Diese Fehler sind inhärent im System. Ich nenne das „Error Literacy“. Wachsamkeit und ein reflektierter Umgang sind von enormer Bedeutung. Weil diese Technologie so schwer zu verstehen ist, sind wir auf kompetente Hilfe angewiesen. Es gibt aber inzwischen viele Informationsquellen, die uns KI erklären. Katharina Zweig, wenn ich sie nennen darf, hat dieses schöne Buch „Die KI war’s“ geschrieben, in dem sie erklärt, wie diese Fehler zustande kommen, vor ihnen warnt und sagt, dass wir genau abwägen müssen, wo wir die KI anwenden können und wo nicht. 

Machen wir einen Switch zum Design, das zwischen Mensch und Maschine vermittelt. Kann Design helfen, Fehlerhaftigkeit zu kommunizieren oder gar zu reduzieren?

Designer:innen haben eine zunehmend wichtigere Aufgabe. Wir müssen über den Begriff Usability neu nachdenken und darüber, ob man ihn nicht widerständiger interpretieren sollte.

Wie meinen Sie das?

Es sollte meines Erachtens nicht ausschließlich darum gehen, Technik möglichst einfach und angenehm nutzbar zu machen. Design sollte die Maschinenhaftigkeit sichtbar machen und nicht den Weg der Anthropomorphisierung gehen, also die Technik vermenschlichen oder gar verniedlichen. Das gilt für KI-Anwendungen und auch für Roboter. Dabei sollte auch deren Fehlerhaftigkeit ersichtlich werden. Design zeigt, dass Maschinen nicht fehlerfrei sind, auch wenn uns das suggeriert wird. Da muss man kreativ sein, aber Designer:innen können das. Auf jeden Fall ist ein kleiner schriftlicher Hinweis wie bei ChatGPT, man möge doch bitte alles prüfen, nicht ausreichend.

Das würde aber das Perfektions-Versprechen des Marketings und der Werbung konterkarieren, oder?

Ein wichtiger Aspekt, denn wir erwarten ja eigentlich, dass Geräte oder Anwendungen fehlerfrei sind. Es ist auch eine Frage der Verantwortung. Vielleicht erinnern Sie sich an den Crowdstrike-Software-Ausfall, der beispielsweise flächendeckend Flughäfen und auch Krankenhäuser lahmlegte. Das Unternehmen versprach daraufhin öffentlich, dass so etwas nie wieder vorkomme. Ein Versprechen, das so nicht haltbar ist. Man hätte kommunizieren sollen, was zu tun ist, um auf diese Ausfälle vorbereitet zu sein – und zwar nicht nur seitens der Hersteller, sondern auch seitens der User.

Künftig dürften wir es mit immer mehr autonom agierenden Systemen zu tun bekommen. Wie die mit uns Menschen kommunizieren, ist noch unklar. Ist das ein schönes Feld für Kommunikationsdesigner*innen?

Die Mensch-Maschine-Interaktion ist ja ein sehr etabliertes Designfeld. Aber mit den autonomen Maschinen kommen, wie schon gesagt, tatsächlich neue Herausforderungen auf uns zu. Letztlich muss die Maschine so kommunizieren, dass Menschen sie verstehen, sollte aber selbst nicht menschenähnlich auftreten. Leider wird häufig anthrompomorphiosiert oder verniedlicht, etwa, wenn autonome Lieferfahrzeuge große, vielleicht sogar blinzelnde Augen bekommen. Man sollte vielmehr zeigen, dass man mit einem autonomen System kommuniziert, also mit Maschinen, die bestimmte Grenzen haben. Das können Kommunikationsdesigner*innen nicht alleine lösen, dazu braucht es interdisziplinäre Teams mit Psychologen und Soziolog*innen. Wie wir autonome Systeme gestalten sollten, ist eine sehr relevante, herausfordernde und noch zu wenig diskutierte Frage.

Tolerieren wir bei einem Ding, das nahezu perfekt gestaltet ist eigentlich mehr oder eher weniger Fehler?

Im Grunde erwarten wir immer fehlerfrei arbeitende Maschinen. Aber ja, bei perfekt gestalteten Geräten steigt diese Erwartung nochmals, wir sind dann enttäuscht oder sogar wütend, wenn Fehler sichtbar werden.

In Ihrem Buch greifen Sie eine Idee von Paul Virilio auf, der ein „Museum der Unfälle“ anregte. Eine interessante Idee, was wäre da zu sehen? 

Virilios Grundthese ist: Jede Technologie hat ihre eigenen Fehler. In diesem Museum würde man lernen, welche Technologie mit welchen Fehlern einhergeht und welche Konsequenzen das hat – vom Eisenbahnunfall bis zur Atomkraft. Man würde unterschiedliche Fehlerursachen sehen, die Komplexitätszunahme verstehen und mögliche Konsequenzen erkennen. Es müsste auch aufzeigen, dass viele Fehler keine Konsequenzen haben – und so unser Expertentum schulen, einzuschätzen, wann Fehler von Bedeutung sind und wann nicht. Leider will bisher niemand dieses Museum der Unfälle bauen. Ich finde es aber eine extrem faszinierende Idee. 

Immer wieder taucht bei Ihnen der Begriff „Technikchauvinismus“ auf. Was ist das?

Der Begriff stammt von der US-Journalistin Meredith Broussard. Er meint: Indem wir Maschinen als etwas Perfektes oder Überlegenes betrachten, werten wir uns als Menschen ab. Wir kennen diese Stereotype: Maschinen werden nicht müde, sind objektiv, rational, streiten nicht. Demgegenüber werden Menschen als Probleme dargestellt. Wir sollten fragen: Was kann die Maschine tatsächlich besser? Dahinter stehen Werte wie Effizienz, Produktivität, Präzision, Schnelligkeit. Brauchen wir diese Werte in allen Situationen? Müssen wir nicht hinschauen, ob in bestimmten Kontexten andere Werte wichtiger wären, die wir nicht mit Technologie erreichen können? Dass ein Taschenrechner besser rechnet, ist okay. Aber ob wir in Pflegeheimen Roboter als Lösung brauchen – das sollten wir viel stärker diskutieren, auch auf Designebene.