Vortrag: Bias vermeiden

Am Dies Academicus haben einige Debattierer den Vortrag „Bias in Expert Decision Making“ von Dr. Itiel E. Dror vom University College London besucht. Im folgenden wollen wir eine Zusammenfassung geben und dann eigene Ideen einbringen.

Was ist Bias?

Bias bezeichnet eine Voreingenommenheit bezüglich Personen oder Resultaten. Während Diskriminierung oder Homophobie bewusste Phänomene sind, ist Bias ein unbewusster, subjectiver Prozess der allerdings messbar und voraussagbar ist. So werden attraktive Menschen als kompetenter wahrgenommen, Violinisten als besser bewertet wenn bekannt ist, dass sie männlich sind und Wein schmeckt besser wenn er aus einer teuren Flasche kommt. Kurz: Bias ist ein unbewusster, unbeabsichtigter und stark kontextabhängiger Prozess. Außerdem tritt er vor allem in subjektiven Einschätzungen auf, diese sind aber häufig unvermeidbar (etwa vor Gericht) und nicht unbedingt schlecht.

Die Unbewusstheit von Bias

Den meisten Menschen (und besonders Experten) ist nicht bewusst, wie stark sie von Bias betroffen sind. Als Illustration dazu eine optischen Illusion: Wie viele F enthält der folgende Satz? „Finished files are the result of years of scientific study combined with the experience of years..“

Bei der Präsentation sagten die meisten drei, obwohl es sechs sind; der Mechanismus der uns das „f“ in „of“ überlesen lässt, kann auch bei Bewertungen wichtige Informationen verschleiern.

Andererseits lassen wir uns aber auch oft von Informationen beeinflussen, die eigentlich irrelevant sind; etwa bei einem Angeklagten die kriminelle Vorgeschichte, Hautfarbe oder soziale Schicht. Wie etwa die Bilderkennungsexperten, die ein unleserliches Nummernschild nicht entziffern können, aber eine bekannte Nummer darin entdecken können. Genau wie bei der optischen Illusion kann man nicht durch Willensanstrengung, Introspektion oder Trainings diesen Effekten entgegenwirken.

Wie kann man Bias minimieren?

Stattdessen sollte man versuchen, möglichst wenig Informationen in die Entscheidungsfindung einzubringen: Wenn man nicht weiß welches Geschlecht, Hautfarbe, etc. ein Angeklagter hat, kann man sich auch nicht davon beeinflussen lassen. Eine mögliche Technik dazu ist das Linear Sequential Unmasking (LSU). Man überlegt sich zuerst, welche Information wann relevant ist und erlaubt sich erst dann Zugriff auf diese; insbesondere trennt man die Aufnahme von Fakten und ihre Interpretation.

Ein Arzt könnte sich also – anstelle zuerst die medizinische Vorgeschichte herauszufinden – sich einen kurzen, unbeeinflussten Blick erlauben und dann versuchen die ihm nun bekannten Fakten im Licht der Vorgeschichte zu interpretieren. Dann läuft er nicht in Gefahr ein wichtiges Detail zu übersehen, weil er eine von Anfang an gefestigte Diagnose hat.

Wenn das nicht möglich ist, man etwa als Lehrer die Arbeit eines nervigen Schülers korrigieren muss, kann man immernoch nach einer zweiten Meinung fragen. Hierbei muss man jedoch höllisch aufpassen, dass nicht die Wahl der Person die man um Rat fragt, die Informationen die man ihr bereit stellt und ob man noch eine dritte Meinung einholt nicht vom gewünschten Ergebnis abhängen.

Kritik des Vortrags

Wir fanden den Vortrag größtenteils spannend, wenn auch repetitiv und belehrend. Während die angebotenen Methoden sicherlich die pathologischen Beispiele vom Anfang (und sicherlich viele in der realen Welt) verbessern können, war es uns unklar, wie man diese auf weniger triviale Beispiele ausdehnen kann. Auf Nachfrage konnte der Dozent auf diese dann auch keine Antwort finden; stattdessen wolle er lieber zuerst diese einfacheren Probleme („low-hanging fruit“) aus der Welt schaffen.

So war uns nach dem Vortrag unklar, wie man etwa einen gesamten Gerichtsprozess mit LSU so strukturieren kann, dass man nicht nach dem Auftauchen von neuer Beweise dann doch gebiast agiert (etwa nur bei weißen Angeklagten einen Experten einschaltet). Ebenso kann ja auch der Kontext den man dann doch weitergibt gebiast sein; wir glauben z.B. dass es unmöglich ist, Bewerbungen von solchen Effekten zu befreien: Selbst wenn Namen und Fotos nicht mehr auftauchen, können Ehrenämter (eventuell unerwünschte) politische Einstellungen verraten.

Bayessche Einschätzungen

Der Vortrag hat leider auch die bayessche Einschätzung von Fakten (beliebt vor allem in der Effective Altruism Community) ignoriert. Das Problem ist, dass Menschen häufig nicht wissen wie relevant eine neue Information ist und sich dann zu sehr in eine Richtung beeinflussen lassen.

Angenommen ein Angeklagter ist nach bisheriger Einschätzung mit 50-prozentiger Wahrscheinlichkeit schuldig. Wir finden heraus, dass er kein Alibi hat. Wie wahrscheinlich ist es jetzt, dass er schuldig ist? Es wirkt ziemlich belastend, oder? Nachdem dein Lieblingsdebattierer eine Reihe von Argumenten vorgebracht hat („Er hat wenig Freunde und lebt in den Bergen, also kann er ja kein Alibi haben“, „Aber er schreibt ja dauernd auf Twitter und zu der Zeit war er offline“..), beschließt du dass die Wahrscheinlichkeit kein Alibi zu haben trotz Unschuld bei 60% liegt und die Wahrscheinlichkeit kein Alibi zu haben bei gleichzeitiger Schuld bei 90%. Daraus ergibt sich dann die Wahrscheitlichkeit der Schuld unter Berücksichtigung des neuen Faktes als:

Das heißt, das mangelnde Alibi sollte viel weniger ins Gewicht fallen, als es unsere Intuition uns weismachen will.

Weiterlesen

Das Thema ist extrem interessant; Jason Collins hat eine lustige und gut erklärte Einführung geschrieben.

Möchtest du zu solchen Vorträgen mitkommen? Wir kündigen Sie auf unserer Mailingliste an; du kannst dich hier eintragen.