Bias in scatterplots

Abstract

Prior beliefs of viewers are a significant factor of bias when working with visualizations. This belief bias can easily be evoked by axis labels and context, leading to an influence on a viewers interaction with and analysis of said visualization. Even for low level visual analytic tasks, viewer beliefs show themselves as an influence, where one would otherwise hope viewers would be entirely objective. Through a user study, I show how belief triggering axis labels can influence a viewer’s correlation estimates of scatter plots when compared to the same plots with neutral X/Y labels. Viewers first reported their beliefs in six variable pairs that are used as labels later. The viewer’s baseline correlation estimates of plots with X/Y labels were gathered, and compared to the estimates of the same plots, but with belief triggering labels (i.e. Income/Happiness). When viewers believed in the relation of the variables, they increased their correlation estimates. Meanwhile when they believed them not to be related, they decreased their estimates. Further more, this effect extends to the viewer’s gaze behavior. Viewers with different belief strengths showed different levels of fixation on outliers, increasing or decreasing from their baseline dependent on belief strength. They also generally showed different shifts in attention distribution across the plots. The results reaffirm the possible effect of belief on even low level analytic tasks, and suggest an effect on viewer perception akin to selective attention or increased salience of features that align with existing belief. These findings can aid researchers working on visualizations techniques and dynamic visualization systems that aim to recognize and mitigate such cognitive biases. Die a priori Glauben eines Betrachter zeigen einen signifikanten Bias bei der Nutzung von Visualisierungen. Dieser Belief-Bias kann durch die Achsenbeschriftung und Kontext hervorgerufen werden und beeinflusst die Interpretation und Interaktion mit der Visualisierung. Dies gilt sogar für grundlegende visuell-analytische Aufgaben, wobei man hoffen würde, dass Betrachter mit den objektiven Werten der Visualisierung übereinstimmen. Durch eine Studie demonstriere ich, wie Glauben hervorrufende Achsenbeschriftungen im Vergleich zu neutralen Achsenbeschriftungen die Korrelationsschätzungen von Streudiagrammen beeinflussen. Teilnehmer melden zuerst die Stärke ihres Glaubens bezüglich sechs Variablenpaaren, welche für die Achsenbeschriftungen genutzt werden. Dem folgt die Erstschätzung der Streudiagramme, dessen Achsen mit X/Y beschriften sind, welches als Grundschätzung dient. Diese Schätzungen werden verglichen mit einer Zweitschätzung der selben Diagramme, mit den Glauben hervorrufenden Beschriftungen (z.B. Fleischkonsum/BMI). Relationen an welche Teilnehmer glauben, wurden im zweiten Durchgang höher geschätzt. Ebenso wurden Relationen, an welche Teilnehmer nicht glauben, niedriger geschätzt im zweiten Durchgang. Dieser Effekt zeigte sich möglicherweise auch im Blickverhalten der Teilnehmer. Unterschiedliche Glaubensstärken führten zu Änderungen im Blickverhalten bei beschrifteten Diagrammen. Diese sind verschiedene Maße an Fixationen auf Ausreißer und die Verteilung der Aufmerksamkeit über das gesamte Bild. Die Ergebnisse bestätigen den möglichen Einfluss von a priori Glauben auf visuell-analytische Aufgaben und deutet die Möglichkeit, dass der Effekt von Glauben auch das Blickverhalten beeinflusst. Dieser Belief-Bias führt möglicherweise zur Priorisierung oder Suche von visuellen Merkmalen, welche die a priori Glauben unterstützen. Diese Erkenntnisse können Forscher unterstützen bei der Kreation von Visualisierungstechniken und dynamischen Visualisierungssystemen, welche versuchen derartige kognitive Verzerrungen zu erkennen und zu beseitigen.