Die Meinungen von Jurys und Publikum können oft weit auseinander liegen. Das zeigt sich alljährlich bei kulturellen Bewerben, vom Eurovision Song Contest bis zum Bachmannpreis. Doch können Expert*innen die Qualität der Darbietungen dank ihrer Erfahrung wirklich besser beurteilen? Oder ist doch das Publikum der bessere – und neutralere – Gradmesser?

Diese Frage hat sich Roberto Asmat vom Department für Volkswirtschaft an der WU Wien gestellt: „In vielen Bereichen – von Aktienportfolios bis Weinverkostungen – konnte die Forschung zeigen, dass Expert*innenmeinungen nur geringe Aussagekraft haben“, erklärt er. „Im Gegenzug gibt es eine reichhaltige Literatur zur ‚Weisheit der Massen‘, die besagt, dass große Gruppen oft bessere Einschätzungen treffen.“

Gemeinsam mit Karol J. Borowiecki von der Süddänischen Universität und Marc T. Law von der University of Vermont hat sich Roberto Asmat daran gemacht, diese Frage aus einer neuen Perspektive zu ergründen. Zu diesem Zweck haben sie bisher wenig beachtetes Datenmaterial analysiert: die Ergebnisse von Wettbewerben in klassischer Musik.

Jury und Publikum sind sich selten einig

Für ihre Studie haben die Forscher 370 Musikbewerbe analysiert, die zwischen den Jahren 1979 und 2021 in 22 verschiedenen Ländern abgehalten wurden und bei denen sowohl Jury als auch Publikum Preise an ihre favorisierten Interpret*innen vergaben. „Unsere Analyse zeigt, dass die Expert*innen und Zuhörer*innen nur zu 38 Prozent in ihrem Urteil übereinstimmen“, erklärt Roberto Asmat. Je nach Instrumentengruppe und Land konnte dieser Wert zwar deutlich schwanken – doch Einigkeit herrschte zwischen Jury und Publikum nur selten.

Überraschenderweise fanden die Forscher deutliche Hinweise darauf, dass Expert*innen in ihrem Urteil nicht sehr neutral sind: Laut ihrer Analyse wirkt es sich negativ auf die Jury-Bewertungen aus, wenn Performer*innen weiblich sind und aus dem Land stammen, in dem ein Wettbewerb ausgerichtet wird. Haben die Expert*innen also einen Bias gegenüber Frauen und Einheimischen? „Die Bewertung von künstlerischen Darbietungen ist letztlich eine Frage des Geschmacks und immer subjektiv, insofern muss man das Wort ‚Bias‘ hier mit Vorsicht verwenden“, sagt Roberto Asmat.

Doch die Daten geben auch ein objektives Kriterium her, mit dem sich die subjektiven Urteile der Jurys vergleichen lassen: die Wahrscheinlichkeit, zukünftige Bewerbe zu gewinnen. Roberto Asmats Analyse zeigte: Diese Wahrscheinlichkeit erhöht sich, wenn Performer*innen Publikumspreise gewinnen – aber bei Jurypreisen tut sie das nicht. Wenn es also darum geht, zukünftigen Erfolg vorherzusagen, ist das Urteil des Publikums aussagekräftiger als die Bewertungen der Jury: „In diesem Kontext kann man sehr wohl von Expert*innenbias in Bezug auf Geschlecht und Nationalität sprechen.“

Über Geschmack lässt sich streiten

Eine mögliche Erklärung wäre die Zusammensetzung der Jurys: Traditionell sitzen mehr Männer als Frauen in Jury-Sesseln, woraus sich ein Nachteil für Frauen ergeben könnte. Doch diese Erklärung wäre zu kurz gegriffen: „Es ist zwar naheliegend, dass Repräsentation in Jurys einen gewissen Effekt hat, aber er kann nicht besonders groß sein“, sagt Roberto Asmat. „Wir haben keine statistisch signifikanten Zusammenhänge zwischen dem Geschlecht, der Nationalität oder der Muttersprache von Jury-Mitgliedern und Gewinner*innen gefunden.“

Was die Zusammensetzung des Publikums betrifft, haben die Forscher keine vergleichbaren Daten. Doch hier zeigte sich ohnehin eine überraschende Neutralität: Die Zuhörer*innen bei den analysierten Wettbewerben hatten keinen vergleichbaren Bias in Bezug auf Geschlecht oder Nationalität. In anderen Kontexten würden Publikumswertungen eine deutliche Schlagseite zeigen, was die Nationalität der Performer*innen angeht, erklärt Roberto Asmat – auch hier ist wieder der Eurovision Song Contest mit seinen Nationen-Blöcken ein typisches Beispiel. Doch zumindest für klassische Musik gilt das offenbar nicht.

Was sagen uns diese Ergebnisse also darüber, wie sich künstlerische Darbietungen bewerten lassen? „Diskussionen über die Qualität von Kunst sind so alt wie die Kunst selbst“, resümiert Roberto Asmat. „Unsere Arbeit zeigt jedenfalls, dass in diesen Diskussionen die Stimmen von Amateur*innen mindestens so wertvoll sind wie die von Spezialist*innen.“

Detaillierte Ergebnisse der Studie und weitere Informationen

Roberto Asmat, Karol J. Borowiecki, Marc T. Law: Do experts and laypersons differ? Some evidence from international classical music competitions. Journal of Economic Behavior & Organization, Volume 214, 2023.
Link zum Paper