Am 9. September 2005 wurden im ZDF-Politbarometer von Bettina Schausten die neuesten Umfrageergebnisse der Forschungsgruppe Wahlen e.V. zur Sonntagsfrage publik gemacht. Aus Kosten- und Zeitgründen kann nur ein winziger Bruchteil der über 60 Millionen Wahlberechtigten befragt werden. Die Forschungsgruppe Wahlen hat diesmal 1299 Wahlberechtigte vom 6. bis 8. September befragt, deren Telefonnummern ausgelost wurden. Von diesen haben (angeblich) 73% gesagt, sie seien sich in ihrer Wahlentscheidung sicher (dass sie entweder an der Wahl nicht teilnehmen werden oder sicher sind, welche Partei sie wählen werden). Das Umfrageergebnis lautete

Offensichtlich ist es nicht repräsentativ für alle Wahlberechtigten, denn es hängt davon ab, welche 1299 (genauer 950) Wahlberechtigte ausgelost wurden und bei der Sonntagsfrage eine definitive Parteiangabe machten. Verschiedene Auslosungen führen zu verschiedenen Ergebnissen. Für jede Partei gibt es deshalb nicht eine Prozentzahl, sondern ein ganze Palette von möglichen Prozentzahlen. Welche Prozentzahl die richtige ist, lässt sich nicht feststellen. Für die Beurteilung des Informationswertes einer Umfrage ist es daher unerlässlich, diese Bandbreite für jede Partei zu kennen. Die Bandbreiten lassen sich mit Hilfe einer Computersimulation ermitteln, in welcher eine große Anzahl von Auslosungen durchführt wird. Die folgende live Computersimulation von 1000 Umfragen demonstiert eindrücklich, dass die durch Auslosung verursachten Fehler beträchtlich sind. Die Darstellung von Umfrageergebnissen mit ganzen Prozentzahlen ist eine systematische und bewußte Irreführung der ZDF-Zuschauer, die Angabe von Trends (in Klammern) ist eine Unvefrorenheit sondergleichen. Es kommt nämlich praktisch nicht vor, dass die Fehler für alle Parteien unter 1% liegen, wie dies Bettina Schausten durch die Angabe ganzer Prozentzahlen im ZDF-Politbarometer laufend suggeriert. Am häufigsten sind Fehler zwischen ±2% und ±3% für eine große Partei bzw. zwischen ±1% und ±1,5% für eine kleine Partei. Die Wahrscheinlichkeit hierfür beträgt rund 40%! Mit einer Wahrscheinlichkeit von gut 30% treten Fehler zwischen ±1% und ±2% für eine große Partei auf bzw. zwischen ±0,5% und ±1% für eine kleine. Und mit einer Wahrscheinlichkeit von rund 20% (!) verursacht die Auslosung sogar Fehler zwischen ±3% und ±4% für eine große Partei bzw. zwischen ±1,5% und ±2% für eine kleine! Simulationen mit einer feineren Fehler-Abstufungen zeigen: Der auslosungsbedingte Spielraum für große Parteien beträgt ±4,2% bzw. ±2,1% für kleine Parteien. Das Umfrageergebnis lautet dann nicht Union 41%, SPD 34%, Grüne 7%, FDP 7%, neue alte Linke 8% - wie im ZDF präsentiert - sondern

CDU/CSU SPD Bündnis 90/Grüne FDP neue alte Linke
36,8 - 45,2 29,8 - 38,2 4,9 - 9,1 4,9 -9,1 5,9 - 10,1

Berechnungsgrundlage: 950 Befragte mit definitiver Parteipräferenz (73% der 1299 Befragten) und die Prognose soll mit einer Wahrscheinlichkeit von 95% richtig sein. Die potentiell weit größeren Fehlerquellen - wie z.B. falsche Angaben, Antwortverweigerung, erfolglose Kontaktversuche, fehlerhafte Auslosung usw. - sind dabei nicht berücksichtigt.

Fazit. In einer Situation, wo es auf wenige Prozentpunkte ankommt, sind Umfragen für die Katz. Das wahre Umfrageresultat hat keinerlei Informationswert, denn es lässt alles offen. Es ist nicht einmal sicher, dass die SPD hinter der Union liegt und FDP und Grüne die 5%-Hürde schaffen. Das Umfrageergebnis lässt die Möglichkeit offen, dass

In der ZDF-Politbarometer-Republik werden alle Parteien wunschlos glücklich, denn das Umfrageergebnis lässt sich biegen bis zum Geht-nicht-mehr. Die Parteien können sich nach Herzenslust daran bedienen. Ein paar süffige Beispiele:

Im ZDF-Politbarometer werden die Umfrageergebnisse als genau präsentiert. Die Moderatorin Bettina Schausten - ihres Zeichens gelernte katholische Theologin und seit Januar 2003 auch erste Geigerin in der ZDF-Hauptredaktion Innenpolitik - erklärt am Schluss der Sendung jeweils lammfromm, die Forschungsgruppe Wahlen habe (etwa) 1250 Wahlberechtigte telefonisch befragt und die Umfrageergebnisse seien aussagekräftig für alle Wahlberechtigten. Man darf wohl davon ausgehen, dass das ihre eigenen Worte sind, und dass sie nicht als Sprechblase für einen ZDF-Texter operiert, der im Hintergrund agiert. Wie die Forschungsgruppe Wahlen die Befragten zusammentrommelt, lässt Bettina Schausten außen vor. Ihr Vorgänger, der promovierte Politologe Thomas Bellut, war bei der Wortwahl etwas vorsichtiger. Er wählte sinngemäß stets die Ausdrucksweise "Die Forschungsgruppe Wahlen hat (etwa) 1250 zufällig ausgewählte Wahlberechtigte telefonisch befragt. Damit ist die Befragung aussagekräftig für die wahlberechtigte Bevölkerung in ganz Deutschland."

Der Internetseite des ZDF-Politbarometers kann man allerdings entnehmen, dass davon keine Rede sein kann, und dass die Zahlen wegen der Zufallsauswahl höchst ungenau sind, was übrigens Dr. Thomas Bellut vor langer Zeit einmal in einer Politbarometersendung eingestanden und eigenhändig vorgeführt hat. Für große Parteien sollen die Fehler bis zu +/- 2,7% betragen, für kleine bis zu +/- 1,4% (siehe Infobox der Forschungsgruppe Wahlen am Schluss der langen, mittleren Textspalte des ZDF-Politbarometers). In Wirklichkeit sind sie weit größer, denn die Fehlerberechnung der Forschungsgruppe Wahlen ist falsch: Da wird klammheimlich vorausgesetzt, dass

Selbst wenn man nur diese eingestandenen Fehler in Rechnung stellt, dann müsste das Umfrageergebnis im ZDF wie folgt dargestellt werden (wie das Dr. Thomas Bellut übrigens einmal in einer Politbarometersendung getan hat)

CDU/CSU SPD Bündnis 90/Grüne FDP neue alte Linke
38,3 - 43,7 31,3 - 36,7 5,6 - 8,4 5,6 - 8,4 6,6 - 9,4

Das heißt im Klartext, dass die Umfrage ist für die Katz gewesen ist. Denn Union und FDP schaffen die Mehrheit oder eben nicht. Nur das möchte die versierte Seelenhirtin und erste Geigerin Bettina Schausten den Politbarometer-Gläubigen doch nicht zumuten. Wie groß wäre wohl ihre Einschaltquote, wenn sie das offen ausspräche? Statt Klartext inszeniert sie eine farbenprächtige Show mit bewährter Liturgie: Prunkvolle Grafiken und geschminkte Prozentzahlen, musikalisch umrahmt von demoskopischer Lautmalerei. Fürwahr eine gelungene ZDF-Produktion - ganz im Stil von "son et lumière" -, es fehlte nur noch das Schloss Sans Souci als Hintergrundkulisse.


Technische Information:

Die in der ersten Tabelle angegeben Fehler, die durch die Zufallsauswahl der befragten Wahlberechtigten verursacht werden, kann man auch als Laie mit Hilfe der Misserfolgs-Statistik von Umfragen verifizieren. Es zeigt sich, dass etwa

4% der Umfragen (Auslosungen) die Toleranzen von +/- 1% für die großen Parteien und +/- 0,5% für die kleinen einhalten

36% der Umfragen (Auslosungen) die Toleranzen von +/- 2% für die großen Parteien und +/- 1% für die kleinen einhalten

75% der Umfragen (Auslosungen) die Toleranzen von +/- 3% für die großen Parteien und +/- 1,5% für die kleinen einhalten

94% der Umfragen (Auslosungen) die Toleranzen von +/- 4% für die großen Parteien und +/- 2% für die kleinen einhalten

Detaillierte Resultate kann man der unten angeführten Tabelle entnehmen. Etwa 95% der Umfragen (Auslosungen) vermögen die Toleranzen von +/- 4,2% für große Parteien und +/- 2,1% für kleine einzuhalten. Aber knapp 5% der Umfragen (Auslosungen) schaffen nicht einmal das. Mit andern Worten, in jeder zwanzigsten Umfrage (Auslosung) übersteigt der Fehler für eine große Partei +/- 4,2% oder für eine kleine Partei +/- 2,1%!


Grundlage der Simulation: 1.000.000 Wiederholungen, Parteistärken laut Politbarometer vom 9.9.2005, ebenso Stichprobenumfang (1299) und Wahlbeteiligung (73%)

Maximale Abweichung eingehalten von
für große Parteien für kleine Parteien (in Prozent von 1.000.000 Umfragen)
1,0% 0,5% 5%
1,2% 0,6% 8%
1,4% 0,7% 14%
1,6% 0,8% 20%
1,8% 0,9% 28%
2,0% 1,0% 36%
2,2% 1,1% 45%
2,4% 1,2% 53%
2,6% 1,3% 61%
2,8% 1,4% 68%
3,0% 1,5% 75%
3,2% 1,6% 80%
3,4% 1,7% 85%
3,6% 1,8% 88%
3,8% 1,9% 91%
4,0% 2,0% 93,8%
4,2% 2,1% 95,5%
4,4% 2,2% 96,8%
4,6% 2,3% 97,8%
4,8% 2,4% 98,5%
5,0% 2,5% 98,9%
>5,0% >2,5% 1,1%