Die Emnid-Umfrage in Niedersachsen - richtig gelesen!

Der Nachrichtensender n-tv hat am 23. Januar 2003 Umfrageergebnisse des Instituts Emnid zur Landtagswahl in Niedersachsen veröffentlicht.
Richtig gelesen sehen diese Ergebnisse, die auf lediglich 501 Interviews basieren, wie folgt aus:

CDU SPD Bündnis90/Grüne FDP
39,6 - 52,4 30,6 - 43,4 5,8 -12,2 1,8 - 8,2

Fazit: Die Umfrageergebnisse von n-tv Emnid haben keinen Informationswert. Denn es steht nicht einmal fest, daß die CDU vor der SPD liegt, geschweige denn, daß Rotgrün die Wahl verliert, weil die FDP an der 5%-Hürde scheitern könnte. Mit einer Umfrage, in welcher lediglich 501 Wahlberechtigte befragt werden, kann man in einer Situation, wo wenige Prozente wahlentscheidend sind, nichts Vernünftiges aussagen.

Die Umfrageergebnisse werden nicht von einem unbekannten n-tv-Soldaten verlesen, sondern von Emnid-Chef Klaus-Peter Schöppner persönlich vorgetragen. Die mit viel Brimborium präsentierten Zahlen CDU 46%, SPD 37%, Grüne 9% und FDP 5% wurden als genaues Abbild der aktuellen Situation dargestellt, von Ungenauigkeiten war keine Rede. Daß die Zahlen von Emnid das Papier nicht wert sind, auf dem sie gedruckt sind, hat Emnid sogar notariell festhalten lassen. Ein Notar zu Bielefeld wurde von Emnid beauftragt, die folgende Prognose

CDU SPD Bündnis90/Grüne FDP
42,3 - 49,2 32,9 - 41,1 5,8 - 10,2 5,8 - 10,2

einen Tag vor der Bundestagswahl 1987 zu beglaubigen. Aber selbst diese vagen Zahlen seien nicht 100% sicher, sondern nur zu 90%, wie Emnid dem Notar anvertraute!

Hätte Emnid-Chef Klaus-Peter Schöppner diese Fehlertoleranz auch den n-tv-Zuschauern offenbart, dann hätte seine Prognose für Niedersachsen vom 23. Januar 2003 wie folgt gelautet:

CDU SPD Bündnis90/Grüne FDP
42,5 - 49,4 32,9 - 41,1 6,8 - 11,2 2,8 - 7,2

Als Lachnummer wunderbar, aber als Umfrageergebnis ungenießbar. Damit würde sich Emnid-Chef Klaus-Peter Schöppner die Einschaltquote Null einfahren. Weil das nicht Sinne von Emnid ist, wird offenbar vorgezogen, dieses Geheimnis nur mit dem Notar zu teilen.


Technische Information:

Die in der gelben Tabelle angegeben Fehler, die durch die Zufallsauswahl der befragten Wahlberechtigten verursacht werden, kann man auch als Laie mit Hilfe der Mißerfolgs-Statistik von Umfragen verifizieren. Man gibt in der Input-Spalte (linke Seite der Tabelle) die von Emnid angeführten Parteistärken (CDU 46, SPD 37, FDP 5, Grüne 9 Prozent) ein. Um das Ergebnis nicht zu verfälschen, sollte man für die PDS den Wert 0 eingeben. Im Block oben rechts gibt man als "Anzahl der Wahlberechtigten pro Umfrage" 501 an. Für die Wahlbeteiligung setzt man 74% ein - das war nämlich bei den letzten beiden Niedersachsen-Wahlen der Fall. Für die Anzahl der Umfragen wähle man zunächst 1000 - bei größeren Zahlen kann die Berechnung sehr lange dauern. Mit "LOS" wird die Simulation gestartet. In der unteren Tabellenzeile "Mißerfolgsstatistik" kann man das Resultat der Simulation detailliert ablesen. Es zeigt sich, daß etwa 89% der Umfragen die Toleranzen von +/- 4% für die großen und +/- 2% für die kleinen Parteien einhalten.
Detaillierte Ergebnisse kann man der Tabelle unten auf dieser Seite entnehmen: Es zeigt sich, daß knapp 95% der Umfragen die Toleranzen von +/- 6,4% bzw. +/- 3,2% einhalten. Aber 5% der Umfragen schaffen nicht einmal das. Mit anderen Worten: In jeder 20. Umfrage ist der Fehler für eine große Partei größer als +/- 6,4% oder für eine kleine Partei größer als +/- 3,2%!

Scherzfrage: Wie viele von 100 Umfragen schaffen es, die von Emnid vermarkteten Parteistärken (CDU 46, SPD 37, FDP 5, Grüne 9 Prozent) zu treffen?

Scherzfrage: Wie viele von 10000 Umfragen schaffen es, die von Emnid vermarkteten Parteistärken (CDU 46, SPD 37, FDP 5, Grüne 9 Prozent) zu treffen?

Maximale Abweichung
eingehalten von
für große Parteien für kleine Parteien (in Prozent von 100000 Umfragen)
1,0% 0,5% 2%
1,2% 0,6% 4%
1,4% 0,7% 6%
1,6% 0,8% 9%
1,8% 0,9% 13%
2,0% 1,0% 16%
2,2% 1,1% 21%
2,4% 1,2% 26%
2,6% 1,3% 31%
2,8% 1,4% 36%
3,0% 1,5% 41%
3,2% 1,6% 46%
3,4% 1,7% 51%
3,6% 1,8% 56%
3,8% 1,9% 60%
4,0% 2,0% 65%
4,2% 2,1% 69%
4,4% 2,2% 73%
4,6% 2,3% 77%
4,8% 2,4% 80%
5,0% 2,5% 83%
5,2% 2,6% 85%
5,4% 2,7% 88%
5,6% 2,8% 90%
5,8% 2,9% 91%
6,0% 3,0% 93%
6,2% 3,1% 94%
6,4% 3,2% 95%
6,6% 3,3% 96%
6,8% 3,4% 97%
>6,8% >3,4% 3%
Grundlage der Simulation: 100000 Wiederholungen, Parteistärken laut Forsa, ebenso Stichprobenumfang (501) und Wahlbeteiligung (74%).