Riesige Mehrheiten für Guttenberg?
Sind Meinungsumfragen wahr oder Täuschung?
Von Karl Weiss
Die Online-Umfrage der ‘Bild’ ergab überraschenderweise eine Mehrheit für den Rücktritt Guttenbergs, da nahm die Redaktion die Umfrage von der Seite und machte eine Telefon-Hotline auf, wo man bezahlen muss für den Anruf. Schon waren die Ergebnisse wie gewünscht. Wie „wahr“ sind eigentlich Meinungsumfragen zu politischen Themen und Wahlprognosen?
Der Mathematiker und Statistik-Professor Fritz Ulmer gab ein Interview und sein Urteil ist verheerend: „Wahlprognosen sind Täuschung!“, hier: http://www.wahlprognosen-info.de/archiv/shz.pdf (Achtung, pdf)
Wenn jene Umfragen (und das waren viele), die nach der Fälscher-Affäre Mehrheiten von 70% und mehr hinter Guttenberg stehen sahen, Wahrheit wären, so könnte speziell auf der Site der ‚Bild‘ schwerlich eine Mehrheit für Rücktritt auftauchen.
Die Bild-Redaktion glaubte offenbar diesen Umfragen und stellte die entsprechende Frage online. Das Ergebnis: Siehe oben.
Werden also solche Umfragen wie jene 70% absichtlich gefälscht? Werden sie eventuell sogar bestellt und gekauft?
Ulmer glaubt das eher nicht, aber er sagt, was als demoskopische Befragung ausgegeben wird, sind meist nur Telefonumfragen, die keinerlei Ansprüchen an Wissenschaftlichkeit (und damit an Wahrheit) standhalten.
Was tun die „Meinungsforschungsinstitute“, wenn bei ihnen eine Umfrage in Auftrag gegeben wird? Sie haben eine grosse Zahl von Telefonnummern im Computer und lassen eine Lotterie ablaufen, welche Telefonnummern diesmal befragt werden. Die werden dann angerufen und daraus wird das Ergebnis.
Wenn nun alle zum Telefon gingen und die Fragen beantworten, könnte das einer repräsentativen Auswahl aus der Bevökerung zumindest entfernt nahekommen. Aber, was die Institute gerne verschweigen: Etwa die Hälfte der Anrufe werden nicht abgenommen oder die Person will keine Fragen beantworten.
Da beginnt der „bias“ (In der wissenschaftlichen Demoskopie wird die englische Bezeichnung ‚bias‘ oder ‚biased‘ für eine Auswahl der befragten Personen genommen, die nicht für die ganze Bevölkerung repräsentativ ist). Anstelle der beabsichtigten Personen werden andere befragt, wiederum durch die "Lotterie" aus den Telefonnummern ausgewählt und schon hat man den 'bias' in der Umfrage.
Allerdings ist auch die Wahl des Telefons bereits bias-verdächtig. Wer kein Telefon hat oder keine Gelegenheit ans Telefon zu gehen, wenn die Meinungsforscher anrufen, wird nie befragt und schon ist die Wissenschaftlichkeit (was heisst Wahrheit) der Umfrage beeinträchtigt.
Zusätzlich gibt es da noch hundert Besonderheiten, die meist nicht berücksichtigt werden:
Nimmt man nur Festnetz-Nummern, werden vor allem Hausfrauen antworten (oder am Abend vor allem Familienvorstände) und die stellen keine repräsentative Auswahl dar. Nimmt man dagegen nur Handy-Nummern, hat man generell eine jüngere Auswahl, wiederum keine repräsentative. Aber auch wenn man beide nimmt, kann man diesen abweichenden Trend (bias) bekommen, eventuell sogar kumuliert, wenn z. B. Hausfrauen und Jüngere zu den gleichen Antworten neigen.
Bei jeder Telefonumfrage gibt es jene, die etwas falsch verstanden haben und daher falsch antworten und schliesslich auch solche, die absichtlich falsch antworten. Diese beiden lassen sich in der Eile von Hunderten von Telefonanrufen überhaupt nicht feststellen, das gibt schon die ersten Abweichungen.
Dann hat man schon keine wirklich zufällige Auswahl mehr, sondern bereits einen Trend (bias). Und der ‚bias‘ ist haargenau das, was eine solche Umfrage nutzlos macht. Sie haben automatisch eine Überzahl von Personen, die tagsüber zuhause sind (wenn sie am Tag anrufen) oder abends zuhause sind (wenn Sie abends anrufen) oder die ein ständig bereites Handy ständig beantworten und in allen diesen Fällen haben sie keinen repräsentativen Querschnitt der Bevökerung mehr.
Das nächste Problem ist die Zahl der Anrufe bzw. Antworten, die sie benutzen in jener Umfrage. Typisch bei Telefonumfragen, die innerhalb von ein oder zwei Tagen fertig sein sollen (so wie jetzt die zum Rücktritt oder nicht von Guttenberg) sind 500 Antworten (man ruft so lange an, bis man 500 Antworten hat). Nur ist das bei einer Bevölkerungszahl von 80 Millionen Bundesbürgern offensichtlich ein bisschen wenig.
In Wirklichkeit kann man, selbst wenn man alle genannten Faktoren berücksichtig, mit einer 500-Mann-Umfrage bestenfalls eine Genauigkeit von +/- 5 % erreichen, nach Aussagen des Fachmanns Ulmer. D.h. die grossspurige Aussagen, die Union habe ein Prozent hinzugewonnen seit der letzten Umfrage, ist grobe Täuschung.
Wenn die Union, sagen wir, bei einer 500-Mann-Telefonumfrage auf 31% kommt derer, die angeben, zur Wahl gehen zu wollen, so hat man in Wirlichkeit die Union bei 26 bis 36%. Da aber eine so ungenaue Aussage niemand haben will, tut man einfach so, als sei 31% eine zuverlässige Zahl. Das ist aber bewusste Täuschung.
Auch die Angabe, die manchmal noch in der Fussnote auftaucht, dass es sich um eine Genauigkeit von +/- 3% handelt, ist mit einer 500-Mann-Telefonumfrage auf keinen Fall korrekt. Für drei Prozent müsste man 2000 bis 3000 Menschen befragen.
Will man eine Genauigkeit von +/- 1% erreichen, müsste man nach Herrn Professor Ulmer 100 000 Menschen befragen.
Man kann auch andere Mittel der Demoskopie anwenden, wie z.B. ein fester Panel von Personen, die bereits genau ausgesucht wurden, die für jede Umfrage bezahlt werden und einigermassen genau einen repräsentativen Querschnitt der Bevölkerung darstellen. Hat man etwa 2500 Personen in einem solchen Panel, kann man, wenn alles sehr gut ausgetüftelt ist, eine +/-1%-Genauigkeit erreichen, jedenfalls dann, wenn andere Einflüsse auszuschliessen sind.
Vor allem kann man mit den Personen-Panels die Probleme mit den Telefonumfragen umgehen.
Hat man Zeit, kann man auch für eine einzelne Umfrage einen Panel zusammenstellen, der grosse Chancen hat, sehr nahe an einer repräsentativen Auswahl zu liegen. Da muss man dann von Tür zu Tür gehen und die Leute auf der Strasse ansprechen und dann versuchen, die repräsentative Auswahl herzustellen und dann diejenigen dieser Auswahl einladen und zu gleich einer Menge von Themen befragen.
Aber das, was wir in den Zeitungen und Magazinen – oder auch im Internet lesen, („eine neue Meinungsumfrage ergibt ein Prozent mehr für die Grünen“) sind alles bias-Telefonumfragen, die mit falschen Angaben über die Genauigkeit arbeiten und nicht die Spanne +/- 5% angeben, sondern einen bestimmten Wert. Das sind bewusste Täuschungen und keine demoskopischen Umfragen. Man kann sie schlicht vergessen.
Was hat es nun mit den verschiedenen Umfragen auf sich, die sich in den letzten Tagen zu widersprechen schienen, was das pro und Contra um Guttenberg angeht? „Meinungsforscher“ – wir wissen nun, was wir von ihnen zu halten haben – fanden in den meisten Fällen hohe Zahlen im Bereich von 55 bis 75 % der Unterstützung für Guttenberg. Die Umfragen in Zeitungen und Magazinen und im Internet dagegen, wie auch die ganz oben erwähnte im Internet-Auftritt der ‚Bild‘, ergaben Mehrheiten gegen Guttenberg, z.B. eine von 61% im ‚Spiegel‘ und mit 54% in ‚Bild‘.
Weder das eine (wie wir oben gesehen haben), noch das Andere sind Umfragen, die den Anforderungen an wissenschaftliche Demoskopie gerecht werden. Das heisst nicht, die Wahrheit liegt in der Mitte, sonder dass in jenem weiten Bereich alles wahr sein kann: Von 40% bis 65 % gegen Guttenberg bis 40 bis 75% für ihn ist alles möglich. Man kann da auch kein Mittel bilden.
Wir wissen also nur: Deutschland ist geteilter Meinung über Guttenberg und das ist natürlich nichts Neues, das hatten wir schon, als er über seine Kenntnisse zur Kundus-Affäre log und zwei hohe Militärs feuerte, um davon abzulenken.
Von Karl Weiss
Die Online-Umfrage der ‘Bild’ ergab überraschenderweise eine Mehrheit für den Rücktritt Guttenbergs, da nahm die Redaktion die Umfrage von der Seite und machte eine Telefon-Hotline auf, wo man bezahlen muss für den Anruf. Schon waren die Ergebnisse wie gewünscht. Wie „wahr“ sind eigentlich Meinungsumfragen zu politischen Themen und Wahlprognosen?
Der Mathematiker und Statistik-Professor Fritz Ulmer gab ein Interview und sein Urteil ist verheerend: „Wahlprognosen sind Täuschung!“, hier: http://www.wahlprognosen-info.de/archiv/shz.pdf (Achtung, pdf)
Wenn jene Umfragen (und das waren viele), die nach der Fälscher-Affäre Mehrheiten von 70% und mehr hinter Guttenberg stehen sahen, Wahrheit wären, so könnte speziell auf der Site der ‚Bild‘ schwerlich eine Mehrheit für Rücktritt auftauchen.
Die Bild-Redaktion glaubte offenbar diesen Umfragen und stellte die entsprechende Frage online. Das Ergebnis: Siehe oben.
Werden also solche Umfragen wie jene 70% absichtlich gefälscht? Werden sie eventuell sogar bestellt und gekauft?
Ulmer glaubt das eher nicht, aber er sagt, was als demoskopische Befragung ausgegeben wird, sind meist nur Telefonumfragen, die keinerlei Ansprüchen an Wissenschaftlichkeit (und damit an Wahrheit) standhalten.
Was tun die „Meinungsforschungsinstitute“, wenn bei ihnen eine Umfrage in Auftrag gegeben wird? Sie haben eine grosse Zahl von Telefonnummern im Computer und lassen eine Lotterie ablaufen, welche Telefonnummern diesmal befragt werden. Die werden dann angerufen und daraus wird das Ergebnis.
Wenn nun alle zum Telefon gingen und die Fragen beantworten, könnte das einer repräsentativen Auswahl aus der Bevökerung zumindest entfernt nahekommen. Aber, was die Institute gerne verschweigen: Etwa die Hälfte der Anrufe werden nicht abgenommen oder die Person will keine Fragen beantworten.
Da beginnt der „bias“ (In der wissenschaftlichen Demoskopie wird die englische Bezeichnung ‚bias‘ oder ‚biased‘ für eine Auswahl der befragten Personen genommen, die nicht für die ganze Bevölkerung repräsentativ ist). Anstelle der beabsichtigten Personen werden andere befragt, wiederum durch die "Lotterie" aus den Telefonnummern ausgewählt und schon hat man den 'bias' in der Umfrage.
Allerdings ist auch die Wahl des Telefons bereits bias-verdächtig. Wer kein Telefon hat oder keine Gelegenheit ans Telefon zu gehen, wenn die Meinungsforscher anrufen, wird nie befragt und schon ist die Wissenschaftlichkeit (was heisst Wahrheit) der Umfrage beeinträchtigt.
Zusätzlich gibt es da noch hundert Besonderheiten, die meist nicht berücksichtigt werden:
Nimmt man nur Festnetz-Nummern, werden vor allem Hausfrauen antworten (oder am Abend vor allem Familienvorstände) und die stellen keine repräsentative Auswahl dar. Nimmt man dagegen nur Handy-Nummern, hat man generell eine jüngere Auswahl, wiederum keine repräsentative. Aber auch wenn man beide nimmt, kann man diesen abweichenden Trend (bias) bekommen, eventuell sogar kumuliert, wenn z. B. Hausfrauen und Jüngere zu den gleichen Antworten neigen.
Bei jeder Telefonumfrage gibt es jene, die etwas falsch verstanden haben und daher falsch antworten und schliesslich auch solche, die absichtlich falsch antworten. Diese beiden lassen sich in der Eile von Hunderten von Telefonanrufen überhaupt nicht feststellen, das gibt schon die ersten Abweichungen.
Dann hat man schon keine wirklich zufällige Auswahl mehr, sondern bereits einen Trend (bias). Und der ‚bias‘ ist haargenau das, was eine solche Umfrage nutzlos macht. Sie haben automatisch eine Überzahl von Personen, die tagsüber zuhause sind (wenn sie am Tag anrufen) oder abends zuhause sind (wenn Sie abends anrufen) oder die ein ständig bereites Handy ständig beantworten und in allen diesen Fällen haben sie keinen repräsentativen Querschnitt der Bevökerung mehr.
Das nächste Problem ist die Zahl der Anrufe bzw. Antworten, die sie benutzen in jener Umfrage. Typisch bei Telefonumfragen, die innerhalb von ein oder zwei Tagen fertig sein sollen (so wie jetzt die zum Rücktritt oder nicht von Guttenberg) sind 500 Antworten (man ruft so lange an, bis man 500 Antworten hat). Nur ist das bei einer Bevölkerungszahl von 80 Millionen Bundesbürgern offensichtlich ein bisschen wenig.
In Wirklichkeit kann man, selbst wenn man alle genannten Faktoren berücksichtig, mit einer 500-Mann-Umfrage bestenfalls eine Genauigkeit von +/- 5 % erreichen, nach Aussagen des Fachmanns Ulmer. D.h. die grossspurige Aussagen, die Union habe ein Prozent hinzugewonnen seit der letzten Umfrage, ist grobe Täuschung.
Wenn die Union, sagen wir, bei einer 500-Mann-Telefonumfrage auf 31% kommt derer, die angeben, zur Wahl gehen zu wollen, so hat man in Wirlichkeit die Union bei 26 bis 36%. Da aber eine so ungenaue Aussage niemand haben will, tut man einfach so, als sei 31% eine zuverlässige Zahl. Das ist aber bewusste Täuschung.
Auch die Angabe, die manchmal noch in der Fussnote auftaucht, dass es sich um eine Genauigkeit von +/- 3% handelt, ist mit einer 500-Mann-Telefonumfrage auf keinen Fall korrekt. Für drei Prozent müsste man 2000 bis 3000 Menschen befragen.
Will man eine Genauigkeit von +/- 1% erreichen, müsste man nach Herrn Professor Ulmer 100 000 Menschen befragen.
Man kann auch andere Mittel der Demoskopie anwenden, wie z.B. ein fester Panel von Personen, die bereits genau ausgesucht wurden, die für jede Umfrage bezahlt werden und einigermassen genau einen repräsentativen Querschnitt der Bevölkerung darstellen. Hat man etwa 2500 Personen in einem solchen Panel, kann man, wenn alles sehr gut ausgetüftelt ist, eine +/-1%-Genauigkeit erreichen, jedenfalls dann, wenn andere Einflüsse auszuschliessen sind.
Vor allem kann man mit den Personen-Panels die Probleme mit den Telefonumfragen umgehen.
Hat man Zeit, kann man auch für eine einzelne Umfrage einen Panel zusammenstellen, der grosse Chancen hat, sehr nahe an einer repräsentativen Auswahl zu liegen. Da muss man dann von Tür zu Tür gehen und die Leute auf der Strasse ansprechen und dann versuchen, die repräsentative Auswahl herzustellen und dann diejenigen dieser Auswahl einladen und zu gleich einer Menge von Themen befragen.
Aber das, was wir in den Zeitungen und Magazinen – oder auch im Internet lesen, („eine neue Meinungsumfrage ergibt ein Prozent mehr für die Grünen“) sind alles bias-Telefonumfragen, die mit falschen Angaben über die Genauigkeit arbeiten und nicht die Spanne +/- 5% angeben, sondern einen bestimmten Wert. Das sind bewusste Täuschungen und keine demoskopischen Umfragen. Man kann sie schlicht vergessen.
Was hat es nun mit den verschiedenen Umfragen auf sich, die sich in den letzten Tagen zu widersprechen schienen, was das pro und Contra um Guttenberg angeht? „Meinungsforscher“ – wir wissen nun, was wir von ihnen zu halten haben – fanden in den meisten Fällen hohe Zahlen im Bereich von 55 bis 75 % der Unterstützung für Guttenberg. Die Umfragen in Zeitungen und Magazinen und im Internet dagegen, wie auch die ganz oben erwähnte im Internet-Auftritt der ‚Bild‘, ergaben Mehrheiten gegen Guttenberg, z.B. eine von 61% im ‚Spiegel‘ und mit 54% in ‚Bild‘.
Weder das eine (wie wir oben gesehen haben), noch das Andere sind Umfragen, die den Anforderungen an wissenschaftliche Demoskopie gerecht werden. Das heisst nicht, die Wahrheit liegt in der Mitte, sonder dass in jenem weiten Bereich alles wahr sein kann: Von 40% bis 65 % gegen Guttenberg bis 40 bis 75% für ihn ist alles möglich. Man kann da auch kein Mittel bilden.
Wir wissen also nur: Deutschland ist geteilter Meinung über Guttenberg und das ist natürlich nichts Neues, das hatten wir schon, als er über seine Kenntnisse zur Kundus-Affäre log und zwei hohe Militärs feuerte, um davon abzulenken.
Karl Weiss - 25. Feb, 01:01
