Jeg kan ikke finde på nogen fornuftige indvendinger, og intuitivt giver det bestemt også god mening.

68% vil ligge indenfor 1 sigma, 95% indenfor 2 sigma o.s.v., så det er mere sandsynligt, at meningsmålingen ligger tæt på den sande værdi end længere væk fra. Bruger jeg formlerne fra linket, så kommer jeg frem til, at 45% af meningsmålingerne i dit eksempel skal ligge indenfor 0,8 procent-point fra det sande resultat. så ja, det er stadigvæk godt ramt, at 9 ud af 9 meningsmålinger ligger mindre end 0,8 procent-point væk fra.

Godt spørgsmål, om meningsmålingernes afvigelser er normalfordelte om det sande resultat. Jeg ville være tilbøjelig til at svare nej. Jeg har selv engang lært, at det sande resultat med lige stor sandsynlighed (de typiske 95%) kan ligge inden for hele usikkerhedsintervallet – men jeg er ikke sikker.

Mht. hvor godt de rammer partierne: Det er i hvert fald tydeligt, at de rammer meget mere svingende på fx. Dansk Folkeparti (i 2007), som jo også fungerer som protestparti for nogle vælgere.

Jeg ved ikke, om liste A udmærker sig med specielt trofaste vælgere, hvis man ser over en række valg, men det er nærliggende at tro, at A og V er (eller måske snarere har været) blandt de mest stabile.

Mange tak for din informative uddybning. Det ser ud til, at jeg var for skråsikker, og at du har ret.

Det er meget interessant, hvis man kan med efterstratificering kan få mindre usikkerheder.

Ja, man må give institutterne ved valget 2007, at de har ramt rigtig godt. Dog vil jeg umiddelbart mene, at meningsmålingernes afvigelser fra det sande resultat vil være normalfordelt om det sande resultat, hvorfor de små afvigelser måske alligevel ikke er ekstraordinære små.

Ved du, om det er generelt, de rammer ekstra godt ved liste A? I givet fald kunne det jo tyde på, at der er nogle afhængigheder, mellem hvad man stemte på sidste gang og denne gang, der er stærkere ved socialdemokraterne end de andre partier.

Landsresultat liste A 14-11-2007 25,5

Seneste meningsmåling
Megafon/TV 2 12-11-2007 25,2
Catinét/Ritzau 12-11-2007 25,8
Synovate-Vilstrup/Politiken 13-11-2007 26,3
Rambøll/JP 12-11-2007 25,8
Sentio 12-11-2007 25,4
Epinion/DR 12-11-2007 25,3
Gallup/Berling. 12-11-2007 25,5
Greens/Børsen 12-11-2007 24,9
Altinget 25,5

Typisk stikprøvestørrelse: 1100
Matematisk usikkerhed ved n=1100 og andel =25,5%:
ca +/- 2,6%-point.
Dertil skal man lægge din nævnte usikkerhed på diverse bias – som jeg i øvrigt fuldt ud anerkender.

Jeg havde overset, at du nævner det med vægtning – beklager.

Og ja, det er efter bogen, at institutterne typisk befinder sig et sted inden for intervallet +/- 0-2%-point i et givent tilfælde, men det er slående, HVOR tæt de rent faktisk rammer på fx. Socialdemokraterne ved de seneste valg.

Forklaringen er, efter min bedste overbevisning, at institutterne udnytter den statistiske afhængighed mellem de nævnte variable – særligt afhængigheden mellem stemme ved seneste valg og stemme ved kommende valg – og dermed slår de i praksis den matematiske usikkerhed, der knytter sig til en simpel tilfældig udtrækning, hvor alle har lige stor chance for at blive udtrukket.

Det svarer jo lidt til at lave en stratificeret udvælgelse. Herom skriver Søren Risbjerg (førende valgforsker fra Århus Universitet) følgende i Politica bind 27 (95):
Det er en udbredt misforståelse, at en simpel tilfældig stikprøve er den bedste form for udvælgelse. Faktisk får man med den samme stikprøvestørrelse i reglen større sikkerhed, dvs. mindre fejlmargen, med stratificeret tilfældig udvælgelse (se for eksempel Mortensen, 1994: 217-241).

Så nej, jeg mener nu stadig, at jeg har ret.

Tak for kommentaren.

Nej, du tager fejl. Den usikkerhed, jeg angiver, er den rent matematiske/statistiske usikkerhed, der altid vil være ved en tilfældig udvælgelse. Den usikkerhed kan du ikke slippe af med.

Oven i denne usikkerhed kommer så metodeusikkerheden, som analyseinstitutterne prøver at gøre så lille så muligt ved at korrigere, som du beskriver. Prøv læs linket til Journalisthøjskolens gennemgang sammen med linket til Wikipedia. Den usikkerhed, jeg angiver formlen for, er den mindst opnåelige.

(Jeg har i øvrigt ikke overset de vægtninger, som analyseinstitutterne foretager, i mit indlæg. Jeg skriver ganske kort om dem i mit indlæg og nævner helt specifikt problemstillingen med DF.)

Jeg forstår ikke, hvad du mener med, at analyseinstitutterne rammer bedre end man burde forvente? Hvis usikkerheden er 2%-point, så betyder det jo, at i 95% af tilfældende vil den sande værdi være mindre end 2%-point væk fra meningsmålingens værdi. Så ja det er helt efter bogen, at meningsmålingerne normalvis er tættere på det rigtige resultat end usikkerheden.

På den måde undgår de de store skæverter, som simpelt tilfældigt udtrukne stikprøver indimellem vil give.

Hvis du ser på, hvor godt de faktisk rammer op til valgene, er det også tydeligt, at de klarer sig bedre, end man egentlig burde forvente ud fra din beregnede usikkerhed.

Der hvor de for alvor har problemer, er når folk svarer uærligt (fx. DF-stemmer) – og så er der selvfølgelig tidsfaktoren (altså at folk kan nå at ombestemme sig, fra de kontaktes, og til de stemmer).

Hertil skal så lægges den usikkerhed, der ligger på forskellige bias. De skal formentlig lægges sammen ved at tage root mean square.

Men på trods af det så opgiver analyseinstitutterne kun “random sampling error”, som det ses af linket til undersøgelsen fra Greens Analyseinstitut.

Jeg har regnet efter, og det opgivne konfedensinterval i linket er beregnet efter formlen: u = 1,96*sqrt(p*(1-p)/N).

Med andre ord så medregner analyseinstitutterne ikke usikkerheden på de justeringer, de laver på de indsamlede data.

Mvh