STATISTIK. ”Det är lätt för den som är okritisk, okunnig eller fördomsfull att missbruka eller tolka resultaten av statistisk metodik.” Carsten Palmer Schale redogör för hur svårt det är att uttala sig säkert kring den pågående coronaspridningen även om många medierubriker ger en motsatt bild.
När det gäller den samlade coronasituationen i Sverige och världen, översköljs vi praktiskt taget dagligdags av vetenskapligt rotade siffror om både det ena och det andra. Från rent deskriptiv statistik över läget i nutid till exempelvis prognoser baserade på olika typer av sannolikhetskalkyler. Ingen enskild sagesman har troligen rätt på alla punkter, och ingen har knappast heller fel på alla punkter. Det beror (bland annat) på vad som skall redovisas, vilka metoder man använder och vilka grundantagandena och grundperspektiven är. Ja, till och med ”målen”. Ändå är en del egotrippat tvärsäkra, medan andra är mer vetenskapligt nyanserade. Dessutom skall det hela filtreras genom sensationalistiska rubriksättare och rampljusfamlande krönikörer. Den försiktighet som jag uppfattar som nödvändig, så här tidigt under spridningsförloppet, och med de stora kunskapsluckor som återstår att fylla, är prekär.
Och detta gäller inom forskningen och bland våra professionella journalister. För oss amatörer är det nästan omöjligt att orientera sig bland alla redovisade data. Men även några av våra mer prominenta professorer och ledarskribenter förefaller mig gå upp i avslöjande falsett när de hamnar i offentlighetens korsdrag. Samtidigt bör båda dessa grupper, och vi själva, vara i alla fall rudimentärt medvetna om de mer enkla felkällorna – eller ”fallgroparna” – när det gäller exempelvis statistiken.
Skillnaden mellan statistisk teori och sannolikhetsteori skall jag bara belysa med ett enkelt exempel. Om man ur ett tillverkat parti, bestående av kända antal korrekta och defekta enheter, slumpmässigt tar ut ett stickprov av enheter kan man efter lämpligt modellval med sannolikhetsteorins hjälp beräkna sannolikheten att man skall finna 0, 1, 2, …, defekta enheter i stickprovet. Om partiets sammansättning istället är okänd, kan man på grundval av det observerade antalet defekta enheter i stickprovet genom utnyttjande av statistisk teori dra slutsatser om antalet defekta enheter i partiet.
I det första fallet är uppenbarligen modellen helt specificerad (ty man känner ju partiets sammansättning), medan den i det senare fallet innehåller en okänd storhet (nämligen antalet defekta i partiet). Analoga problem förekommer på många andra områden – exempelvis rörande intervjuer med experter eller – och särskilt – amatörer om orsaker till, effekter av, frekvenser inom den aktuella coronapandemin. Hoppar jag nu över en något speciell kommentar inses åtminstone, att de teoretiska slumpmodellerna kan ha mycket skiftande tillämpning. I värsta fall finns dessutom mer eller mindre dolda ”agendor”.
Den möjlige läsaren av detta varnas hurusom uttryckligen för att sammanblanda modellen med verkligheten. I annat fall är det lätt att begreppsförvirring uppstår. I vilket fall som helst bör det vara klokt att umgås varsamt med uttalanden sådana som ”det är statistiskt bevisat att…”. Det är det ofta sällan. I min egenskap av forskare (i sociologi och filosofi) har jag dessutom ofta stött på uttryck som ”all vetenskap säger…”. Jag har aldrig stött på en sådan verklighet. Det vanliga är snarast att all vetenskap inte alls är enig.
Procenttal ser snygga och oskyldiga ut i tryckta tabeller, men man vet inte alltid vad som döljer sig bakom dem.
Ofta hävdas förresten att ”man kan bevisa vad som helst med statistik”. Tyvärr ligger det åtskilligt i detta. Det är lätt för den som är okritisk, okunnig eller fördomsfull att missbruka – eller tolka resultaten av – statistisk metodik. Å andra sidan kan det vara svårt även för den som är kritisk, kunnig och försiktig att rätt bruka dessa metoder och resultat. På grund av detta skall jag här ge exempel på ett tiotal fallgropar, som läsaren måhända kan tycka är löjligt enkla att avslöja. För det aktuella syftet skull – att introducera själva den vanliga närvaron av sådana fallgropar – beaktas endast totalundersökningar, men det som sägs kan också tillämpas på stickprovsundersökningar.
Populationen är inte den avsedda
En läkare önskade efterundersöka alla som genomgått magsårsoperation vid ett stort sjukhus under en viss tidsperiod. Genom brev, telefonsamtal och besök kom han i kontakt med 70 procent av dessa. Den undersökta populationen var sålunda ej den avsedda, och resultaten kunde troligen inte generaliseras till den större populationen. Varför inte?
Populationen är olämpligt definierad
Av 100 nybörjare i ett universitetsämne tenterade endast 20 inom 3 år. Nybörjare inkluderade alla som besökt introduktionsmötet (varav många sedan genast valde annat ämne). Förslag till bättre definition?
Problemställning vald med hänsyn till resultatet
Denna statistiska dödssynd är vanlig inom inte minst politik och reklam. Efter ett val stod exempelvis alla partier som segrare; ett hade fler röster än alla andra tillsammans, ett annat hade aldrig haft så många röster tidigare, ett tredje hade ökat procentuellt mest av alla sedan föregående val. Viktig sensmoral: Definiera problemet innan data insamlas!
Olämpligt mått på undersökt egenskap
I en församling uppgavs skilsmässofrekvensen ett år till 46 procent, ty 100 äktenskap hade ingåtts under året och 46 hade upplösts genom skilsmässa. Med denna metod skulle frekvensen kunna bli större än 100 procent! Hur borde man ha gjort?
Felaktigheter vid datainsamling
Av 100 fäder och mödrar i en fastighet förklarade 27 att de läst en känd kvällstidning för innevarande dag. En av de tillfrågade svarade vid påringningen på dörren kl 8 på morgonen sanningsenligt att han inte läst dagens nummer av tidningen. (Intervjuaren hade troligen inte hunnit med det önskvärda antalet kvällen innan och fann det praktiskt med en komplettering morgonen därpå.) Sensmoral: Procenttal ser snygga och oskyldiga ut i tryckta tabeller, men man vet inte alltid vad som döljer sig bakom dem.
Avvikande data
Insamlade data får aldrig strykas, om man inte har mycket starka skäl för att tro att de är felaktiga. Exempel: 33 560, 34 930, 20 000, 41 300, 316 000, 38 200, 39 300, 30 100
Får det avvikande värdet 316 000 strykas? Ingalunda, ty siffrorna anger årslönen för personalen vid ett litet företag, och det diskutabla värdet är direktörens lön.
Illusorisk noggrannhet
En ornitolog räknade flyttfåglar vid en fågelstation. En dag kom på förmiddagen en svärm på grovt räknat 100 stycken. På eftermiddagen kom en svärm på ett 50-tal. I kvällningen passerade tre fåglar. I summakolumnen för dagen noterades 153 fåglar. Vi skall fortsätta med några fallgropar som avser jämförelse av flera populationer.
Olika definitioner
Statistiska data från olika länder är ofta vanskliga att jämföra på grund av bristen på enhetliga definitioner. Ja, till och med från olika delar av samma land. Av liknande skäl måste även jämförelser mellan år inom samma land ske med försiktighet. Exempel: Från 1938 till 1939 ökade antalet motorcyklar i Sverige från 43 551 till 110 262. Förklaringen är till största delen att lättviktarna räknades som motorcyklar från och med 1939.
Störande faktorer
Ett textilföretag påstod att rationaliseringsarbetet gett goda resultat: antalet tillverkade meter per år hade ökat från 2,0 miljoner till 2,5 miljoner. I själva verket var situationen oförändrad från effektivitetssynpunkt. Av de 2,0 miljoner meterna hade man bytt ut 0,5 miljoner mot en vara som gick dubbelt så fort att tillverka.
Eller:
En forskare fann, att frekvensen av en viss sjukdom hos modern var minst om förlossningen skedde i hemmet, större om den skede på en vanlig kirurgavdelning och störst om den skedde på en specialavdelning. Bevisar detta, att det är säkrast att föda barn hemma?
Sensmoral: Tag reda på de störande faktorerna innan siffror jämförs!
Falska samband
Ett klassiskt exempel: En pedagog observerade att i en population av skolbarn i olika åldrar visade de som hade de största fötterna att de läste innantill bäst. Orsakar alltså stora fötter god innanläsningsförmåga? Svar: nej, däremot har de äldre barnen i genomsnitt större fötter och bättre läsförmåga än de yngre.
Anmärkning: Det är lätt att le åt detta sista exempel, men svårt att korrekt fastställa orsakssamband.
Vidare: i enkla sammanhang är det ofta (men inte alltid!) lätt att genomskåda bisarrt felaktiga slutsatser, särskilt när vi tänker igenom vad vi egentligen talar om, och inte bara reflexmässigt svarar ja eller nej på en fråga om huruvida någon kausalitet föreligger eller inte – och på vilket sätt. Ja, den bakomliggande variabeln (åldern), som exempelvis förklarar såväl fotstorlek som läsförmåga bland barn är ju så att säga självfallen, när vi väl fått syn på den. Dock krävs inte särskilt mycket mer komplexa sammanhang för att det ska bli mycket svårare att genomskåda och fastställa graden och typen av orsaksförhållanden. Den nuvarande coronapandemin är självklart oerhört komplicerad, och därför också oerhört svår att bedöma i termer av orsak och verkan, frekvenser och åtgärder, kortsiktigt och långsiktigt etcetera.
Alldeles uppenbart är det därför också så, att alla de exempel vi ovan givit på ”fallgropar” föreligger i den nuvarande pandemiska situationen.
Populationen är inte den avsedda. Nej, bortfall i en undersökning, exempelvis, borde mer än ofta rikta uppmärksamheten mot bortfallet snarare än det som inte fallit bort. Bortfallet är ofta kraftigt avvikande från genomsnittet av en rad skäl. Exempelvis att prevalensen av (subjektivt) upplevda covid-19-symptom kan variera starkt mellan olika grupper.
Populationen är olämpligt definierad. Ja, gruppen utlandsresenärer i februari kan ju till exempelvis kraftigt variera med hänsyn till både destinationsort och resvecka, och därmed också med hänsyn till exponeringen av den aktuella corona-smittan.
Problemställning vald med hänsyn till resultatet. Detta är sannerligen en metodisk dödssynd. Är problemet dödsfall på grund av direkt utsatthet för covid-19 – eller indirekt utsatthet (ångest, våld, arbetslöshet, missbruk)? Eller något helt annat?
Olämpligt mått på undersökt egenskap. Är en kortsiktigt hög covid-19-mortalitet en tillräckligt skarp indikator på ett starkt problematiskt corona-utfall – eller krävs exempelvis istället långsiktig samhällsskada i vidare mening?
Felaktigheter vid datainsamling. Är webbenkäter valida och reliabla nog i relation till frågan? Hemmatester? Förekommer självselektering som åstadkommer kraftig bias i något väsentligt avseende?
Avvikande data. Kan gatuadresserna i ett och samma stadsdelsområde producera egenartad covid-19-förekomst? Gatan där det lokala äldreboendet ligger?
Illusorisk noggrannhet. Hur mycket utnyttjar medierna – eller bortser medierna från – fördröjningseffekterna som orsakas av rapportsystem och helger?
Olika definitioner. Många länder – exempelvis Italien och Nederländerna – rapporterar bara dödsfall på sjukhus. I exempelvis Sverige och Belgien rapporteras också dödsfall på äldreboenden. Detta gör att mortaliteten knappast är rimligt jämförbar.
Störande faktorer. Byte av rapporteringssystem obstruerar jämförelser över tid – om inte systemen noggrant redovisas och analyseras innan slutsatser dras. Vilket leder över till en nödvändig betoning av frågan om hur mycket trassliga samband egentligen skall tolkas – och särskilt så över tid.
Komplicerade statistiska analyser och sannolikhetskalkyler
Ovan har jag bara antytt något om den matematiska statistiken. Experter på området, som dessutom behandlar mer komplexa relationer, använder sig naturligtvis av mer till mycket mer avancerad metodik och vidhängande terminologi, som sällan begrips av en genomsnittlig medborgare. Ett aktuellt exempel rörde ”felfaktorn” vid den första skattningen av flockimmunitet. Termer som signifikansnivåer, urvalskriterier, regressionsanalyser och så vidare förenklar inte för amatören. Bakomliggande variabler, och interaktioner mellan dessa pekar dock just på behovet av enkel och/eller multipel regression.
Samhällsvetenskap och humaniora
De hittills – och naturligt nog – mest framträdande forskarna i debatten har varit sådana som epidemiologer, smittskyddsläkare och virologer. Detta kommer på sikt inte att vara lika påfallande. Men redan mellan och inom dessa för den oinvigde näraliggande fält kan inte bara ”konflikter” uppstå, utan också flera sanningar – samtidigt. Ett av problemen med att grunda sina ståndpunkter i aldrig så relevanta och vetenskapligt legitima data handlar exempelvis om bearbetningen av rå- eller källdata.
Under denna process behöver två forskare som utgår från samma material inte alls vara eller bli ense: man är nämligen ofta ”partisk”. Detta har mindre ofta att göra med egentliga meningsskiljaktigheter, utan mer med ämnesspecialiteter som leder till olika perspektiv och ”blinda fläckar”. Ta bara detta: ”Att minska köttproduktionen är nästan alltid bättre än alternativa metoder när det gäller att minska koldioxidavtrycket. Därför bör växtbaserade dieter alltid förespråkas.” Mycket seriös forskning stöder också denna hypotes på en allmän nivå. Dock finns lika seriös forskning som inte stöder detta påstående förbehållslöst, eller som knappast stöder det alls. Denna forskning tar bland annat hänsyn till regionala variationer och proteinkvalitet.
Båda typerna, och fler, av forskare bortser dessutom ofta från variabler som vattenbrist, jorderosion, monokulturodling och samverkan mellan djuruppfödning och andra jordbruksförhållanden.
Därmed har vi plötsligt börjat tala i mer djurrättsfilosofiska termer – för övrigt oavsett hur vi ser på miljöförstöringen ur ett moraliskt perspektiv. Och har vi väl börjat går det knappt att sluta.
Om alla de nämnda faktorerna studeras, då? Kanske förblir resultaten, avseende köttproduktionens miljöpåverkan, desamma – eller inte. Men först då ”alla” (rimliga) faktorer, rörande den precisa frågan, beaktats kan data utgöra en solid grund för ett argument. Och nu har vi bara talat om ”relativt näraliggande faktorer och förhållanden”. Termerna är så att säga släkt inom diskursen ”köttproduktion och koldioxid”. Men det finns ju många andra aspekter som går att väga in. Ett rör djurens liv.
Därmed har vi plötsligt börjat tala i mer djurrättsfilosofiska termer – för övrigt oavsett hur vi ser på miljöförstöringen ur ett moraliskt perspektiv. Och har vi väl börjat går det knappt att sluta. Samhällsvetenskapliga (etnologiska, ekonomiska, sociologiska etcetera) perspektiv anmäler sig tämligen omgående. Men snart även mer humanistiska (narrativa, holistiska, historiska) och konstnärliga (gestaltningar, upplevelser, mening).
”Facit”
Många experter tycks i alla fall relativt eniga om att hela pandemin, med dess ursprung, förlopp, åtgärder och utfall, inte tillräckligt väl kommer att kunna besvaras förrän vi – om några år eller så – har ett ”facit”. Men även ett sådant facit kommer med stor sannolikhet att bli föremål för mer eller mindre debatt.
Facit avseende vilka specifika frågeställningar? Facit i vilket perspektiv? För vem? För vad? Nåja, någon sorts rimlig konsensus, även rörande helheten, kommer nog att bli möjlig att uppnå, även om debatten trots detta säkert kommer att fortsätta. Här och nu har vi ännu inte tillräckligt med kunskap om vare sig de enskilda detaljerna eller (och naturligtvis än mindre) någon form av samverkan mellan dessa.
Försiktighetsprincipen bör med andra ord tillämpas hela tiden – främst nu. Men alltså även senare; låt vara att förståelsen kommer att öka successivt. Att lyssna, läsa och lära – och ödmjukt diskutera – torde därför vara av nöden. Nästan all tvärsäkerhet måste ifrågasättas. Alltför vetenskapliga analyser kommer, å andra sidan, att vara och förbli svåra att presentera för den i många avseenden mindre insatta allmänheten.
Men med detta sagt: låt oss släppa fram all den kritiska diskussion, och alla de förment naiva frågor, som envar intresserad kan prestera. Allt annat är av ondo för såväl den upplysande fördjupningen och breddningen av synsätten som för det politiska klimatet. För övrigt ser jag ett löpande och lugnt utbyte av mer eller mindre välunderbyggda ”åsikter” som ett folkbildningsprojekt till gagn för både samhällets transparens, och därmed dess demokratiska – och tillitsskapande – fundament.
info@opulens.se
