Seos marihuaana legaliseerimise ja autokatastroofide vahel? Lollus

Oktoobris avaldasid maanteede kaotuse andmeinstituut ja maanteede ohutuse kindlustusinstituut ise avaldatud aruande, mis viitas sellele, et osariikides on tugev seos auto kokkupõrkeprotsentide ja marihuaana legaliseerimise vahel. See oleks ahistav uudis, kui leid tugineks tugevatele teaduslikele tõenditele.

Nende instituutide kahjuks on uurimisandmed parimal juhul udused. Ja kuna need organisatsioonid avaldasid aruande ise, selle asemel, et läbida teaduslik eksperdihinnangu protsess, on neid raske tõsiselt võtta.

Enne kui hakkame andmeid vaatama, peaksid lugejad mõistma, et kuigi maanteede kaotuse andmete instituut (HLDI) ja maanteede ohutuse kindlustusinstituut (IIHS) on kaks erinevat seaduslik organisatsioonidel on neil sama juhtiv juhtkond, sama füüsiline aadress ja tõenäoliselt palju rohkem. See jätab kõlama, nagu oleks tegemist kahe sõltumatu, üksteisega mitteseotud organisatsiooniga, kes leidsid kollektiivse meele ühendamisel sarnased tulemused, kuid see pole nii.

Pean seda artiklit alustama ka tavapärase teadusliku meeldetuletusega - korrelatsioon ei võrdu põhjuslikku seost. Kui ma viiksin läbi uuringu selle kohta, kuidas inimesed kesklinna linnas vihmavarjusid avavad, leian selle tegevuse ja vihma olemasolu vahel väga tugeva positiivse seose. Kuid me teame, et vihmavarju avamine ei põhjusta vihma sadamist. Siiski näitab teadus nende kahe vahel tugevat seost - viivad mõned kurvad ja tahtmatud teadlased vihjama, et põhjuslik seos on kindlasti olemas.

Valime oma kontrollriigid

Uues uuringus vaatas teadlane maanteeõnnetuste andmeid kolme sihtriigi kohta, kus marihuaana oli legaliseeritud väljaspool meditsiinilist kasutamist (Monfort, 2018). Seejärel võrdles ta nende osariikide õnnetuste määra viie kontrollriigiga (osariigid, mis piirnesid üldiselt legaliseeritud marihuaanariikidega). Näiteks sobitati Colorado kolme osariigiga: Nebraska, Utah ja Wyoming.

Näete probleemi juba, eks? Colorado jagab piire kuue osariigiga, mitte ainult kolme osariigiga: ka Arizona, New Mexico ja Kansas. Näeme sarnast probleemi ka teiste valitud kontrollseisunditega. Oregoni kontrollriigid olid Idaho (õige võrdlusriik) ja Montana - sisemaine riik, millel on vähe ühist ja millel puudub piir.

Teadlane põhjendas neid valikuid, kuna IIHSi sõsarorganisatsioon avaldas eelmise aruande, milles valiti need osariigid. Need nimetamata teadlased valisid osariigid, lähtudes korrelatsioonist - mõnikord mitte eriti tugevast - sarnasusest nende krahhi andmeedastuskiiruste vahel. Mitte demograafia, geograafia (keerulised mägiteed versus tasased põllud) või mõni muu põhjus.1 On vaieldav, kas „hooajalised kokkupõrkemustrid enne 2014. aastat” on õigustatud teaduslik võrdlusmuutuja kontrollseisundite valimisel, kui muud muutujad tunduvad palju sobivamad.

IIHSi pressiesindaja järelmeilis ütles ta, et teadlane soovib "kasutada kahte erinevat andmekogumit ja näha, kas tulemused oleksid sarnased. Erinevate kontrollseisundite kasutamisel poleks mõtet. ”

Nagu kauaaegsed lugejad teavad, saavad teadlased üsna palju oma andmete, analüüsi või hüpoteesiga manipuleerida, et näidata tulemusi, mida nad soovivad leida. See on üks põhjus, miks paljud inimesed on uuringute suhtes üldiselt skeptilised. Teadlane saab andmetega manipuleerida - nii sageli väga õigustatud ja mõjuvatel põhjustel - nii palju, et sissetoodud kallutatuse tuvastamine võib olla keeruline.

Selle uuringu puhul see nii ei olnud. Ma arvan, et eelarvamused on minu arvates üsna selgelt välja toodud.

11 analüüsi, kuid ainult 3 märkimisväärset

Teine märk sellest uurimisaruandest on täielik jama, et isegi siis, kui kaardipakk oli virnastatud viisil, mille uurija ise valis, ei suutnud ta enamikus läbiviidud statistiliste analüüside andmetes ikkagi suurt tähtsust leida. Vaata ise:

Kas näete neid kolme tärni? Need on ainsad kolm analüüsi, mis olid statistiliselt olulised. Pange tähele, kuidas ainult üks neist tärnidest ilmneb tegelikus osariikide võrdluses - Colorado ja Utahi vahel. Kõik ülejäänud riikidevahelised analüüsid ei näidanud olulist erinevust kontrollriigi ja marihuaana seaduslikus riigis.

Ainult seitsmes riikidevahelises analüüsis tuli olulisena välja vaid üks. See on üsna märkimisväärne järeldus, mida raportis üle vaadati (ja mida IIHS üldse ei maininud). Minu teadusringkondades nimetaksime seda "nõrgaks".

Ühendagem andmed!

Alles siis, kui teadlane ühendas terve hulga kontrollseisundeid, leidis ta veel kaks märkimisväärset seost.

Üldiselt olen aru saanud, et teadlased hoiduvad erinevatest allikatest pärit andmete koondamisest, välja arvatud juhul, kui nad suudavad põhjendada otsust seda teha ja kinnitada, et aluseks olevad muutujad on homogeensed (või sarnased).

Pead seda tagama mitte ainult osariikide rühmale, nagu praegustes uuringutes. Kuid teadlane koondas ka andmeid mitme aasta jooksul.

Pole selge, millist põhjendust teadlane kasutas oma tehtud aastate (2012–2016) valimiseks, välja arvatud see, et need olid aastad, mil sellised andmed olid saadaval kõigis nendes osariikides. Kõigi nende osariigi valitsuse veebisaitide pealiskaudsel otsimisel leidsin krahhi andmed üldiselt usaldusväärselt tagasi 2005. aastast.

Me teame, et iga-aastased krahhi andmed pole homogeensed - need võivad aastati märkimisväärselt erineda. Näiteks tõusis kõigis osariikides krahhide protsent 2014., 2015. ja 2016. aastal - olenemata osariigist. Niisiis, mida uurija üritab mõõta, kas Idaho 7,84-protsendiline tõus 2015. aastal erineb marjiuaanasõbraliku Oregoni 7,09-protsendilisest tõusust. Või on see, kas Colorado marihuaanasõbralik 2015. aasta 4,37-protsendiline õnnetuste arvu kasv võrreldes 2014. aastaga on oluliselt erinev Utahi 9,96-protsendilisest või New Mexico 10,19-protsendilisest tõusust.

Lisaks said erinevad osariigid uuritud kuude jooksul erinevaid basseinide suurusi, sõltuvalt sellest, millal nende marihuaana jaemüük jõustus. Oregoni jaoks tähendas teadlane 2012., 2013., 2014. ja suurema osa 2015. aastast ühe andmekogumina ning 2016. aasta + 2 kuud 2015. aastal teise andmekogumina (46 kuud vs 14 kuud). Kuid Colorado legaliseeris marihuaana 2014. aasta jaanuaris, nii et sellel oli ainult kaks aastat eel legaliseerimise andmeid ja kolm aastat legaliseerimise järgseid andmeid.

Õiglases ja täpses teaduslikus võrdluses peaksid kõik andmekogumid olema sama suurusega ajavahemiku osas, mida uuriti enne ja pärast muutujat, mida proovite oma analüüsis mõõta. Eriti kui need andmed, nagu me teame, pole homogeensed.

Mida siis andmed näitavad?

Uurija ei esitanud tavapäraseid üksikasju, mida oleks vaja tema töö kordamiseks. Seega peame uurima algandmeid ja vaatama lihtsalt ilmsemaid probleeme.

Heites pilgu Coloradole, saame võrrelda tema õnnetuste määra ajas kahe teise osariigiga. Enne 2013. aastat oli Colorado õnnetuste üldine langus aasta varasemast madalam (kõik andmed iga vastava osariigi veebisaidilt). Siis 2013. aastal nägi riik krahhides 6,29 protsenti, mis jätkus 2014. aastal (6,79 protsenti) ja 2015. aastal (4,37 protsenti). 2016. aastal kasvas riik ainult 0,35 protsenti.

Võrrelge neid numbreid ühe kontrollriigi Utah'ga, mille teadlane kaasas. Utahis kasvas ka 2013. aastal õnnetuste arv (9,05 protsenti), mis vähenes 2014. aastal (-2,96 protsenti). Selle osariigi krahhide arv kasvas 2015. ja 2016. aastal taas (vastavalt 9,96 protsenti ja 3,94 protsenti).

Võrdleme nüüd neid numbreid ühe kontrollriigiga, mida teadlane pole valinud, New Mexico. 2013. aastal vähenes krahhide arv (-4,78 protsenti), kuid seejärel tõusis kaks aastat 2014. ja 2015. aastal (vastavalt 3,64 protsenti ja 10,19 protsenti). 2016. aastal langes New Mexico -0,53 protsenti.

Usun, et põhjus, miks Utah valiti New Mexico asemel, oli lihtne. Selle krahhide määr aastatel 2014–2016 (mis on Colorado marihuaana võrdlemisel võtmetähtsusega aastad) tõstis krahhide arvu kumulatiivselt ainult 10,94 protsenti. Kui instituudid oleksid selle asemel kasutanud New Mexico, oli selle krahhi määr sama ajaperioodi jooksul 13,3 protsenti. Kui võrrelda Colorado kumulatiivse 11,51 protsendiga, näete, et Utah on madalam - aga New Mexico (ka Colorado naaberriik) on ligi 2 protsendipunkti võrra kõrgem.

Viska see kõik analüüsi, mis võtab arvesse "riigi omadusi" (mis hõlmas ainult töötuse määra ja ilma), ja voila! Andmed, mis näiliselt näitavad marihuaana müüki, mõjutavad krahhide määra.

Mida see marihuaana jaoks tähendab?

Isegi praeguste uuringute andmed ei näita põhimõtteliselt mingit statistilist tähtsust marihuaana jaemüügi ja osariigis toimunud autoõnnetuste arvu vahel. Kui korrelatsioon üldse eksisteerib, on see väga nõrk ja see leiti alles siis, kui teadlane kasutas uuringus minu arvates küsitavaid analüüse. Mõne Colorado naabruses asuvat osariiki - näiteks New Mexico - ei kaasatud analüüsi ning nende õnnetuste arvu tõus oli sama aja jooksul suurem kui Colorados.

Usun, et selline aruanne kajastab halvasti nii IIHS-i kui ka HLDI-d. Need organisatsioonid, mida rahastavad peamiselt kindlustusseltsid, avaldavad minu arvates hirmutavaid järeldusi, et edendada poliitilisi ja ärilisi eesmärke. Nad reklaamivad neid järeldusi kui "uuringuid", hoolimata asjaolust, et need avaldatakse mõnikord ainult organisatsiooni enda veebisaidil ja ilmselt ei ole eksperdihinnanguid tehtud, nagu seda tehakse traditsioonilises teadusuuringus. („Meie uusimad harrastusliku marihuaana legaliseerimise ja politsei teatatud krahhide uurimused on avaldatud ajakirjas avaldamiseks Õnnetuste analüüs ja ennetamine, ”Märgib IIHSi pressiesindaja.)

Mis meil siin on, nimetaksin seda „võltsuuringuteks“ - uuringud, mis ulatuvad olulise suhte näitamiseks seal, kus selgelt on ainult suur küsimärk. Ja isegi kui see oleks korrelatsiooniliselt oluline, ei toeta see uurimus põhjuslikku seost. Pöördusime organisatsioonide poole kommentaaride saamiseks ja põhimõtteliselt suunasid nad meid vastuste saamiseks lihtsalt uuringu juurde. Näiteks ütles IIHSi pressiesindaja: „IIHSi uuringus marihuaanariikide krahhi andmeid ei koondata, kuid iga osariigi üksikud tulemused liideti metaanalüüsiga, mis on aktsepteeritud uurimismeetod. HLDI analüüsi tulemused Colorado ja Washingtoni kohta on statistiliselt olulised. "

Kui ma juhtisin tähelepanu sellele, et praegune uuring näitas tähtsust ainult ühe osariigi - Colorado (ja siis ainult ühe teise osariigi, Utah) - jaoks, osutas pressiesindaja mulle eelmisele uuringule. Ilmselt ei tea, et kui uuem uuringud on vastuolus varasemate uuringutega, ei saa lihtsalt viidata sellele, et varasemad uuringud on endiselt kehtivad. IIHSi uus uuring näitab, et Washingtonis pole enam olulist seost marihuaana ja krahhide vahel - täpselt vastupidine sellele, mida pressiesindaja väidab.

IIHS on organisatsioon, mis üritab poliitikakujundajaid autojuhtide ohutuse osas harida ja teavitada. Kahjuks ei saa enamik poliitikutest ja kodanikest aru ega saa aru, et nad on uimastatud, ja usuvad, et selline uuring on tegelikult teaduslik.

Lühidalt, puuduvad tugevad andmed, mis seostaksid marihuaana jaemüüki autoõnnetuste suurenemisega. Andmed, mis meil on, näitavad statistiliste trikkide kaudu ainult väga piiratud ja nõrka korrelatsiooni - mitte põhjuslikku seost.

Nüüdsest olen palju skeptilisem kõiges, mida IIHS või HLDI avaldab.

Märkused:

1. Täpsemalt öeldes: „Kontrollseisundid valiti lähtuvalt uurimisseisundi lähedusest ja hooajaliste krahhide mustrite sarnasusest enne 2014. aastat. See sarnasus põhines korrelatsioonidel uuringuseisundi igakuiste sageduste ja iga võimaliku kontrollseisundi vahel 24 kuud 2012–13. Colorado ja Nebraska Pearsoni korrelatsioonikordaja oli 0,85; Wyomingi puhul 0,79; ja Utah jaoks 0,60. Washingtoni jaoks valiti kontrolliks Montana osariigid (0,67) ja Idaho (0,63). Oregoni jaoks kasutati Idaho (0,67) ja Montana (0,83) osariike. " [↩]