Kas teadus on surnud? Ühesõnaga: Ei
Kuid mida Lehrer jättis tähelepanuta, on see, et enamik teadlasi teab juba tema kirjeldatud puudustest ja töötab usinalt nende probleemide mõju minimeerimise nimel.
Teaduslik meetod pole katki. See, mida Lehrer kirjeldab, on lihtsalt teadus tööl - ja töötamine.
Parima vastuse sellele esseele annab ScienceBlogsi kirjanik PZ Myers, Teadus pole veel surnud. Selles ümberlükkamises toob Myers välja peamised teaduse probleemid, kui see ei saa varasemaid tulemusi korrata:
- Regressioon keskmisele: Andmepunktide arvu suurenemisega loodame, et keskmised väärtused taanduvad tegelikule keskmisele ... ja kuna sageli tehakse esialgset tööd paljulubavate varajaste tulemuste põhjal, siis eeldame, et juhuslikult ühtlustub rohkem andmeid oluline varajane tulemus.
- Failisahtli efekt: väheolulisi tulemusi on raske avaldada ja need jäävad kabinetti. Selle tulemusel muutuvad vastupidised tulemused aga huvitavamaks ja avaldatavamaks.
- Uurija kallutatus: teaduslikku lahkarvamust on raske säilitada. Meile kõigile meeldiks, kui meie hüpoteesid kinnitataks, seega kipume teadlikult või teadvustamata valima tulemusi, mis meie vaateid soosivad.
- Kaubanduslik kallutatus: ravimifirmad tahavad raha teenida. Nad saavad platseebost raha teenida, kui sellele on teatud statistiline tugi; kindlasti on eelarvamused statistiliste kõrvalekallete ärakasutamise eesmärgil.
- Populatsiooni varieeruvus: Edu selgelt määratletud populatsiooni alarühmas võib põhjustada natuke hiilimist: kui ravim aitab seda rühma selgelt määratletud sümptomitega, peaksime võib-olla proovima seda teist marginaalsete sümptomitega rühma. Ja see pole nii ... kuid neid numbreid kasutatakse ikkagi selle üldise efektiivsuse hindamisel.
- Lihtne võimalus: seda on inimestega raske kätte saada, olen leidnud. Kuid kui miski on p = 0,05 tasemel märkimisväärne, tähendab see ikkagi, et üks 20st eksperimendist täiesti kasutu ravimiga avaldab siiski olulist mõju.
- Statistiline kalapüük: ma vihkan seda ja näen seda kogu aeg. Kavandatud eksperimendist ei ilmnenud märkimisväärseid tulemusi, mistõttu andmeid piinatakse ning kõik olulised korrelatsioonid haaratakse ja avaldatakse justkui need oleksid mõeldud. Vt eelmist selgitust. Kui andmekogum on piisavalt keeruline, leiate alati juhuslikult seose kuskilt.
Number 1 selgitab paljusid probleeme, mida me täna teaduses leiame, eriti psühholoogiateaduses. Teate enamikku neist katsetest, millest lugesite Psühholoogiline teadus, psühholoogiateaduste assotsiatsiooni juhtväljaanne? Nad on jama. Need on N = 20 katset, mis viidi läbi Kesk-Lääne ülikoolide enamasti Kaukaasia kolledži üliõpilaste väikeste, homogeensete proovidega. Enamik neist ei kordu kunagi ja vähem on ikka valimi suurusi, mis tõenäoliselt näitavad, et algsed tulemused olid midagi muud kui statistiline tõmme.
Teadlased teavad seda juba, kuid elavad hoopis teistsuguse reeglistiku järgi kui sina või mina. Nende toimetulek sõltub nende heade ja avaldatavate uuringute jätkamisest. Kui nad lõpetavad selle uuringu tegemise (või ei saa seda avaldada eelretsenseeritud ajakirjas), on neil suurem oht töö kaotada. See on akadeemilises ringkonnas tuntud kui "avalda või huku" ja see on väga reaalne motivatsioon mis tahes uurimistöö avaldamiseks, isegi kui tead, et tulemusi ei saa tõenäoliselt korrata. Vt ülaltoodud numbrit 3.
Lõpuks näen ülevaadatud uurimuses nii palju numbrit 7, et see on peaaegu piinlik. Teaduslik meetod töötab hästi ja usaldusväärselt ainult siis, kui koostate eelnevalt hüpoteesid, lasete subjektidel oma andmeid koguda ja seejärel neid andmeid analüüsida vastavalt hüpoteesidele, millest alustasite. Kui otsustate hakata hüpoteesi muutma, et see vastaks andmetele, või korraldate statistilisi teste, millele te ei olnud lootnud, rikute oma järeldusi. Alustate kalastusretkel, mille on teinud iga teadlane. Kuid see, et kõik on seda teinud, tähendab, et see on hea või eetiline käitumine.
Probleem on selles, et uuringud on aeganõudvad ja sageli kallid. Kui läbisite just 100 katsealust uuringu käigus ja te ei leidnud midagi olulist (vastavalt teie hüpoteesidele), siis pole tõenäoline, et see uuring avaldatakse, vaid raiskasite lihtsalt mitu kuud (või isegi aastaid) oma tööelust ja X dollarit teie alati piiratud teaduseelarve.
Kui te ei näe, kuidas selle tulemuseks võib olla optimaalsest vähem optimaalsete uurimistulemuste avaldamine, võite olla inimese põhipsühholoogia ja motivatsiooni suhtes natuke pime. Kuna teadlased pole superinimesed - neil on samad vead, eelarvamused ja motivatsioon nagu kõigil teistelgi. Teadusmeetod - kui seda rangelt järgida - peaks seda arvestama. Probleem on selles, et keegi ei jälgi tegelikult teadlasi, tagamaks, et nad seda järgivad, ja selleks pole mingit sisulist stiimulit.
Lõpetan selle tähelepanekuga, jällegi PZ Myersilt,
See kõik on see kära, mis tegelikult ütleb, et [-] hüpoteesid osutuvad valeks ja mõnikord, kui hüpoteesi tuginemine põhineb nõrkadel tõenditel või keeruka andmekogumi väga tuletatud tõlgendusel, võib see võtta kaua aega õige vastus tekkida. Niisiis? See pole teaduse läbikukkumine, välja arvatud juhul, kui ootate kuidagi kõige kohest rahuldust või kinnitust igale kallile ideele.
Aamen.
Teiste arvamused Lehreri essee kohta
Teadus pole surnud - PZ Myers
Teaduslike vigade kiituseks - George Musser
Kas teadusliku meetodi probleem on inimestel? - Charlie Petit
Tões, milles me kahtleme: kas langusefekt tähendab, et kogu teadus on tõene? - John Horgan
Saladuslik langusefekt - Jonah Lehrer
