10 grunner til at vitenskapelige studier kan være overraskende unøyaktige

Vårt samfunn feirer vitenskapen for dens nøyaktighet og objektivitet, og allmennheten anser vanligvis at bevis som er utgitt i vitenskapelige tidsskrifter, utvilsomt er sanne. Det har imidlertid vært en rekke alarmerende studier, spesielt med fokus på livsvitenskapelig forskning, som tyder på at vitenskapelig publisering kanskje ikke er like pålitelig som vi ønsker å tenke.

10 mange prekliniske studier kan ikke gjengis

Det er for tiden en stor mengde forskning på kreftmekanismer. Dessverre har det vist seg vanskelig å oversette denne undersøkelsen med å finne mål for behandling, med feilfrekvensen av kliniske studier i onkologi som er høyere enn de fleste andre områder. Og det virker som mange av disse feilene kan skyldes problemer med den prekliniske undersøkelsen som de var basert på.

En gjennomgang fant at bare seks ut av 53 landemerke prekliniske kreftpapirer kunne reproduseres. Mange av studiene som ikke kunne gjengis, brukte ikke blindprøve, noe som betyr at testerne var klar over om de hadde å gjøre med kontrollgruppen eller forsøksgruppen, noe som kunne føre til forskerforstyrrelser. Andre studier ble funnet å bare presentere resultatene som støttet hypotesen deres, selv om de ikke var en god representasjon av datasettet som helhet. Utrolig, det er ingen bestemt regel som forhindrer dette, og papirer blir jevnlig akseptert for publisering uten å presentere hele datasettet.

En annen studie så på 67 studier, hovedsakelig innen onkologi, og fant at mindre enn 25 prosent av publiserte data kunne reproduseres i laboratoriet uten store uoverensstemmelser. Dette er nå et så vanlig problem at risikokapitalforetak tilsynelatende har en uventet regel at rundt 50 prosent av akademiske studier vil være umulig å reprodusere i sine industrielle laboratorier.

9Negative resultater er ofte ikke publisert

Et negativt resultat oppstår når forskere hypoteser at noe vil skje, men da finner de at de ikke kan få det resultatet. En studie så på over 4.600 artikler fra alle fagområder mellom 1990 og 2007, og fant ut at publiseringen av positive resultater hadde økt med 22 prosent i den perioden. I 2007 rapporterte en forbløffende 85,9 prosent av papirene positive resultater. Dette støttes av studier som viser at negative setninger som "ingen signifikante forskjeller" har falt i bruk, mens betydelige resultater er mye mer sannsynlig å bli fullt rapportert. Hvis de publiseres, vil negative resultater sannsynligvis bare vises i lavtidsblad.

Denne publiseringsforstyrrelsen skaper faktisk ganske mange problemer. For en gang kan forskere ofte ikke se om en studie allerede er gjort, noe som betyr unødvendig gjentakelse. Det kan også påvirke resultatene av meta-analyse studier, som sammenligner all litteraturen om et bestemt problem. Publiseringsforstyrrelser resulterer også i stort press for å oppnå positive resultater, noe som kan føre til oppblåste funn, forskningsmangel eller færre risikoer for forskere. Tross alt, hvis din fremtidige karriere er basert hovedsakelig på om du kan få positive resultater å publisere, ville det sikkert ha noen innvirkning på måten du designer din forskning på og tolker funnene dine.

8Peer Review forsøker ofte ikke å oppdage store feil

Å passere peer review prosessen er for tiden gullstandarden for forskningsblanketter. Men da forskere med vilje ga feilfylte biomedisinske papirer til peer-korrekturlesere hos en stor akademisk forlegger, fant de at korrekturleserne bare oppdaget et gjennomsnitt på 2,58 av ni store feil. Enda mer bekymringsfullt gjorde trening for å forbedre ytelsen bare en liten forskjell. Faktisk oppdaget et fullt kvartall av de 607 korrekturleserne som ble testet et gjennomsnitt av en eller mindre av feilene. (I rettferdighet avviste noen anmeldere faktisk papiret uten å fullføre gjennomgangen, noe som betyr at de kanskje har funnet flere feil hvis de hadde gått til slutten.)

Granskere var spesielt dårlige til å oppdage feil relatert til "analyse av data og inkonsekvenser i rapporteringen av resultater." Dette kan knyttes til dårlig forståelse av statistikk blant biologer. Området som var minst berørt av opplæringen var "å sette studiet i sammenheng, både når det gjelder eksisterende litteratur og i forhold til konsekvensene av funnene for politikk eller praksis." Dette er fornuftig, som å mestre litteraturen om et bestemt emne tar lang tid å oppnå.

Andre studier nådde lignende konklusjoner. En presenterte 221 korrekturlesere med et tidligere publisert papir som hadde blitt endret for å inkludere åtte feil. I gjennomsnitt oppdaget anmeldere bare to av de nye feilene. En annen fant at anmeldere mislyktes med å oppdage minst 60 prosent av de store feilene i et dokument om migrene (selv om de fleste korrekturleserne fortsatt ikke anbefaler å godta studien for publisering). Samlet sett tyder slike papirer på at peer review prosessen i biomedisinsk vitenskap har god plass for forbedring.

7Peer Reviewers blir verre over tid

I 2009 fremhevet en 14-årig studie ytterligere problemer med peer review-prosessen. Studien, som så journal redaktører vurdere kvaliteten av hver anmeldelse de mottok, antydet at peer reviewer ytelse redusert med gjennomsnittlig rundt 0,8 prosent hvert år. Disse funnene støttes av et 2007-papir i PLOS Medisin, som fant ut at ingen type opplæring eller erfaring var en signifikant indikator på korrekturkvaliteten, men at yngre forskere generelt ga høykvalitetsvurderinger. En undersøkelse fra 1998 viste også at yngre forskere utførte seg bedre som peer-korrekturlesere, mens de på redaksjonelle styre ble verre.

Årsakene til denne trenden er ikke klare, selv om forslagene inkluderer kognitiv tilbakegang, konkurrerende interesser som overtar, eller økte forventninger til å vurdere jobben vanskeligere over tid. Det er også noen bevis på at eldre korrekturlesere er mer sannsynlig å ta avgjørelser for tidlig, ikke oppfyller kravene til strukturering av en gjennomgang, og kan ha en redusert kunnskapsbase ettersom treningen deres blir utdatert. Dette er bekymringsfullt, siden økt alder ofte kommer med økt autoritet.

6Mest avviste papirer er til slutt publisert andre steder

Etter peer review prosessen, vil tidsskrifter enten avvise et papir eller godta det for publisering. Men hva skjer med de avviste papirene? En studie fulgte papirer avvist av Yrkes- og miljømedisin, og fant at 54 prosent av dem endte opp med å bli publisert andre steder. Interessant nok ble over halvparten publisert av en gruppe på syv andre store tidsskrifter i samme felt.

En lignende studie viste at 69 prosent av papirene avvist av en generell medisinsk journal ble deretter publisert andre steder innen 552 dager, mens en annen fant at minst halvparten av studiene gikk ned med Kardiovaskulær forskning til slutt endte opp i en annen journal. En fjerde studie viste at 56 prosent av papirene avvist av American Journal of Neuroradiology Til slutt fant et annet hjem.

Før du får panikk, kan dette ganske enkelt bety at avvisede papirer blir forbedret før de sendes til andre tidsskrifter. Videre er ikke alle papirer avvist for dårlig metodikk. Populære tidsskrifter er ofte vanskelige å komme inn på grunn av plassbegrensninger, mens mange papirer blir avvist bare fordi emnet ikke er helt riktig for tidsskriftet. (De Kardiovaskulær forskning Studien sto for denne siste muligheten, og fant ut at de fleste av papirene senere publisert andre steder ikke ble avvist på grunn av et uegnet tema.)

Som studier har vist, er de mest prestisjefylte tidsskriftene gjenstand for en mye høyere grad av gransking. Faktisk har velkjente tidsskrifter en tendens til å trekke inn flere papirer enn sine mindre prestisjefylte kolleger, rett og slett fordi de får mye mer gransking etter publisering. Så problemet er at et feil papir kan handles rundt til ulike tidsskrifter til en er enig i å publisere den, slik at den kan komme inn i den vitenskapelige posten. Derfor tyder disse studiene på en avvik mellom papirkvaliteten i ulike vitenskapelige tidsskrifter.

5Suspect Practices

Med det konstante presset på forskere om å publisere positive resultater, er det tegn på at forfalskning og annen mistenksom praksis er en vanlig forekomst. En meta-analyse av 18 undersøkelser viste at 1,97 prosent av forskerne innrømmet å forfalske sitt eget arbeid, 33 prosent innrømmet andre mistenkte praksis, 14,1 prosent sa at de var oppmerksomme på kollegaer som forfalsket sitt arbeid, og 72 prosent sa at de visste om andre mistenkte praksis av kolleger . De sanne tallene kan være enda høyere undersøkelser av forskere og traineeforskere funnet at større prosenter ville være villige til å delta i slik praksis, selv om de ikke innrømmet å faktisk gjøre dem allerede.

Noen av de tvilsomme praksisene som ble nevnt, inkluderte "slippe datapunkter basert på en tarmklemme", "mangler å publisere data som motsetter seg sin tidligere forskning" og "endre design, metodikk eller resultater av en studie som svar på presset fra en finansiering kilde. "Disse handlingene kan være svært vanskelig å bevise, og det vil trolig være umulig å hindre dem helt uten å skifte seg bort fra et system som er besatt av å publisere positive resultater.

4Scientists Del ikke nok informasjon

I opplæringen læres forskere at eksperimenter skal skrives opp på en måte som gjør at de kan bli helt gjenskapt fra informasjonen som følger med. En 2013-studie som ser på ressursdeling i biomedisinsk undersøkelse viste imidlertid at 54 prosent av forskningsressursene (som for eksempel antistofftype eller organismer som ble brukt i eksperimenter) ikke ble beskrevet i detalj for å tillate dem å bli identifisert. En annen studie av forskning ved bruk av dyr viste at kun 59 prosent av papirene inkluderte antall og karakter av dyrene som ble brukt. Uten slike opplysninger er det svært vanskelig å reprodusere eksperimenter nøyaktig og derfor verifisere resultatene. Det skaper også en barriere for å oppdage metodologiske problemer med en bestemt ressurs.

Det har vært noen forsøk på å løse problemet, inkludert ARRIVE-retningslinjene, som søker å maksimere rapporteringen av dyremodeller. Neurovidenskapsinformasjonsrammen har også skapt antistoffregistre, mens den prestisjetunge journalen Natur har kalt for økt rapportering av ressurser.

Forfatterne av 2013-studien bemerket imidlertid at bare fem av 83 biomedisinske tidsskrifter hadde streng rapportering. En bekymringsfull undersøkelse om biomedisinsk forskning legger til dette beviset og viser at villigheten til å dele alle ressurser med andre forskere falt 20 prosent mellom 2008 og 2012. Noen av de undersøkte forskerne sa at de ville gjerne dele data på personlig forespørsel, men var mindre fornøyd med sette dataene i en online database.

3Hoax-papirer

I 1994 sendte fysikeren Alan Sokal en artikkel til kulturstudiet journal Sosial tekst som han målrettet strøket med ubegrenset "tull", samtidig som han sørget for å "flatter redaktørens ideologiske forutsetninger." Sokals papirbundne kvantefeltteori til psykoanalyse og hevdet at kvante tyngdekraft hadde alvorlige politiske implikasjoner.Sokal ønsket å bevise at postmodernistisk teori var blitt skilt fra virkeligheten: "Uforståelighet blir en dyd; allusjoner, metaforer og puns erstatter bevis og logikk. Min egen artikkel er, om noe, et ekstremt beskjedent eksempel på denne veletablerte sjangeren. "

Mens Sokal tok mål rett på kulturstudier, har det også skjedd papiravler i datavitenskap. I 2014 ble en forbløffende 120 papirer fjernet fra publikasjoner eid av Springer og Institutt for elektriske og elektroniske ingeniører etter at det ble oppdaget at de var datamaskingenerert gibberish. Papirene ble laget ved hjelp av et program som heter SCIgen, som opprinnelig ble utviklet på MIT i 2005 som en del av et forsøk på å bevise at konferanser ikke var korrekt vetting papirer.

SCIgen kombinerer tilfeldige strykord med ord for å lage hoax papirer, blant annet en lovende å "konsentrere vår innsats om å bekjempe at regnearkene kan gjøres kunnskapsbasert, empatisk og kompakt." Programmet viste seg å være mer populært enn sine skapere hadde ment 120 fjernet papirer hadde alle blitt vellykket sendt til kinesiske konferanser og senere publisert. Springer bemerket at de gjør peer review før publisering, noe som gjør det enda fremmed at de publiserte 16 av de falske papirene.

Et annet hoaxpapir, skapt av John Bohannon, og som påstod å se på anti-kreftegenskapene til en type lav, ble akseptert av 157 tidsskrifter (98 avviste det). Dette var til tross for det faktum at "enhver anmelder med mer enn en videregående kunnskap om kjemi og evnen til å forstå en grunnleggende dataplot burde ha oppdaget papirets mangler umiddelbart." Bohannon ønsket å markere det faktum at mange åpentidskrifter fokuserer for tungt på å tjene penger gjennom forfatterpublikasjonskostnader, selv på bekostning av publisering av unøyaktig forskning.

2Sykologi som et eksempel på problemene

Psykologi er sterkt påvirket av mange av problemene på denne listen. Forskning har antydet at rundt 97 prosent av publiserte studier er positive, og problemet har vedvaret siden minst 1959. Videre fant en undersøkelse at over 50 prosent av psykologene sa at de ville vente til de fikk positive resultater før de bestemte seg for å publisere. Mer enn 40 prosent innrømmet at de bare rapporterte studier som oppnådde et positivt resultat. Det har blitt foreslått at dette skyldes at psykologidokumenter pleier å gå for nye resultater over strenge. Uansett årsak, har psykologi blitt plassert ved siden av psykiatri og økonomi som vitenskapens grener mest sannsynlig vil lide av publisitetsforstyrrelser.

Et annet problem er at psykologistudier sjelden blir replisert - siden mange tidsskrifter ikke vil publisere rettreplikasjoner, er det ikke mye incitament for forskere å sette i arbeidet. En mulig løsning er Psychfiledrawer, som publiserer replikasjonsforsøk. Imidlertid er det fortsatt lite faglig nytte for å sende inn og noen forskere har blitt avskåret av risikoen for kritikk fra kolleger.

Mer positivt, det har vært en nylig press for studiereplikasjon og en lovende studie som fant 10 av de 13 studiene det prøvde å kopiere, ga de samme resultatene. Selv om dette ikke løser mangelen på publiserte negative resultater, eller de ofte nevnte problemene med statistisk analyse, er det et skritt i riktig retning.

1Studies Done On Mus Ofte kan ikke ekstrapoleres til mennesker

Mange studier i biomedisinsk vitenskap er utført på dyremodeller, spesielt mus. Dette skyldes at mus faktisk har mange likheter med mennesker, inkludert lignende biokjemiske veier. Rundt 99 prosent av menneskelige gener har en mus homolog (gen med en felles forfedre).

Men mens forskning på mus har ført til noen bemerkelsesverdige suksesser, har det vært problemer med å oversette det til mennesker på områder som kreft, nevrologiske sykdommer og inflammatoriske sykdommer. Nylig forskning tyder på at til tross for de nevnte genetiske likhetene, er gensekvenser som koder for spesifikke regulatoriske proteiner svært forskjellige mellom mennesker og mus.

Forskjellene er spesielt viktige i nervesystemet, der det er mange forskjeller i hjernens utvikling. Musen Neocortex - som er sterkt knyttet til oppfatningen - er mye mindre utviklet enn menneskelig ekvivalent. Videre har symptomene på nevrologiske sykdommer ofte en kognitiv komponent, og forskjellene i kognisjon mellom mus og mennesker er klart store.

Så neste gang du ser et forbløffende medisinsk gjennombrudd annonsert på nyhetene, sørg for å sjekke om undersøkelsen ble gjort på mus eller mennesker.