Undersøkelse av 'spin' i vitenskapelige tidsskrifter
En nylig studie undersøkte "spinn" i psykiatri og psykologi. Studieforfatterne fant spinn i mer enn halvparten av abstraktene de analyserte.Hvilken innvirkning kan dette ha på legenes avgjørelser?
Når nyheter og media konkurrerer om synspunkter, kan de noen ganger overdrive overskrifter og innhold for å lokke leseren inn.
Selv om mange mener at vitenskapelige tidsskrifter er noen av de mest pålitelige kildene til informasjon, er de ikke immun mot ønsket om å bli lest og delt.
En nylig undersøkelse ble satt ut for å vurdere hvor mye "spin" -forfattere som ble brukt i sammendrag av forskningsartikler publisert i psykologi og psykiatri.
De valgte å se på abstrakter fordi de oppsummerer hele papiret, og leger bruker dem ofte til å informere medisinske beslutninger.
Hva er spin?
I denne studien skisserer forfatterne sin definisjon av spinn som følger:
"[Han] bruk av spesifikke rapporteringsstrategier, uansett motiv, for å markere at den eksperimentelle behandlingen er gunstig, til tross for en statistisk ubetydelig forskjell for det primære resultatet, eller for å distrahere leseren fra statistisk ikke-betydningsfulle resultater."
Forfatterne publiserte sine funn i tidsskriftet BMJ Evidence Based Medicine. De så på papirer fra de seks beste tidsskriftene for psykiatri og psykologi fra 2012–2017.
Tidsskriftene inkludert JAMA Psykiatri, den American Journal of Psychiatry, og British Journal of Psychiatry.
Spesielt fokuserte forskerne på randomiserte kontrollerte studier med "ikke-vesentlige primære endepunkter." Det primære endepunktet for en studie er hovedresultatet av studien, og "ubetydelig" i denne sammenheng betyr at teamet, statistisk sett, ikke fant nok bevis for å sikkerhetskopiere teorien.
Spinn kommer i mange former, inkludert:
- selektiv rapportering av resultater, der forfatterne bare nevner visse resultater
- P-hacking, hvor forskere kjører en serie statistiske tester, men kun publiserer tallene fra tester som gir betydelige resultater
- upassende eller villedende bruk av statistiske tiltak
Hvor vanlig er spinn?
Totalt analyserte de abstraktene av 116 papirer. Av disse viste 56% bevis for spinn. Dette inkluderte spinn i 2% av titlene, 21% av resultatseksjonene av abstrakt og 49% i konklusjonsseksjonene av abstrakt. I 15% av papirene var spinn til stede i både resultatene og konklusjonene i abstraktene.
Forskerne undersøkte også om næringsfinansiering var forbundet med spinn. Kanskje overraskende, fant de ingen bevis for at det å ha økonomisk støtte fra industrien økte sannsynligheten for spinn.
Resultatene gjelder. Selv om spinn i nyhetsmediene generelt er bekymringsfullt i seg selv, bruker leger forskningspapirer for å hjelpe til med å styre kliniske beslutninger. Som forfatterne skriver:
"Forskere har en etisk forpliktelse til å ærlig og tydelig rapportere resultatene av forskningen." I den abstrakte delen kan forfattere imidlertid velge og velge detaljene de inkluderer. Forfatterne av den nåværende studien er bekymret for hva dette kan bety for leger:
“Å legge spin til abstrakt av en artikkel kan villede leger som prøver å trekke konklusjoner om en behandling for pasienter. De fleste leger leser bare artikkelen abstrakt for det meste. ”
Implikasjonene
Selv om forskere ikke har undersøkt effekten av spinn i stor dybde, peker forfatterne på en studie som hamrer hjem poenget deres.
I den samlet forskere abstrakter fra kreftforskningsfeltet. Alle var randomiserte kontrollerte studier med et statistisk ikke-vesentlig primært utfall. Alt abstrakt inkludert spin.
Forskerne opprettet andre versjoner av disse abstraktene der de fjernet spinnet. De rekrutterte 300 onkologer som deltakere. Forskerne ga halvparten av dem et originalt abstrakt med spinn, og de ga den andre halvparten det abstrakte uten spinn.
Bekymringsfullt vurderte legene som leste abstraktene med spinn intervensjonen som ble dekket i avisen som mer fordelaktig.
Som forfatterne av det nylige studiearket skriver: “De som skriver kliniske studier manuskripter vet at de har en begrenset tid og tid til å fange leserens oppmerksomhet. Det er mer sannsynlig at positive resultater blir publisert, og mange manuskriptforfattere har vendt seg til tvilsom rapporteringspraksis for å forskjønne resultatene. "
En annen studie, publisert i 2016, utvider omfanget av denne utgaven. De undersøkte hvordan fagfellevurderere - erfarne forskere som gransket papirer før publisering - påvirket spinn. De fant ut at i 15% av tilfellene ba fagfellevurderingen forfatterne om å legge til spin.
Den nåværende studien har noen begrensninger. Disse funnene gjelder for eksempel ikke andre tidsskrifter eller forskningsfelt. De bemerker også at å identifisere spinn er en subjektiv innsats, og selv om de benyttet seg av to uavhengige datauttrekkere, er det rom for feil.
Den nøyaktige størrelsen på spinnproblemet i medisinsk forskning gjenstår å se, men forfatterne konkluderer med at «fagfolk, journalredaktører og fagfellevurderere bør fortsette å være årvåkne for spinn for å redusere risikoen for partisk rapportering av forsøksresultater. ”
