10 Důvody pro vědecké studie mohou být překvapivě nepřesné

Naše společnost oslavuje vědu za svou přesnost a objektivitu a široká veřejnost obvykle považuje důkazy publikované ve vědeckých časopisech za nepochybně pravdivé. Existuje však řada alarmujících studií, zejména zaměřených na výzkum v oblasti vědy o životech, které naznačují, že vědecké publikování nemusí být stejně spolehlivé, jak bychom si přáli myslet.

10Ne mnoho předklinických studií nelze reprodukovat

V současné době existuje obrovské množství výzkumu v oblasti mechanismů rakoviny. Bohužel, překládat tento výzkum do nalezení cílů léčby se ukázal být obtížný, přičemž míra selhání klinických studií v onkologii je vyšší než většina ostatních oblastí. A zdá se, že mnoho z těchto selhání může být obviňováno z problémů s předklinickým výzkumem, na kterém byly založeny.

Jedna recenze zjistila, že by bylo možné reprodukovat pouze šest z 53 orientačních předklinických rakovinových dokumentů. Mnoho studií, které nemohly být reprodukovány, nepoužívalo slepé testování - což znamenalo, že testeři si byli vědomi toho, zda se zabývají kontrolní skupinou nebo experimentální skupinou, což potenciálně vede k zaujatosti vyšetřovatele. Bylo zjištěno, že jiné studie pouze prezentovaly výsledky, které podpořily jejich hypotézu, i když nebyly dobrým zobrazením datového souboru jako celku. Překvapivě neexistuje žádné specifické pravidlo, které by toto zabránilo a dokumenty byly pravidelně přijímány k publikaci bez předložení celého získaného souboru dat.

Další studie se zaměřila na 67 studií, většinou v oblasti onkologie, a zjistila, že méně než 25 procent zveřejněných údajů může být v laboratoři reprodukováno bez velkých nesrovnalostí. To je nyní tak společný problém, že podniky rizikového kapitálu zřejmě mají nevyslovené pravidlo, že přibližně 50 procent akademických studií nebude možné reprodukovat ve svých průmyslových laboratořích.

9Negativní výsledky často nejsou zveřejňovány

Negativní výsledek nastane, když vědci předpokládají, že se něco stane, ale pak zjistí, že nemohou získat tento výsledek. Jedna studie zkoumala více než 4 600 příspěvků ze všech oborů mezi lety 1990 a 2007 a konstatovala, že zveřejnění pozitivních výsledků se v tomto období zvýšilo o 22 procent. Do roku 2007 zaznamenalo ohromující 85,9 procenta pozitivních výsledků. To je podpořeno studiemi, které ukazují, že negativní věty jako "žádné významné rozdíly" přestaly být používány, zatímco významnější výsledky jsou mnohem pravděpodobnější, že budou plně hlášeny. Pokud budou publikovány, negativní výsledky se pravděpodobně objeví pouze v časopisech s nízkým dopadem.

Toto zkreslení publikace skutečně vytváří poměrně málo problémů. Na začátku vědci často nedokáží zjistit, zda již byla provedena studie, což znamená zbytečné opakování. Může také ovlivnit výsledky metaanalýzních studií, které porovnávají celou literaturu o konkrétní problematice. Předpojatost publikací také vede k obrovskému tlaku na dosažení pozitivních výsledků, které by mohly vést k nahromaděným zjištěním, nesprávnému chování výzkumu nebo k menšímu riziku výzkumníků. Koneckonců, pokud vaše budoucí kariéra vychází převážně z toho, zda můžete zveřejnit pozitivní výsledky, jistě by to mělo nějaký vliv na způsob, jakým navrhujete svůj výzkum a interpretovat vaše zjištění.

8Peer Review často nedokáže rozpoznat hlavní chyby

Absolvování procesu peer review je v současné době zlatým standardem pro výzkumné práce. Nicméně, když výzkumní pracovníci záměrně předali chybné biomedicínské dokumenty vědeckým recenzentům u významného akademického vydavatele, zjistili, že recenzenti zaznamenali průměrně 2,58 z devíti hlavních chyb. Ještě znepokojivějším je, že trénink, který má zlepšit jejich výkon, způsobil jen malý rozdíl. Ve skutečnosti celá čtvrtina testovaných 607 recenzentů zjistila průměrně jednu nebo méně chyb. (Ve skutečnosti někteří recenzenti skutečně odmítli dokument, aniž by ho dokončili, což znamená, že v případě, že pokračoval až do konce, možná nalezli více chyb.)

Recenzenti byli obzvláště špatní při zjišťování chyb týkajících se "analýzy dat a nesrovnalostí při oznamování výsledků." To může být spojeno se špatným pochopením statistik u biologů. Oblast, která byla nejméně postižena tréninkem, byla "uvedení studie do kontextu, a to jak z dosavadní literatury, tak z hlediska důsledků zjištění pro politiku nebo praxi." To má smysl, protože zvládnutí literatury na konkrétní téma to trvá dlouho.

Jiné studie dospěly k podobným závěrům. Jeden představil 221 recenzentů s dříve publikovanými dokumenty, které byly upraveny tak, aby zahrnovaly osm chyb. V průměru recenzenti zjistili pouze dvě nové chyby. Jiný zjistil, že recenzenti nedokázali zjistit nejméně 60 procent hlavních chyb v dokumentu o migrénách (i když většina recenzentů stále nedoporučuje přijetí studie k publikaci). Společně tyto dokumenty naznačují, že proces peer review v biomedicínských vědách má spoustu prostoru pro zlepšení.

7Peer Reviewers dostat horší čas

V roce 2009 14letá studie zdůraznila další problémy s procesem vzájemného hodnocení. Studie, v níž viděli redaktory časopisů, hodnotili kvalitu každé revize, kterou obdrželi, a naznačuje, že výkony recenzentů se každoročně snížily průměrně o 0,8 procenta. Tato zjištění jsou podpořena v roce 2007 v roce 2007 PLOS Medicine, který zjistil, že žádný typ školení ani zkušeností nebyl významným ukazatelem kvality recenzentů, ale že mladší vědci obvykle poskytovali recenze vyšší kvality. Průzkum z roku 1998 také zjistil, že mladší vědci vystupovali lépe jako odborníci, zatímco ti na redakčních radách vykazovali horší výsledky.

Důvody tohoto trendu nejsou jasné, ačkoli návrhy zahrnují kognitivní pokles, konkurenční převzetí zájmů nebo zvýšené očekávání při přezkumu toho, jak se práce postupně zhoršuje. Existují také některé důkazy, že starší recenzenti pravděpodobně předčasně rozhodují, nesplňují požadavky na strukturování recenze a mohou mít sníženou znalostní základnu, neboť jejich školení se stává zastaralým. To je znepokojující, protože zvýšený věk často přichází se zvýšenou autoritou.

6Většina odmítnutých příspěvků je nakonec publikována

Po procesu vzájemného hodnocení časopisy buď odmítnou příspěvek, nebo jej přijmou k publikaci. Ale co se stane s těmi odmítnutými dokumenty? Jedna studie následovala po zamítnutých dokumentech Pracovní a environmentální medicínaže 54 procent z nich skončilo zveřejněním jinde. Zajímavé je, že více než polovinu zveřejnila skupina sedmi dalších významných časopisů ve stejné oblasti.

Podobná studie zjistila, že 69 procent dokumentů odmítnutých obecným lékařským časopisem bylo poté publikováno jinde během 552 dnů, zatímco jiný shledal, že alespoň polovina studií poklesla Kardiovaskulární výzkum nakonec skončil v jiném časopise. Čtvrtá studie ukázala, že 56 procent dokumentů zamítnutých Americký žurnál neuroradiologie nakonec našel jiný domov.

Předtím, než se panikaří, může to jednoduše znamenat, že odmítnuté příspěvky se zlepší před odesláním do jiných časopisů. Navíc ne všechny dokumenty jsou odmítnuty kvůli špatné metodice. Populární časopisy jsou často obtížné dostat se kvůli prostorovým omezením, zatímco mnoho dokumentů je odmítnuto jednoduše proto, že téma nemusí být v pořádku pro daný časopis. (The Kardiovaskulární výzkum studie se zabývala touto poslední možností, zjištění, že většina článků později zveřejněných jinde nebyla z důvodu nevhodného tématu zamítnuta.)

Jak ukázaly studie, nejprestižnější časopisy podléhají mnohem vyššímu stupni kontroly. Ve skutečnosti známé časopisy mají tendenci se zatahovat více papírů než jejich méně prestižní protějšky, jednoduše proto, že po publikaci získají mnohem větší kontrolu. Otázkou tedy je, že chybný papír by mohl být nakupován v různých časopisech, dokud nebude souhlasit s jeho zveřejněním, což mu umožní vstup do vědeckého záznamu. Tyto studie tedy naznačují rozpor mezi kvalitou příspěvků v různých vědeckých časopisech.

5Základní postupy

Při neustálém tlaku vědců zveřejňovat pozitivní výsledky existují náznaky, že padělání a jiné podezřelé praktiky jsou běžným výskytem. Jeden meta-analýzy 18 výzkumů prokázala 1,97 procenta vědců přiznal falšování jejich vlastní práce, 33 procent přiznal další podezřelé praktiky, 14,1 procent uvedlo, že si byli vědomi kolegy, kteří padělané svou práci, a 72 procent uvedlo, že ví o dalších podezřelých praktik kolegy . Skutečné počty mohou být dokonce vyšší - průzkumy výzkumníků a výzkumní pracovníci stážistů zjistili, že větší procenta by byli ochotni se na takových praktikách účastnit, a to i tehdy, pokud se jim již nepřiznávají.

Některé z pochybných praktik poznamenal zahrnuty „pád datových bodů vychází z intuice“, „nedostatek zveřejnit údaje, které by odporovaly něčí předchozí výzkum“ a „změna designu, metodika, nebo výsledky studie, v reakci na tlaky z finančních prostředků zdroj ". Tyto činy mohou být velmi obtížné dokázat a je pravděpodobné, že je nemožné úplně zabránit, aniž by se posunuli od systému posedlého zveřejněním pozitivních výsledků.

4 Vědci nesdílejí dostatek informací

V rámci výcviku se vědci učí, že experimenty by měly být napsány způsobem, který by jim umožňoval úplnou obnovu z informací obsažených. Studie z roku 2013 zaměřená na sdílení zdrojů v biomedicínském výzkumu však zjistila, že 54 procent výzkumných zdrojů (například typ protilátek nebo organismů používaných v experimentech) nebylo dostatečně podrobně popsáno, aby bylo možné je identifikovat. Další studie výzkumu s použitím zvířat zjistila, že pouze 59 procent dokumentů zahrnovalo počet a charakter použitých zvířat. Bez těchto informací je velmi těžké reprodukovat experimenty přesně, a proto ověřit výsledky. Vytváří také bariéru při zjišťování metodických problémů s konkrétním zdrojem.

Došlo k určitým pokusům o řešení tohoto problému, včetně pokynů ARRIVE, jejichž cílem je maximalizovat hlášení zvířecích modelů. Informační rámec neurovědy také vytvořil registru protilátek, zatímco prestižní časopis Příroda vyzval k většímu oznamování zdrojů.

Autoři studie z roku 2013 však poznamenali, že pouze pět ze 83 biomedicínských časopisů mělo přísné zprávy. Důvěrný průzkum biomedicínského výzkumu dodává, že ochota sdílet všechny zdroje s jinými výzkumnými pracovníky se mezi roky 2008 a 2012 snížila o 20 procent. Někteří z výzkumných pracovníků uvedli, že rádi sdílejí data na osobní žádost, ale byli méně spokojeni uvedení dat do online databáze.

3Hoax Papers

V roce 1994 předložil fyzik Alan Sokal článek časopisu kulturních studií Sociální text kterou záměrně posetý nepodložené „nesmysly“, a zároveň zajistit, aby „plošší ideologické předsudky redakcí.“ Mimo jiné, papír Sokal spojených kvantovou teorii pole k psychoanalýze a tvrdil, že kvantová gravitace měla vážné politické důsledky.Sokal chtěl dokázat, že postmoderní teorie se oddělila od reality: "Nesrozumitelnost se stává ctností; narážky, metafory a hádky nahrazují důkazy a logiku. Můj vlastní článek je v každém případě nesmírně skromným příkladem tohoto dobře zavedeného žánru. "

Zatímco Sokal se zaměřil přímo na kulturní studia, podvodné práce se také objevily v informatice. V roce 2014 bylo z publikací vlastněných Springerem a Ústavem elektrických a elektronických inženýrů odstraněno neuvěřitelných 120 příspěvků poté, co bylo zjištěno, že se jedná o počítačově generované gabberish. Dokumenty byly vyrobeny pomocí softwaru s názvem SCIgen, který byl původně vyvinut v MIT v roce 2005 jako součást pokusu dokázat, že konference nebyly řádně kontrolovány.

SCIgen kombinuje náhodné řetězce slov a vytváří podvodné dokumenty, z nichž jeden slibuje, že "soustředí své úsilí na vyvrácení toho, že tyto tabulky mohou být založeny na znalostech, empatické a kompaktní." Program se zjevně ukázal být více populární než jeho tvůrci zamýšleli - 120 odstraněné dokumenty byly úspěšně předloženy na čínských konferencích a následně zveřejněny. Springer poznamenal, že před zveřejněním provádějí peer review, takže je dokonce i cizí, že publikovali 16 falešných dokumentů.

Další podvodný papír, který vytvořil John Bohannon a který se snažil podívat se na protirakovinové vlastnosti typu lichenů, byl přijat 157 časopisy (98 to odmítlo). A to navzdory skutečnosti, že "každý recenzent s více než středoškolskými znalostmi o chemii a schopností porozumět základnímu datu by měl okamžitě vidět nedostatky tohoto dokumentu." Bohannon chtěl zdůraznit skutečnost, že mnoho otevřených časopisů se zaměřuje příliš těžce na vydělávání peněz za autorské publikační poplatky, a to i za cenu publikování nepřesného výzkumu.

2Psychologie jako příklad problémů

Psychologie je těžce postižena mnoha problémy na tomto seznamu. Výzkum naznačil, že přibližně 97 procent publikovaných studií je pozitivní a problém přetrvává nejméně od roku 1959. Jeden průzkum také zjistil, že více než 50 procent psychologů uvedlo, že počkat, dokud nezískávají pozitivní výsledky, než se rozhodnou zveřejnit. Více než 40 procent připustil, že hlásili pouze studie, které dosáhly pozitivního výsledku. Bylo navrženo, že je to proto, že psychologické časopisy mají tendenci jít o nové výsledky než ty, které jsou přísné. Ať už je jakýkoli důvod, psychologie byla umístěna vedle psychiatrie a ekonomiky jako vědní obory, které pravděpodobně trpí publikační zaujatostí.

Dalším problémem je, že studium psychologie se zřídkakdy opakuje - protože mnoho časopisů nezveřejní přímou replikaci, výzkumné pracovníky nejsou příliš motivovány k tomu, aby se snažily. Jedním z možných řešení je Psychfiledrawer, který publikuje pokusy o replikaci. Nicméně pro podání je stále málo profesionálního přínosu a někteří badatelé byli odloženi rizikem kritiky od kolegů.

Pozitivněji se objevila nedávná snaha o studium replikace a slibná studie, která zjistila, že 10 ze 13 studií, které se pokoušelo replikovat, přineslo stejné výsledky. Zatímco to nevyřeší nedostatek zveřejněných negativních výsledků ani obecně zmíněné problémy se statistickou analýzou, je to krok správným směrem.

1Study provedené na myších často nelze extrapolovat na člověka

Mnoho studií v biomedicínských vědách se provádí na zvířecích modelech, zejména myších. Je to proto, že myši mají mnoho podobností s lidmi, včetně podobných biochemických cest. Přibližně 99 procent lidských genů má myší homolog (gen se společným předkem).

Ale zatímco výzkum myší vedl k několika pozoruhodným úspěchům, došlo k problémům, které je přenášejí na lidi v oblastech, jako jsou rakovina, neurologické choroby a zánětlivé nemoci. Nedávný výzkum naznačuje, že navzdory výše uvedeným genetickým podobnostem jsou genové sekvence, které kódují specifické regulační proteiny, velmi odlišné mezi lidmi a myšimi.

Rozdíly jsou zvláště důležité v nervovém systému, kde existuje mnoho rozdílů v vývoji mozku. Neokortex myší, který je silně spojen s vnímáním, je mnohem méně rozvinutý než lidský ekvivalent. Navíc příznaky neurologických onemocnění mají často kognitivní složku a rozdíly v poznávání mezi myší a lidmi jsou zřetelně obrovské.

Takže příště, když uvidíte překvapivý lékařský průlom, který byl o novinkách oznámen, nezapomeňte zkontrolovat, zda byl výzkum proveden na myších nebo na člověka.